기술 요약: 키스트로크 기반 AI 저작자 탐지의 불완전성에 관하여

문제 정의

AI 생성 텍스트를 탐지하기 위한 최근의 제안들은 언어적 출력(당혹도, 문체론)을 분석하는 것에서 벗어나, 프로세스 수준의 행동 신호, 구체적으로는 키스트로크 타이밍 역학을 분석하는 방향으로 전환되었습니다. Kundu 등[1] 및 Mehta 등[2]이 제안한 시스템은 인간의 운동 신호—가변적인 키 간격(Inter-Keystroke Interval, IKI)과 "생각하는 휴지기(thinking pauses)"와 같은 특정 시간적 패턴을 특징으로 함—가 자동화된 봇에 의한 균일하고 빠른 텍스트 주입과는 구별된다는 전제에 의존합니다.

본 논문은 이러한 접근 방식에서 근본적인 범주 오류(category error)를 식별합니다. 즉, 이들은 운동적 존재(motor presence)(키보드를 조작하는 인간의 신체)와 콘텐츠 기원(content provenance)(텍스트를 인지적으로 생성하는 인간)을 혼동하고 있습니다. 저자들은 현재의 위협 모델이 LLM을 통해 콘텐츠를 생성한 후 이를 문자 단위로 물리적으로 전사(transcribe)할 수 있는 합리적인 공격자를 고려하지 못하고 있다고 주장합니다. 이러한 "복사-타이핑(copy-type)" 공격은 실제 작문과 구별할 수 없는 진본 운동 신호를 생성하므로, 타이밍만을 이용한 탐지기는 저자성을 검증하는 데 있어 안전하지 않습니다. 나아가, 본 논문은 인간의 분포를 기반으로 키스트로크 간격을 합성하는 자동화된 "타이밍 위조(timing-forgery)" 공격조차 이러한 시스템을 우회할 수 있음을 입증합니다.

방법론

위협 모델 및 공격 정의

본 연구는 문서와 그 키스트로크 트레이스(trace)를 받아 출력을 HUMAN 또는 AI로 분류하는 운동 신호 검증 시스템(Motor-Signal Verification Systems, MSVS)을 평가합니다. 저자들은 두 가지 주요 공격 벡터를 정의합니다:

1. 복사-타이핑 공격 (Copy-Type Attack): 공격자가 LLM을 사용하여 텍스트를 생성한 후, 계측된 플랫폼에 이를 물리적으로 타이핑합니다. 결과적으로 발생하는 운동 신호는 구조적으로 진본입니다.
2. 타이밍 위조 공격 (Timing-Forgery Attacks): 인간의 경험적 분포로부터 키스트로크 간격을 샘플링하여 합성된 트레이스를 생성하는 자동화된 에이전트입니다. 저자들은 세 가지 변형을 구현했습니다:
   • 히스토그램 샘플링 (Histogram Sampling): 인간 데이터의 경험적 누적 분포 함수(CDF)로부터 독립적으로 IKI를 샘플링합니다.
   • 통계적 모사 (Statistical Impersonation): 대상 집단의 IKI 분포의 1차 및 2차 모멘트(평균 및 분산)를 디그래프(digraph)별 지연 시간에 맞춰 조정하여 일치시킵니다.
   • 생성형 LSTM (Generative LSTM): 키스트로크 시퀀스의 조건부 IKI 분포를 모델링하기 위해 실제 키스트로크 시퀀스에 대해 학습된 2층 LSTM 네트워크를 사용합니다.

실험 설정

• 데이터셋: 평가는 Stony Brook University(SBU) 키스트로크 코퍼스에서 추출한 13,000개의 인간 타이핑 세션과, 보충된 5,000개의 자동 주입 세션 및 2,000개의 공격 세션(히스토그램 1,000, 통계 500, LSTM 500)을 활용합니다. 일반화 가능성을 보장하기 위해 11개의 추가 공개 코퍼스(총 150,000개 이상의 세션)를 통해 검증을 수행합니다.
• 특징 (Features): 본 연구는 이전 연구[1, 2]에서 제격된 7가지 특징 벡터를 평가합니다:
  • $\delta$: IKI의 변동 계수(Coefficient of Variation, CV).
  • $\bar{t}$: 평균 IKI.
  • $\sigma^2_{IKI}$: IKI 분산.
  • $\rho$: 휴지 밀도(Pause density, IKI가 500ms를 초과하는 비율).
  • $\beta$: 평균 버스트 길이(Mean burst length).
  • $H$: IKI 분포의 샤논 엔트로피(Shannon entropy).
  • $\gamma$: 디그래프 가변성(Digraph variability).
• 분류기 (Classifiers): 5개의 분류기(Logistic Regression, Random Forest, Gradient Boosting, SVM-RBF, MLP)를 사용하여 5-겹 층화 교차 검증(5-fold stratified cross-validation)을 통해 학습됩니다.

주요 결과

1. 공격의 효능

• 복사-타이핑 공격: IIITD-BU 데이터셋(34개 전사 세션) 및 통합 코퍼스(879개 세션)를 사용한 경험적 검증에서, 복사-타이핑 공격은 탐지 임계값($T = 0.269$)에 대해 100% 우회율을 달이트했습니다. 전사(transcription) 시의 평균 $\delta$는 $0.991$로 임계값보다 훨씬 높았으며, 자유 텍스트 조건에서 작문(composition)과 전사 사이의 코헨스 $d$(Cohen's $d$)는 $0.14$에 불과했습니다.
• 타이밍 위조 공격: 세 가지 자동화 변형 모두 5개의 분류기에 대해 $\ge 99.8\%$의 회피율을 달성했습니다.
  • 히스토그램 및 LSTM 공격은 100% 회피를 달성했습니다.
  • 통계적 공격은 99.8% 회피를 달성했습니다.
  • 공격 샘플은 평균 신뢰도 $\ge 0.993$으로 인간인 것으로 분류되었습니다.

2. 분류기 성능 및 트레이드오프

• 기초 분리 (Baseline Separation): 분류기들은 실제 인간의 타이핑과 완전 자동화된(붙여넣기/API) 주입을 구분할 때 AUC 1.000을 달성했습니다. 이는 시스템이 운동 신호의 부재를 올바르게 탐지함을 확인해 줍니다.
• 운영적 실패 (Operational Failure): 인간의 운동 신호(진짜 작문이든 위조된 것이든)를 마주했을 때, 시스템은 기원을 구분하는 데 실패합니다.
  • LSTM 공격 통과율을 50% 미만으로 낮추려면 탐지 임계값을 $T > 0.80$으로 높여야 합니다.
  • 이 임계값에서 정당한 인간 사용자에 대한 **오거부율(False Rejection Rate, FRR)**은 **16.3%**로 상승합니다.
  • $T = 0.90$ (FRR = 32.6%)에서도 LSTM 공격은 여전히 44%의 통과율을 유지합니다.
• 특징 제거 실험 (Feature Ablation): 단일 특징이 모든 공격 변형을 실제 인간의 타이핑과 안정적으로 분리하지 못합니다. $\delta$나 엔트로피 같은 특징들이 봇과 인간을 효과적으로 분리할 수는 있지만, 인간이 텍스트를 직접 구성하는 것과 단순히 전사하는 것을 구분할 수는 없습니다.

3. 이론적 한계

저자들은 비식별성 결과(non-identifiability result)(정리 1)를 공식화합니다. 탐지기가 인지 상태가 아닌 키스트로크 타이밍($\tau$)만을 관찰한다는 가정하에, 특징과 콘텐츠 기원 사이의 상호 정보량은 0입니다:
$$I(f(\tau); \text{Provenance} | s, M_u) = 0$$
인지 상태가 운동 실행에 영향을 미치지 않는다는 이상적인 가정을 완화하더라도(경험적 $d \approx 1.28$), 결과적인 베이즈 오차(Bayes error)는 **26.1%**이며, 이는 보안 결정에 사용하기에는 운영상 불충분합니다.

의의 및 주장

본 논문은 현재와 같이 설계된 키스트로크 기반 AI 저작자 탐지 시스템이 합리적인 공격자에게 근본적으로 취약하다고 주장합니다.

1. 범주 오류: 이 시스템들은 운동적 진본성(인간이 존재했는지 여부)은 검증하지만, 콘텐츠 기원(그 인간이 텍스트를 생성했는지 여부)은 검증할 수 없습니다. "복사-타이핑" 공격은 인간의 운동 시스템을 사용하여 AI 생성 콘텐츠를 세탁함으로써 이 간극을 이용합니다.
2. 구조적 한계: 이 취약성은 알고리즘의 문제가 아니라 구조적인 문제입니다. 구별 변수(콘텐츠의 기원)가 특징 공간에서 관찰되지 않는 잠재적 혼란 변수이기 때문에, 아무리 많은 특징 공학이나 분류기 최적화를 수행하더라도 작문과 전사 사이의 분포적 중첩을 극복할 수 없습니다.
3. 허위 안도감: 타이핑 패턴을 기반으로 "AI 프리(AI-free)" 인증을 제공하는 시스템은 허위의 안도감을 제공합니다. 이들은 인간이 키보드를 조작했음을 확인할 수는 있지만, 그 인간이 저자인지는 결정할 수 없습니다.
4. 방어적 시사점: 콘텐츠 기원을 확보하려면 관찰된 작성 과정과 의미적 콘텐츠를 결합하는 근본적으로 다른 아키텍처가 필요합니다. 저자들은 다음과 같은 실행 가능한 방향을 제시합니다:
   • 수정 이력의 일관성 (Revision History Coherence): 전사 과정에서는 드문 비단조적 편집 패턴(삭제, 재구성)을 분석합니다.
   • 챌린지-응답 (Challenge-Response): 작성 중 텍스트에 대한 실시간 이해 능력을 강제합니다.
   • 의미적 결합 (Semantic Binding): NLP를 통합하여 운동 오류와 의미적 수정(semantic corrections)을 구분합니다.

저자들은 키스트로크 타이밍이 콘텐츠의 기원이 아닌 인간의 존재를 확인하는 용도로만 사용되어야 하며, 그러한 콘텐츠 결합 메커니즘이 배포되기 전까지는 그렇다고 결론짓습니다.