Who Wrote the Book? Detecting and Attributing LLM Ghostwriters

1. 연구 배경 및 문제 제기 (Problem)

최근 대형 언어 모델 (LLM) 을 이용한 '유령 작가 (Ghostwriting)' 현상이 급증하고 있으며, 이는 저품질의 가짜 책을 만들어 판매하는 등 심각한 윤리적, 법적 문제를 야기하고 있습니다. 기존 연구들은 다음과 같은 한계점을 가지고 있습니다:

• 작업 정의의 제한: 대부분의 기존 데이터셋은 '인간 vs AI'라는 이진 분류 (Binary Classification) 에 초점을 맞추고 있어, 특정 LLM 모델을 식별하는 '저자 귀속 (Authorship Attribution, AA)' 과 같은 다중 분류 작업을 지원하지 않습니다.
• 일반화 능력 부족: 기존 방법들은 훈련 데이터에 포함된 모델이나 도메인 (장르) 에만 잘 작동하며, 훈련 중 보지 못한 모델 (Unseen LLM) 이나 다른 장르 (OOD-Domain) 에서는 성능이 급격히 저하됩니다.
• 텍스트 길이 제한: 기존 벤치마크는 짧은 텍스트 (수백 단어) 에 집중되어 있으나, 실제 유령 작가는 수만 단어가 넘는 장편 소설 (책) 을 대상으로 이루어집니다.

2. 제안된 방법론 (Methodology)

저자들은 두 가지 주요 기여를 통해 위 문제를 해결했습니다: 새로운 데이터셋 (GHOSTWRITEBENCH) 과 새로운 지문 기법 (TRACE).

A. GHOSTWRITEBENCH 데이터셋

• 구성: 10 개의 최첨단 (Frontier) LLM (GPT-4.1, GPT-5.1, Claude, Gemini 등) 이 생성한 장편 텍스트 (평균 53,000 단어, 총 325 권) 로 구성되었습니다.
• 생성 파이프라인: 인간 작가의 방식을 모방하여 개요 작성 (Outlining), 요약 (Summarization), 긴 텍스트 확장 (Long-text expansion) 의 단계를 거쳐 일관된 서사 구조를 가진 책을 생성했습니다.
• OOD(Out-of-Distribution) 평가: 일반화 능력을 검증하기 위해 두 가지 차원의 OOD 설정을 도입했습니다.
  1. OOD-Domain: 훈련되지 않은 장르 (Genre) 에서의 평가.
  2. OOD-Author: 훈련되지 않은 LLM 모델 (Unseen LLM) 에 대한 평가 (Open-set 설정).
• 데이터 품질: 인간 작가가 쓴 책과 유사한 어휘 다양성, 반복성, 압축률 등을 가지도록 정제되었습니다.

B. TRACE (Transition-based Representation for Authorship Classification and Evaluation)

기존의 복잡한 신경망 기반 모델 대신, 가볍고 해석 가능한 (Interpretable) 지문 (Fingerprint) 기법을 제안했습니다.

• 핵심 아이디어: LLM 이 단어를 선택할 때 나타나는 토큰 수준의 전이 패턴 (Token-level transition patterns) 을 포착합니다. 이는 특정 LLM 의 고유한 '스타일'을 나타냅니다.
• 작동 원리:
  1. 평가자 모델 (Evaluator Model): 생성된 텍스트를 분석하기 위해 별도의 경량 언어 모델 (예: GPT-2) 을 사용합니다. (화이트박스 접근이 필요 없으므로 오픈/클로즈드 소스 모델 모두 적용 가능)
  2. 지문 생성: 텍스트 내 연속된 토큰의 순위 (Word Rank) 또는 엔트로피 (Entropy) 값을 계산하여 2 차원 행렬 (Heatmap) 형태의 지문을 생성합니다.
     • Rank-based: 토큰의 순위 분포 전이를 기록.
     • Entropy-based: 토큰 예측의 불확실성 (엔트로피) 전이를 기록.
  3. 매칭: 테스트 텍스트의 지문과 훈련된 각 LLM 의 참조 지문 (Reference Fingerprint) 간의 유사도 (Jensen-Shannon 거리 또는 Norm-Mean) 를 계산하여 가장 유사한 모델을 식별합니다.
• 장점: 적은 양의 훈련 데이터 (Low-resource) 로도 작동하며, 도메인 변경이나 새로운 모델에 대해 강건합니다.

3. 주요 실험 결과 (Results)

GHOSTWRITEBENCH 를 이용한 실험에서 TRACE 는 기존 SOTA 방법들 (N-GRAM, BERT-AA, DETECTIVE 등) 보다 월등한 성능을 보였습니다.

• 성능 (Macro-F1):
  • In-Distribution (ID): TRACE(Entropy-Norm) 는 0.96 의 높은 정확도를 기록했습니다.
  • OOD-Domain (새로운 장르): 기존 방법들은 0.20.3 대의 낮은 성능을 보인 반면, TRACE 는 0.820.85 수준으로 뛰어난 일반화 능력을 입증했습니다.
  • OOD-Author (새로운 LLM): 훈련되지 않은 LLM 을 식별하는 난이도 높은 과제에서 TRACE 는 0.58(Entropy-JS) 의 성능을 보였으며, 이는 다른 방법들보다 우세했습니다.
• 저자원 (Low-Resource) 시나리오: 훈련 데이터가 매우 적을 때 (LLM 당 3~5 권) 도 TRACE 는 안정적인 성능을 유지했습니다.
• 인간 텍스트 구분: TRACE 는 LLM 과 인간 작가를 구분하는 이진 분류 작업에서도 인간 텍스트를 100% 정확도로 식별하는 등 탁월한 성능을 보였습니다.
• 오류 분석: 기존 모델들은 같은 계열의 LLM (예: GPT-4 와 GPT-5) 을 혼동하는 경향이 있었으나, TRACE 는 더 구체적인 모델별 특징을 포착했습니다.

4. 주요 기여 (Key Contributions)

1. GHOSTWRITEBENCH 도입: 장편 텍스트 (책) 를 대상으로 하며, 도메인과 생성자 (LLM) 의 OOD 일반화를 명시적으로 테스트하는 최초의 벤치마크 데이터셋을 구축했습니다.
2. TRACE 기법 제안: 백색 상자 (White-box) 접근이 불필요하고, 경량이며, 해석 가능한 새로운 지문 기반 귀속 방법을 제안했습니다.
3. 강건한 일반화 증명: 훈련 데이터가 부족하거나, 새로운 장르, 혹은 훈련되지 않은 LLM 이 등장하는 실제적인 시나리오에서도 탁월한 성능을 발휘함을 실험적으로 증명했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 에 의한 유령 작가 (Ghostwriting) 문제를 해결하기 위한 실질적인 도구를 제공합니다. 특히, 장편 텍스트와 새로운 모델/장르에 대한 일반화라는 두 가지 핵심 과제를 해결함으로써, 단순한 'AI 탐지'를 넘어 '누가 (어떤 모델이) 썼는지'를 규명하는 LLM 텍스트 포렌식 (Forensics) 분야의 새로운 기준을 제시했습니다. TRACE 의 경량성과 해석 가능성은 실제 배포 환경에서의 적용 가능성을 높이며, 향후 AI 생성 콘텐츠의 책임성 확보와 저작권 보호에 중요한 기여를 할 것으로 기대됩니다.