Beyond the Final Actor: Modeling the Dual Roles of Creator and Editor for Fine-Grained LLM-Generated Text Detection

1. 연구 배경 및 문제 정의 (Problem)

• 현황: 대규모 언어 모델 (LLM) 의 남용으로 인해 생성된 텍스트의 탐지가 시급해졌으나, 기존 연구들은 대부분 이진 분류 (Human vs. LLM) 또는 3 클래스 분류 (Human, LLM, Mixed) 에 머물러 있습니다.
• 한계: 실제 규제 환경에서는 'LLM 이 인간 글을 다듬은 경우 (LLM-Polished Human Text)'와 '인간이 LLM 글을 인간화하여 탐지를 회피한 경우 (Humanized LLM Text)'를 구분해야 합니다.
  • LLM-Polished: 학술적 윤리상 허용될 수 있는 보조 도구로 간주될 수 있음.
  • Humanized: 탐지 회피를 위한 부정행위로 간주되어 금지됨.
• 핵심 문제: 기존 탐지기는 최종 산출물 (Final Actor) 만을 분석하여 두 가지 혼합 텍스트의 미묘한 차이를 구분하지 못하며, 이로 인해 오검출 (False Alarm) 이 발생하거나 규제 정책과 부합하지 않는 결과를 초래합니다.
• 목표: 4 클래스 분류 (Human, LLM, LLM-Polished, Humanized) 를 수행하는 정밀한 (Fine-grained) 탐지 프레임워크 개발.

2. 제안 방법론: RACE (Methodology)

저자들은 RACE (Rhetorical Analysis for Creator-Editor Modeling) 라는 새로운 모델을 제안합니다. 이 모델은 텍스트 생성 과정을 **'창작자 (Creator)'**와 **'편집자 (Editor)'**의 이중 역할로 분해하여 모델링합니다.

• 핵심 가설:

  • 창작자 (Creator): 텍스트의 논리적 구조, 논증의 흐름, 아이디어의 기원을 결정합니다. (인간 vs LLM 의 근본적 차이)
  • 편집자 (Editor): 표면적인 언어 표현, 어휘 선택, 문체 스타일을 수정합니다.
  • 관찰: 인간이 쓴 글을 LLM 이 다듬어도 (LLM-Polished) 논리적 구조는 인간 창작자의 특징을 유지합니다. 반면, LLM 이 쓴 글을 인간이 수정해도 (Humanized) 논리적 구조는 LLM 의 특징을 유지합니다.

• 모델 아키텍처:

  1. Dual Trace Extraction (이중 흔적 추출):
     • 창작자 흔적: **RST (Rhetorical Structure Theory, 수사적 구조 이론)**를 활용하여 텍스트를 Elementary Discourse Units (EDU) 로 분할하고, EDU 간의 논리적 관계 (인과, 대조, 설명 등) 를 기반으로 **논리 그래프 (Logic Graph)**를 구성합니다. 이는 창작자의 사고 과정을 포착합니다.
     • 편집자 흔적: 각 EDU 단위의 Elementary Discourse Unit-level 특징을 추출하여 표면적인 언어적 스타일과 편집자의 흔적을 포착합니다.
  2. Logic-Aware Graph Initialization:
     • 파싱된 RST 트리를 다중 관계 그래프로 변환합니다.
     • Descendant Span Pooling: 하위 노드들의 의미적 표현을 집계하여 논리 관계 노드의 초기 특징을 생성합니다.
     • Information Bottleneck Projection: 표면적인 노이즈를 필터링하고 구조적 특징만 압축하여 노드 특징을 초기화합니다.
  3. Rhetoric-Guided Message Passing:
     • **RGCN (Relational Graph Convolutional Network)**을 사용하여 그래프 상에서 정보를 전파합니다.
     • 각 수사적 관계 (Relation) 에 특화된 가중치를 학습하여 복잡한 논리적 의존성을 포착합니다.
     • Basis Decomposition: 파라미터 폭발을 방지하고 희소한 관계에 대한 일반화 능력을 향상시키기 위해 가중치 행렬을 공유 기저 (Basis) 로 분해합니다.
  4. Graph Readout and Classification:
     • 그래프의 루트 노드 (전체 텍스트의 논리적 의도) 를 풀링하여 글로벌 표현을 얻고, 4 클래스 분류 헤드를 통해 최종 예측을 수행합니다.
  5. 손실 함수: 지도 대조 학습 (Supervised Contrastive Loss) 과 교차 엔트로피 손실을 결합하여 특징 공간의 분리도를 극대화합니다.

3. 주요 기여 (Key Contributions)

1. 태스크 특화성 (Task-Specificity): 인간 작성, LLM 생성, LLM 다듬기, 인간화 LLM 텍스트를 명확히 구분하는 4 클래스 탐지 프레임워크를 최초로 체계적으로 제안했습니다.
2. 방법론적 혁신 (Method): RST 기반의 논리 그래프와 EDU 기반의 언어적 특징을 결합하여 창작자와 편집자의 역할을 분리하여 모델링하는 RACE 를 제안했습니다. 이는 기존 단일 특징 기반 모델의 한계를 극복합니다.
3. 성능 및 실용성 (Performance): 12 개의 기존 베이스라인 (학습 기반 및 지표 기반) 을 압도하는 성능을 보였으며, 특히 **낮은 오검출률 (Low False Alarms)**을 유지하면서 높은 탐지 정확도를 달성했습니다.

4. 실험 결과 (Results)

• 데이터셋: HART (Human-AI Collaborative Text) 벤치마크를 사용하며, 4 클래스로 재구성된 데이터를 활용했습니다.
• 주요 지표: Macro-Averaged AUROC 및 TPR@1% FPR (오검출률 1% 일 때의 탐지율) 를 사용했습니다.
• 성능 비교:
  • RACE 는 12 개의 베이스라인 중 **평균 TPR@1% FPR 에서 가장 높은 성능 (83.06%)**을 기록했습니다.
  • 가장 강력한 베이스라인인 CoCo 대비 3.36%p의 절대적 성능 향상을 보였습니다.
  • 특히 'Humanized LLM Text'와 'LLM-Polished Human Text'를 구분하는 데 있어 기존 방법들보다 월등히 우수한 성능을 보였습니다.
• Ablation Study:
  • 관계 (Relation) 정보 제거 시 성능이 크게 저하되어, 논리적 구조 모델링의 중요성을 입증했습니다.
  • RGCN 과 대조 학습 (Contrastive Loss) 제거 시에도 성능이 감소하여, 이중 역할 모델링의 필수성을 확인했습니다.
• OOD (Out-of-Distribution) 테스트: 학습되지 않은 도메인 (Arxiv, Essay, News 등) 에서도 CoCo 나 LF-Motifs 보다 우수한 일반화 성능을 보였습니다.

5. 의의 및 결론 (Significance)

• 규제 정책 부합: 단순한 'AI 생성 여부'를 넘어, 텍스트가 어떻게 생성되었는지 (창작자와 편집자의 역할) 를 파악함으로써 학술 윤리, 저작권, 정보 신뢰성 등 다양한 분야에서 세부적이고 정책적으로 적합한 규제를 가능하게 합니다.
• 새로운 탐지 패러다임: 텍스트를 단순한 시퀀스가 아닌, '논리적 구조 (창작자)'와 '언어적 표현 (편집자)'이 교차하는 복합체로 바라보는 관점을 정립했습니다.
• 미래 전망: 이 연구는 LLM 과 인간의 협업이 일상화되는 시대에, 생성된 콘텐츠의 출처와 변조 이력을 정밀하게 추적할 수 있는 기술적 토대를 마련했습니다.

요약하자면, 이 논문은 RST(수사적 구조 이론) 를 기반으로 창작자와 편집자의 역할을 분리하여 모델링하는 RACE를 제안함으로써, 기존 탐지기가 해결하지 못했던 4 클래스 미세한 LLM 생성 텍스트 탐지 문제를 성공적으로 해결하고, 낮은 오검출률로 높은 신뢰도를 확보했다는 점에서 의의가 큽니다.