Who Wrote This Line? Evaluating the Detection of LLM-Generated Classical Chinese Poetry

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 대규모 언어 모델 (LLM) 의 발전으로 문학 영역, 특히 중국 고전 시 (Classical Chinese Poetry) 생성이 가능해졌으나, 이로 인해 창작의 진정성과 저작권 윤리 문제가 대두되었습니다.
• 문제점: 기존 AI 생성 텍스트 탐지 연구는 현대 언어나 일반 장르에 집중되어 있으며, 중국 고전 시에 대한 탐지 연구는 거의 전무한 실정입니다.
• 고전 시 탐지의 어려움:
  1. 엄격한 형식적 제약: 고전 시는 운율 (Tonal patterns), 운 (Rhyme), 대조 (Parallelism) 등 엄격한 규칙을 따르므로, AI 가 학습된 패턴을 모방하는지 인간이 규칙을 준수하는지 구분하기 어렵습니다.
  2. 공유된 이미지와 어휘: 시적 이미지 (Imagery) 와 고사성어 (Allusions) 가 인간과 AI 모두에게 널리 공유되어 어휘 분포가 겹칩니다.
  3. 유연한 구문: 현대 중국어와 달리 고전 시는 어순 도치 (Syntactic inversion) 와 품사 활용이 자유로워, 기존 탐지 모델이 언어적 패턴을 포착하는 데 어려움을 겪습니다.

2. 방법론 (Methodology)

가. ChangAn 벤치마크 구축 (Dataset)

• 데이터 구성: 총 30,664 편의 시로 구성된 최초의 전문 벤치마크입니다.
  • 인간 작성 시: 282 명의 현대 시인과 애호가들이 작성한 10,276 편 (현대인이 쓴 고전 시). 고대 시가 아닌 현대 시를 사용한 이유는 LLM 의 사전 학습 데이터에 고대 시가 포함되어 있어 '기억 (Memorization)' 편향을 방지하기 위함입니다.
  • LLM 생성 시: 4 개의 주요 LLM(DepthSeek-V3.2, GPT-4.1, Kimi-K2, Doubao Seed-1.6) 이 생성한 20,388 편.
• 생성 전략 (Generation Strategies):
  1. 직접 생성 (Direct Generation): 주제만 주어지고 LLM 이 직접 시를 작성.
  2. 비판 기반 정제 (Critique-driven Refinement): LLM 이 생성한 시의 문제점 (격률, 어휘,意境 등) 을 스스로 분석하고 수정하는 과정을 거친 후 최종 생성. 이는 인간이 '推敲 (推敲, 다듬기)'하는 과정을 시뮬레이션합니다.

나. 평가 방법 (Evaluation)

• 텍스트 입자성 (Granularity):
  • 단일 시 탐지 (SPD): 한 편의 시만 입력.
  • 다중 시 탐지 (MPD): 6 편 또는 12 편의 시를 묶어 입력 (시집 출판 시나리오 시뮬레이션).
• 검출기 유형:
  • 결정 기반 (Decision-based): LLM 이 직접 "AI 생성인가?"라고 판단하는 방식.
  • 확률 기반 (Probability-based): 로그-가능도 (Log-Likelihood), 로그-랭크 (Log-Rank), 미세 조정된 RoBERTa 등 통계적/지도 학습 모델.

3. 주요 기여 (Key Contributions)

1. ChangAn 벤치마크 공개: 현대 인간이 쓴 고전 시와 LLM 생성 시를 모두 포함하는 최초의 대규모 전용 데이터셋 및 코드 공개.
2. 다양한 시나리오 평가: 텍스트 길이 (단일/다중) 와 생성 전략 (직접/정제) 을 변수로 하여 탐지 방법론의 한계를 포괄적으로 분석.
3. LLM 자기 탐지 능력 분석: 생성 모델이 자신의 생성물을 탐지할 수 있는지 (Self-detection) 를 검증하여, 고전 시 영역에서의 LLM 의 '자기 인식' 한계를 규명.

4. 실험 결과 및 분석 (Results & Analysis)

가. 전반적인 성능

• 결정 기반 탐지기의 실패: 대부분의 LLM 기반 탐지기는 성능이 매우 낮았습니다. 특히 GPT-4.1 은 AI 생성 시를 인간 시로 오인하는 경향이 강했고, 중국어 최적화 모델 (LLM-Detector-Small-zh) 도 고전 시라는 특수 장르에서는 일반 텍스트에 비해 성능이 현저히 떨어졌습니다.
• 확률 기반 탐지기의 우세: 통계적 방법 (Log-Likelihood, Log-Rank) 과 미세 조정된 RoBERTa 모델이 가장 좋은 성능을 보였습니다. RoBERTa 는 AUROC **95.03%**를 기록하여 지도 학습의 가능성을 입증했습니다.
• Fast-DetectGPT 의 실패: 고전 시의 엄격한 제약으로 인해 '음의 곡률 (negative curvature)' 가 성립하지 않아 무작위 추측 수준 (AUROC 49.67%) 으로 전락했습니다.

나. LLM 의 자기 탐지 능력

• 자기 인식 실패: LLM 들은 자신의 생성물을 식별하는 데 실패했습니다. (예: Doubao Seed-1.6 은 자신의 시를 16% 만 탐지). 이는 고전 시의 엄격한 형식적 제약이 LLM 고유의 통계적 신호를 가리기 때문입니다.
• 도메인 의존성: 모델의 정체성보다는 도메인 (고전 시) 에 대한 모델링 깊이가 탐지 성능에 더 큰 영향을 미쳤습니다.

다. 생성 전략의 영향

• 정제 과정의 효과: '비판 기반 정제 (Critique-driven Refinement)'를 거친 시는 탐지 난이도가 크게 증가했습니다. 특히 Log-Likelihood 와 Log-Rank 같은 통계적 방법의 성능이 약 17~18% 하락하여, AI 가 생성한 원본의 통계적 흔적 (Artifacts) 이 정제 과정에서 제거됨을 보여줍니다.

라. 텍스트 입자성 (Granularity) 의 영향

• 다중 시 탐지 (MPD) 의 효과: 단일 시 (SPD) 보다 6 편 (MPD-6) 또는 12 편 (MPD-12) 을 묶어 탐지할 때 성능이 급격히 향상되었습니다.
  • 예: 평균 정확도가 32.15%(SPD) 에서 56.10%(MPD-6) 로 상승.
  • 한계: 6 편 이상으로 늘려도 성능 향상은 체감적이지 않았습니다 (Diminishing returns). 이는 6 편의 시만으로도 AI 의 통계적 신호를 포착하기에 충분함을 의미합니다.

5. 의의 및 결론 (Significance)

• 현실적 경고: 현재 존재하는 중국어 텍스트 탐지 도구들은 고전 시와 같은 고도로 구조화된 문학 장르에서는 신뢰할 수 없는 도구임을 입증했습니다.
• 연구 방향 제시: 단순한 텍스트 분류를 넘어, 고전 시의 형식적 제약과 문맥적 맥락을 고려한 새로운 탐지 알고리즘 개발의 필요성을 강조합니다.
• 윤리적 기여: AI 생성 콘텐츠가 문학계에 침투하는 현실을 객관적인 데이터로 규명하여, 창작의 진정성과 저작권 보호를 위한 기술적 기반을 마련했습니다.

이 논문은 ChangAn을 통해 고전 시 영역에서의 AI 탐지 과제를 체계적으로 정의하고, 기존 방법론의 한계를 지적함으로써 향후 관련 연구의 중요한 기준점 (Benchmark) 을 제시했습니다.