1. 문제 정의 (Problem)

최근 생성형 AI 를 활용한 소설 (AI fiction) 이 출판 시장과 온라인에 급격히 유입되면서, 저작권 및 원작성 (originality) 문제가 대두되고 있습니다.

• 기존 접근법의 한계: 기존의 AI 텍스트 탐지기는 주로 표면적 스타일 신호 (단어 선택, 문장 구조, 문법적 패턴 등) 에 의존합니다. 예를 들어, AI 는 'delve', 'tapestry' 같은 단어나 em-dash(-) 를 과도하게 사용하는 경향이 있어 탐지가 쉬웠습니다.
• 새로운 도전: 그러나 최신 LLM 은 이러한 스타일적 특징을 빠르게 수정하거나 인간 스타일을 모방하도록 미세 조정 (fine-tuning) 할 수 있어, 표면적 스타일만으로는 탐지율이 급격히 떨어집니다.
• 핵심 질문: 스타일적 신호를 배제하고, 서사적 (discourse-level) 구조와 선택 (예: 등장인물의 주체성, 시간적 비연속성, 플롯의 복잡성 등) 만으로도 인간이 쓴 이야기와 AI 가 쓴 이야기를 구별할 수 있는가? 또한, AI 모델 간에 고유한 '서사적 지문 (narrative fingerprint)'이 존재하는가?

2. 방법론 (Methodology)

저자들은 STORYSCOPE라는 새로운 파이프라인을 제안하여 대규모 코퍼스에서 해석 가능한 서사적 특징을 자동 추출하고 분석합니다.

A. 데이터셋 구성

• 병렬 코퍼스: Books3 에서 추출한 10,272 개의 인간 작성 단편 소설을 기반으로, 각 소설의 줄거리와 캐릭터를 역추적하여 프롬프트를 생성했습니다.
• 생성 모델: 생성된 프롬프트를 5 개의 주요 LLM (Claude, DeepSeek, Gemini, GPT, Kimi) 과 인간 저자에게 입력하여 총 61,608 개의 이야기 (~5,000 단어) 를 생성했습니다.
• 규모: 각 이야기는 약 5,000 단어로 구성되어 있어, 짧은 텍스트에서는 추출하기 어려운 미세한 서사적 특징을 포착할 수 있습니다.

B. STORYSCOPE 파이프라인

1. 구조화된 서사 표현 (Structured Narrative Representation):
   • 각 이야기를 NarraBench 분류 체계 (10 가지 차원: 캐릭터, 플롯, 배경, 시간 구조 등) 에 기반한 JSON 템플릿으로 변환합니다.
   • 이를 통해 표면적인 문체 (stylistic surface) 를 제거하고 서사적 내용 (narrative content) 만을 구조화합니다.
2. 교차 소스 비교 (Cross-Source Comparison):
   • 동일한 프롬프트로 생성된 6 개 소스 (인간 + 5 개 LLM) 의 템플릿을 비교 분석하여, 소스 간에 체계적으로 다른 패턴을 발견합니다.
3. 서사적 특징 발견 (Feature Discovery):
   • 비교 분석 결과를 바탕으로 304 개의 해석 가능한 서사적 특징 (narrative features) 을 도출합니다.
   • 특징은 범주형, 서열형, 척도형, 이진형 등 다양한 형태로 정의되며, "주인공의 선택이 결말을 결정하는가?", "시간적 비연속성이 있는가?" 등 구체적인 질문으로 구성됩니다.

C. 실험 설정

• 분류 모델: 추출된 특징 벡터를 입력으로 받아 XGBoost 분류기를 훈련시켰습니다.
• 태스크:
  1. 이진 분류: 인간 vs AI 탐지.
  2. 6-way 저자 Attribution: 어떤 모델 (인간 포함 6 개) 이 썼는지 식별.
• 비교 대상: 표면적 스타일만 사용한 모델, 원본 텍스트 기반의 최신 BERT/TF-IDF 베이스라인과 비교했습니다.

3. 주요 기여 (Key Contributions)

1. STORYSCOPE 파이프라인: 대규모 텍스트에서 스타일적 노이즈를 제거하고, 구조적 서사 결정 (narrative decisions) 만을 추출하여 해석 가능한 특징 공간을 구축하는 자동화 시스템.
2. 서사적 특징의 유효성 입증: 표면적 스타일 신호를 완전히 배제하고 서사적 특징만으로 인간과 AI 를 93.2% 의 정확도 (Macro-F1) 로 구분할 수 있음을 증명했습니다. 이는 스타일과 서사를 모두 포함한 모델 성능의 97% 에 달합니다.
3. AI 의 '서사적 지문' 발견: 각 AI 모델이 고유한 서사적 편향 (fingerprint) 을 가지고 있음을 규명했습니다.
   • 예: Claude 는 사건 고조가 평탄하고, GPT 는 '수다/소문'을 플롯 장치로 자주 사용하며, Gemini 는 외부 캐릭터 묘사에 의존합니다.
4. AI 와 인간의 서사적 공간 분리: AI 모델들은 서사 특징 공간에서 인간과 명확히 분리된 밀집된 군집 (cluster) 을 형성하는 반면, 인간 작품은 더 다양하고 희귀한 (rare) 영역에 분포함을 발견했습니다.

4. 주요 결과 (Results)

A. 탐지 성능

• 인간 vs AI (이진 분류): 서사적 특징만 사용한 모델은 **Macro-F1 93.2%**를 달성했습니다. (스타일 특징 포함 시 96.0%, 스타일만 사용 시 85.8%).
• 저자 식별 (6-way): 서사적 특징만으로는 **Macro-F1 68.4%**의 정확도를 보였습니다. (스타일 포함 시 77.3%).
• 핵심 특징: 전체 304 개 특징 중 30 개의 핵심 (Core) 특징만으로도 인간-AI 구별 성능의 약 91% 를 유지했습니다.

B. 인간과 AI 의 서사적 차이 (Qualitative Findings)

• AI 의 특징:
  • 주제 과잉 설명 (Over-explanation): 주제를 명시적으로 설명하고 도덕적 교훈을 부여하는 경향이 강함.
  • 구조적 단순화: 플롯이 단일 트랙 (single-track) 이며, 시간적 비연속성 (회상, 비선형 구조) 이 적음.
  • 신체적 표현: 감정을 직접적으로 표현하기보다 신체 감각 (땀, 가슴 두근거림 등) 을 통해 과장되게 묘사.
  • 독자 배제: 독자를 직접 언급하거나 4 차 벽을 깨는 경우가 적음.
• 인간의 특징:
  • 도덕적 모호성: 주인공의 선택이 명확한 선악보다는 모호하게 묘사됨.
  • 시간적 복잡성: 플래시백, 비선형적 서사 구조를 더 자주 사용.
  • 외부 세계 연결: 구체적인 텍스트나 저자를 명시적으로 인용하고, 독자와의 상호작용 (4 차 벽 깨기) 이 더 빈번함.
  • 다양성: 서사적 공간에서 더 넓고 희귀한 분포를 보임.

C. 스타일 변형에 대한 강건성

• AI 생성 글을 스타일적으로 편집 (LAMP 프레임워크 사용) 하여 표면적 특징을 제거한 후에도, STORYSCOPE 는 **93.9%**의 탐지율을 유지했습니다. 이는 서사적 특징이 스타일적 편집에 영향을 받지 않는 구조적 결정임을 시사합니다.

5. 의의 및 결론 (Significance)

• 지속 가능한 탐지: 표면적 스타일은 모델이 진화하거나 편집을 통해 쉽게 변할 수 있지만, **서사적 구조 (구조적 결정)**는 변경하기 어렵기 때문에 AI 탐지 및 저자 식별에 더 내구성이 있는 (durable) 지표가 될 수 있습니다.
• 저작권 및 원작성 평가: 저작권법에서 요구하는 '최소한의 원작성'을 측정하는 데, 서사적 특징 공간에서의 통계적 희소성 (statistical rarity) 을 객관적인 지표로 활용할 수 있음을 시사합니다.
• 오픈 소스: STORYSCOPE 코드, 10,272 개의 프롬프트, 51,336 개의 AI 생성 이야기, 그리고 각 이야기의 서사적 특징 벡터를 공개하여 향후 연구의 기반을 마련했습니다.

결론적으로, 이 논문은 AI 생성 콘텐츠 탐지가 단순한 문체 분석을 넘어, 서사적 구조와 창작적 선택의 차이를 분석해야 함을 증명하며, AI 시대의 원작성 평가와 저작권 보호를 위한 새로운 방법론을 제시합니다.