Spoiler Alert: Narrative Forecasting as a Metric for Tension in LLM Storytelling

1. 문제 정의 (Problem)

대형 언어 모델 (LLM) 은 창의적인 글쓰기 분야에서 여전히 한계를 보이고 있으며, 특히 서사적 긴장감 (Narrative Tension) 을 유지하는 데 실패합니다.

• 현황: 기존 창의적 글쓰기 벤치마크인 EQ-Bench에서 LLM 판정기는 제로샷 (zero-shot) 방식으로 생성된 AI 스토리를 '뉴요커 (The New Yorker)'의 전문 단편 소설보다 높은 점수로 평가합니다. 이는 인간 독자가 느끼는 작품의 질과 AI 평가 지표 간의 괴리를 보여줍니다.
• 근본 원인: 기존 평가 기준 (Rubrics) 은 긴장감을 핵심 평가 항목으로 포함하지 않거나, 긴장감을 표면적인 언어적 특징 (긴박한 어조, 명시적 감정 표현 등) 으로 오인합니다. 또한, LLM 은 이야기의 결말을 너무 일찍 예측 가능하게 만들어 (조기 해결, Premature Resolution) 긴장감을 붕괴시킵니다.
• 필요성: 인간 독자가 이야기를 읽을 때 느끼는 '불확실성', '예상치 못한 반전', '결말에 대한 기대감'을 정량적으로 측정할 수 있는 새로운 지표와 이를 개선하는 생성 파이프라인이 필요합니다.

2. 방법론 (Methodology)

A. 새로운 평가 지표: 100-Endings Metric

저자들은 긴장감을 예측 불가능성 (Unpredictability) 으로 정의하고, 이를 측정하기 위해 100-Endings 지표를 제안합니다.

• 작동 원리:
  1. 이야기의 각 문장 경계에서, 현재까지의 텍스트만 보고 모델에게 이야기의 결말을 100 번 예측하게 합니다.
  2. 생성된 100 개의 결말 중 실제 결말 (Ground Truth) 과 일치하지 않는 비율을 No-rate로 계산합니다.
  3. No-rate 가 높을수록 (예: 0.85) 모델이 결말을 예측하지 못했다는 뜻이며, 이는 높은 긴장감을 의미합니다.
• 추가 통계량:
  • Mean No-rate: 전체 이야기의 평균 예측 불가능성.
  • Late-stage No-rate: 이야기의 후반부 (80% 이상 노출 시) 에도 유지되는 예측 불가능성 (전문가는 끝까지 긴장감을 유지하지만 LLM 은 일찍 무너짐).
  • Inflection Rate: 예측 곡선의 방향이 급격히 바뀌는 빈도 (반전 및 계시의 빈도).
  • Post-spike Retention: 긴장감의 피크가 해결된 후 얼마나 유지되는지 측정.

B. 서사 생성 파이프라인 (Story Generation Pipeline)

LLM 이 긴장감을 유지하도록 돕기 위해 문학적 이론에 기반한 3 단계 생성 파이프라인을 설계했습니다.

1. Step 0: Warmup Analysis (분석): '뉴요커'나 고전 단편 소설 중 하나를 참조하여, 7 개의 장면 단위 구조적 비트 (Beat) 와 서사 기법을 추출합니다.
2. Step 1: Beat Adaptation (적응): 추출된 구조적 템플릿을 대상 스토리 아이디어에 맞춰 수정합니다. 각 비트마다 어떤 정보를 공개하거나 숨길지, 긴장감 메커니즘, 위험도 (Stakes) 의 상승 등을 명시한 '두꺼운 중간 계획 (Thick Intermediate Plan)'을 생성합니다.
3. Step 2: Story Generation (생성): 이 구조적 계획을 엄격히 따르며 최종 스토리를 생성합니다.

3. 주요 기여 (Key Contributions)

1. 서사 긴장감 측정 지표 개발: 기존 평가 기준이 놓친 '예측 불가능성'을 문장 수준에서 정량화하는 100-Endings Metric을 제안했습니다.
2. LLM 의 긴장감 부재 입증: 100-Endings 지표를 통해 최상위 LLM 들이 생성한 스토리가 평가한 모든 코퍼스 (전문가, 아마추어 포함) 중 가장 낮은 긴장감을 보임을 증명했습니다. 이는 기존 EQ-Bench 점수와 정반대의 결과를 보여줍니다.
3. 구조적 제약을 통한 긴장감 개선: 문학적 이론에 기반한 생성 파이프라인을 도입하여, LLM 의 긴장감 지수를 전문 소설 수준으로 크게 끌어올렸음을 실험적으로 입증했습니다.

4. 실험 결과 (Results)

A. 평가 지표 비교 (EQ-Bench vs. 100-Endings)

• EQ-Bench 점수: LLM 이 전문 소설 (New Yorker) 보다 높은 점수를 받음 (예: GPT-5.2: 83.80 vs New Yorker: 78.71).
• 100-Endings 점수 (Mean No-rate): New Yorker (0.765) > LLM (0.630).
  • Late-stage No-rate: New Yorker (0.607) 는 LLM (0.215) 보다 약 3 배 높습니다. 이는 전문 소설이 끝까지 예측 불가능성을 유지하는 반면, LLM 은 이야기 중간에 결말을 예측 가능하게 만든다는 것을 의미합니다.
  • Post-spike Retention: New Yorker 는 긴장감 피크의 52% 를 유지하지만, LLM 은 23% 만 유지합니다.

B. 파이프라인 효과

• 성능 향상: 제안된 파이프라인을 적용한 Claude Sonnet 4.6 모델은 EQ-Bench 점수도 82.04 에서 85.03 으로 상승하여 리더보드 1 위를 차지했습니다.
• 긴장감 개선: 파이프라인 적용 후 Mean No-rate 는 0.606 에서 0.747 로 상승했으며, Late-stage No-rate 는 0.139 에서 0.339 로 2 배 이상 증가했습니다. 이는 제로샷 LLM 과 전문 소설 간의 격차를 약 50% 줄인 결과입니다.

C. 사례 연구

• 로맨스 스토리 분석: 동일한 프롬프트로 생성된 스토리 비교 시, 제로샷 LLM 은 등장인물 간의 관계가 명확해지자마자 긴장감이 급격히 떨어졌습니다. 반면, 파이프라인을 적용한 버전은 대화의 뉘앙스와 미묘한 정보 은유를 통해 결말까지 긴장감을 유지했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 평가 패러다임의 전환: 단순한 문장 완성도나 지시 이행 여부가 아닌, 서사 구조와 정보 비대칭성을 기반으로 한 평가의 중요성을 강조합니다.
• 규모의 한계 극복: 모델의 크기 (Scale) 를 늘리는 것만으로는 창의성과 긴장감을 해결할 수 없으며, 문학적 이론 (Narratology) 에 기반한 명시적인 구조적 제약이 필요함을 보여줍니다.
• 미래 방향: 이 연구는 LLM 이 진정한 '서사 기계 (Narrative Machine)'가 되기 위해 필요한 핵심 요소들을 매핑하고, 인문학 (문학 이론) 과 AI 연구의 융합이 필수적임을 주장합니다.

요약: 본 논문은 LLM 이 스토리텔링에서 긴장감을 유지하지 못한다는 문제를 제기하고, 이를 측정하기 위한 100-Endings 지표를 개발했습니다. 또한, 문학적 구조를 의도적으로 주입하는 파이프라인을 통해 LLM 의 서사 능력을 전문 작가 수준으로 획기적으로 개선할 수 있음을 증명했습니다.