論文概要：「Narrative Forecasting as a Metric for Tension in LLM Storytelling」

（LLM による物語創作における緊張感の指標としてのナラティブ予測）

この論文は、大規模言語モデル（LLM）が物語創作において「緊張感（Narrative Tension）」を欠如しており、既存の評価基準がこれを捉えきれていないという問題提起から始まります。著者らは、物語の緊張感を定量化する新しい指標「100-Endings」を提案し、これを基にした構造化された生成パイプラインを開発することで、LLM の物語創作能力を大幅に向上させることに成功しました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義 (Problem)

LLM の物語創作における「緊張感」の欠如

現在の最先端 LLM は、プロの作家（例：『The New Yorker』に掲載される作品）と比較して、物語の「緊張感」を維持することに失敗しています。

• 既存評価基準の限界: 現在広く使われている「EQ-Bench」などのベンチマークでは、LLM が生成した物語がプロの人間作家の作品よりも高いスコアを得ています。しかし、これらの評価基準（ルブリック）は、文章の流暢さや指示への従順さなどは評価できても、物語の構造における「情報の非対称性」や「結末の不確実性」といった緊張感の本質的な要素を見落としています。
• LLM の評価バイアス: LLM による自動評価（LLM-as-a-judge）は、LLM 自身が生成する「解決志向で感情的に平坦な」スタイルを好む傾向があり、人間読者が感じる「読了後の変容」や「没入感」を正しく評価できていません。
• 核心的な課題: LLM は物語の結末を早期に予測可能にしてしまい（Premature Resolution）、読者の期待を維持する「情報の遅延」や「不確実性の管理」ができません。

2. 提案手法 (Methodology)

2.1 新しい指標：100-Endings Metric

物語の緊張感を「結末の予測不可能性（Unpredictability）」として定義し、これを構造的に測定する新しいメトリクスを提案しました。

• 仕組み:
  1. 物語の各文の境界（10%〜99% の位置）において、LLM に「これまでの文脈のみ」を与えて、物語の結末を 100 回予測させます。
  2. 生成された 100 個の結末予測を、実際の物語の結末（Ground Truth）と比較します。
  3. No-rate（不一致率）: 100 個の予測のうち、実際の結末と一致しなかった割合を計算します。
     • 高い No-rate = 予測が困難 = 高い緊張感
     • 低い No-rate = 予測が容易 = 低い緊張感（平坦な物語）
• 追加統計量:
  • Mean No-rate: 物語全体の平均的な予測困難度。
  • Late-stage No-rate: 物語の終盤（80% 以降）における予測困難度。プロの作品は終盤まで不確実性を維持しますが、LLM は早期に予測可能になります。
  • Inflection Rate: 予測曲線の方向転換（逆転）の頻度。物語の「ひねり」や「発見」の頻度を測定します。
  • Post-spike Retention: 緊張のピークがどの程度維持されるか（即座に解決されないか）を測定します。

2.2 構造化生成パイプライン (Structured Generation Pipeline)

LLM に緊張感を持たせるため、文学理論に基づいた 3 段階の生成パイプラインを設計しました。

1. Step 0: Warmup Analysis（ウォームアップ分析）:
   • 高品質な文学作品（『The New Yorker』や古典的な短編）を参照させ、7 つの「シーン・ビート（構造単位）」を抽出します。各ビートについて「具体的な行動」「使用されたナラティブ技法」「記憶に残る理由」を分析させます。
2. Step 1: Beat Adaptation（ビートの適応・厚い中間計画）:
   • 抽出したビート構造を、ターゲットの物語アイデアに適用します。
   • 単なるあらすじではなく、「どの情報を隠すか」「どの情報を明かすか」「緊張のメカニズム」「 stakes（賭け）の増大」といった構造的な制約を含む「厚い中間計画（Thick Intermediate Plan）」を作成します。
3. Step 2: Story Generation（物語生成）:
   • 作成された構造的な To-Do リストに基づき、最終的な物語を生成します。モデルは「緊張感を維持すること」をシステムプロンプトで強く指示されます。

3. 主要な貢献 (Key Contributions)

1. ナラティブ緊張感の新しい指標「100-Endings」の提案:
   • 既存のルブリック評価では見落とされていた「結末の予測不可能性」を、文レベルで定量化する指標を確立しました。
2. LLM の緊張感欠如の実証:
   • 100-Endings 指標を用いた評価により、トップクラスの LLM でさえも、プロの人間作家（『The New Yorker』）やアマチュア作家よりも「物語の緊張感」が低いことを実証しました。これは、既存の EQ-Bench 評価（LLM が人間を上回る）と矛盾する結果です。
3. 文学理論に基づく生成パイプラインの構築と効果検証:
   • 構造的な制約（中間計画）を導入することで、LLM の生成する物語の緊張感を大幅に向上させ、プロの作品とのギャップを約半分まで縮小することに成功しました。

4. 結果 (Results)

評価結果の対比

• EQ-Bench スコア:
  • LLM（ゼロショット）: 81〜84 点（プロの『The New Yorker』作品：78 点より高い）
  • 100-Endings スコア（Mean No-rate）:
    • 『The New Yorker』（プロ）: 0.765
    • EQ-Bench 上位 LLM（ゼロショット）: 0.630
    • 結論: EQ-Bench では LLM が勝っていますが、100-Endings ではプロの作品が LLM を明確に凌駕しています。特に「終盤の予測不可能性（Late-stage No-rate）」において、プロは 0.607 であるのに対し、LLM は 0.215 と極めて低く、LLM が物語の結末を早期に明かしてしまうことが示されました。

パイプラインの効果

• 提案したパイプラインを適用した結果、LLM の緊張感指標は劇的に向上しました。
  • Claude Sonnet 4.6 の場合、Mean No-rate が 0.606 → 0.747 に上昇。
  • Late-stage No-rate は 0.139 → 0.339 に倍増し、プロの作品（0.607）に近づきました。
  • EQ-Bench スコアも 82.04 → 85.03 に向上し、リーダーボードで 1 位となりました。
• ケーススタディ: 同じプロンプト（俳優と書店店主のロマンス）に対して、ゼロショット生成は会話の途中で関係性が確定し緊張が失われますが、パイプライン生成は「曖昧さ」を維持し、結末まで緊張感を保つことが確認されました。

5. 意義と結論 (Significance & Conclusion)

• 規模の限界の示唆: 単にモデルの規模を大きくするだけでは、物語の核心的な要素である「緊張感」は獲得できないことが示されました。
• 文学理論の重要性: 物語の構造（情報の隠蔽、遅延、因果関係の管理）を明示的にモデルに組み込む（Literary Theory-driven）アプローチが、LLM の創作能力を飛躍的に高めることを実証しました。
• 今後の展望:
  • 100-Endings は「予測不可能性」を測る指標ですが、これ自体が「良い物語」の十分条件ではありません（無秩序な予測可能性は混沌です）。
  • 今後は、このメトリクスを基盤に、より多様なナラティブ要素（トピック、スタイル、文化的文脈）を構造化して取り込む研究が必要です。
  • AI 研究と人文科学（文学理論）の融合を推進し、人間の創造性を代替するのではなく、補完・拡張するツールとして AI を発展させることを目指しています。

---

総括:
この論文は、LLM による物語創作の評価と生成において、従来の「文章の質」や「指示従順さ」だけでなく、「物語の構造と読者の心理的体験（緊張感）」に焦点を当てる必要性を強く訴えています。提案された「100-Endings」メトリクスと構造化パイプラインは、LLM が人間レベルの物語創作能力を獲得するための重要な道筋を示すものです。