論文要約：生成 AI と虚構性：小説が大規模言語モデルをどのように駆動するか

著者: Edwin Roland (UIUC), Richard Jean So (Duke University)

1. 研究の背景と問題提起 (Problem)

生成人工知能（Generative AI）や大規模言語モデル（LLM）の台頭により、クリエイティブ産業に大きな不確実性が生じています。これらのモデルは「次の単語を予測する」仕組みに基づいており、その出力は学習データに依存します。

• 核心問題: 多くの LLM（GPT シリーズや LLaMA など）の学習データには、膨大な数の小説（フィクション）が含まれています。エンジニアや研究者の間では、「フィクションの言語は多様な社会的・コミュニケーション現象を網羅しているため、モデルの訓練に理想的である」という共通の信念がありますが、その仮説は十分に検証されていません。
• 研究課題: 小説は他のテキスト（新聞、Reddit、Wikipedia など）と比べて、LLM の出力にどのような影響を与えるのでしょうか？特に、フィクションがモデルの「言語理解」や「社会的バイアス」にどのような独特の効果を及ぼしているのかを解明する必要があります。

2. 研究方法 (Methodology)

本研究では、オープンソースの代表的なモデルであるBERT（Bidirectional Encoder Representations from Transformers）を用いた計算実験を行いました。

• モデルの比較:
  1. Wiki モデル: Wikipedia の英語記事のみで訓練された BERT。
  2. Full モデル: Wikipedia と小説集（BookCorpus）の両方で訓練された BERT。
  • 両モデルのハイパーパラメータは同一に設定され、学習データの違いのみを比較対象としました。
• 実験 1: 予測能力の分析（抽象的な信念の解明）
  • Wikipedia の記事をテストセットとして使用し、単語をマスク（隠す）して、どの単語が埋まるかを予測させるタスクを行いました。
  • 両モデルの予測精度を比較し、特に「Full モデル」が「Wiki モデル」よりも優れている単語の種類を特定しました。
• 実験 2: 生成テキストの分析（生成された文の性質）
  • 両モデルからランダムに文を生成させ、そのトーン、視点、キャラクターの描写を定性的に分析しました。
• 実験 3: 情報利得（Information Gain）
  • 学習データ中のどのパッセージがモデルの信念形成に最も寄与したかを特定するため、BookCorpus のテストセットにおいて、Wiki モデルと Full モデルの予測精度の差（情報利得）を計算しました。
  • 情報利得が最も高かったパッセージを抽出し、その内容（登場人物、対話、状況など）を分析しました。

3. 主要な結果 (Key Results)

A. 学習データとしての小説の効果

• 代名詞と対話の理解向上: 小説を学習した Full モデルは、Wikipedia 学習のみのモデルに比べ、人称代名詞（you, he, she, them など）や動詞（say, ask, know, want）の予測精度が大幅に向上しました。
  • 固有名詞（人名）の予測はむしろ悪化しましたが、代名詞の予測が向上したことは、モデルが「テキスト内で確立されたアイデンティティを持つ人物（Somebodies）」の継続性や関係性を理解するようになったことを示唆しています。
• 対話的推論: 改善された単語には、可能世界（could, would）や存在量化（anything, something）を示すモダリティ動詞が含まれており、これらは主に対話（Dialogue）の文脈で使われます。小説はモデルに、世界を「対話的」に推論する能力を付与しました。

B. 生成テキストの性質

• Wiki モデル: 「長き啓蒙時代」のような、客観的・事実ベースの文体（政府政策、統計、事実の羅列）を生成します。
• Full モデル: 多様な視点を持つ**「人物**（Somebodies）が登場し、対話や内面描写、感情の機微を含むテキストを生成します。
  • 生成されたテキストは、登場人物の知覚や信念、他者との相互作用を通じて世界を評価する「物語的構造」を持っています。

C. 情報利得と作者の意図

• 情報利得が最も高かった小説のパッセージは、複数の登場人物が対話し、思考し、身体的接触を持つ状況に集中していました。
• これらのパッセージは、物語の転換点（クライマックス）や、登場人物の意図（Intention）が衝突・解決する高揚した瞬間を含んでいました。
• ジェンダーの相互作用: 学習データにおけるジェンダーの偏りは男女比のわずかな偏りに留まりましたが、重要なのは「男女が社会的危機の瞬間にどのように相互作用し、互いに影響力を行使するか」という動的な関係性の学習でした。

4. 主要な貢献 (Key Contributions)

1. フィクションの機能的役割の解明:

   • 従来の文学理論（Catherine Gallagher など）では、フィクションの登場人物は「実在しない誰か（Nobody）」として扱われてきましたが、LLM の文脈では、フィクションは**「実在しないが、文脈内で確立された『誰か**（Somebody）を生成・維持する能力（Affordance）を提供していることを実証しました。
   • これは James Phelan や Richard Walsh の「コミュニケーション的・修辞的アプローチ」を AI 研究に適用した成果です。

2. 計算機による文化分析の新たな手法の提示:

   • 文化的生産における「学習データ（Training Data）」を、著者や編集者と同様に重要な「アクター（行為者）」として位置づけました。
   • アルゴリズム監査（Algorithmic Audit）とデータ分析を通じて、ブラックボックス化されがちな AI の出力が、どのような学習データ（特にフィクション）によって形作られているかを可視化する手法を提案しました。

3. 社会的バイアスへの新たな視点:

   • 単なるステレオタイプの再生産だけでなく、フィクションがモデルに「人間関係のダイナミクス」や「対話による世界構築」を学習させている点を指摘しました。これは、AI の出力におけるバイアスや表現の問題を、より複合的な視点から捉える必要性を示唆しています。

5. 意義と結論 (Significance)

• 文化的生産の変容: 現代の文化生産は、人間作者だけでなく、AI とその学習データによって大きく形作られています。2026 年までにインターネットコンテンツの 90% が AI 生成または AI 支援になると予測される中、学習データの分析は不可欠です。
• 学際的アプローチ: 文学研究（虚構性、修辞学）と計算機科学（言語モデル、データ分析）を融合させることで、生成 AI がどのように「人間らしさ」や「社会的関係」をシミュレートしているかを理解する新たな枠組みを提供しました。
• 今後の展望: 本研究は、AI による文化的表現を批判的に分析・評価するための基盤となる「計算的監査」の重要性を強調しています。学習データがどのように現実の社会認識を歪め、あるいは再構築するかを理解することは、今後のデジタル人文科学および AI 倫理において極めて重要です。

---

要約の結論:
この論文は、LLM が小説を学習データとして取り入れることで、単なる事実の羅列を超えた「対話的・関係的な人間像（Somebodies）」を生成する能力を獲得することを計算実験により実証しました。これは、フィクションが AI に対して「実在しない人物を文脈的に確立させる」という独自の機能を提供していることを示しており、現代の文化生産において「学習データ」が新たな作者（Author）としての役割を果たしているという重要な洞察を提供しています。