技術的要約：文学研究におけるシミュレーション実験のためのツールとしてのAI

1. 問題提起

文学研究および歴史学には、制御されたラボスタイルの実験を行う能力が欠如している。学者は、歴史的事象を再実行したり、特定の因果変数（例：経済的な不安定さ、移動パターン）を単離したり、あるいは反事実的な条件（例：「ジェイムズ・ジョイスがいなかった場合、モダニズムはどのように発展したか？」）をテストしたりすることはできない。なぜなら、対象となる主題はすでに亡くなっており、出来事はすでに発生してしまったからである。気候科学や疫学といった他の分野が、直接的な操作が不可能な現象をモデル化するために計算機シミュレーションを活用している一方で、文学研究にはそのような探究のための原理に基づいた、根拠のある手法が欠けていた。

対処される中心的な問題は、影響、文脈、および因果関係に関する主張を検証するための厳密な実験用ツールキットの不在である。本論文は、生成AI、特に大規模言語モデル（LLM）が、文化的な生産をシミュレートするための「シリコン・サンプル」または人類の集団のプロキシ（代理）として機能し、他の変数を一定に保ちながら、変数（ジャンル、時代、著者コンテクスト）を系統的に操作することを可能にすると提案している。

2. 方法論

本研究は、AIが生成したフィクションと人間が執筆した小説のコーパスを比較する、大規模な実証的設計を採用している。その手法は、主に以下の3つの構成要素から成る。

2.1 コーパスの構築

• 人間による参照コーパス: CONLITに由来する2,754巻（2001年–2021年）から派生。主要な比較セットは、賞のノミネートまたは受賞作（ブッカー賞、ナショナル・ブック・アワードなど）である258冊の小説であり、「PW」とラベル付けされている。追加のサブセットには、SF（Science Fiction）およびミステリー（MY）が含まれる。
• AI生成コーパス: GPT-5（OpenAIのバッチAPI経由）を使用して、計3,800章を生成した。
  • 複雑なプロンプト（2,300テキスト）: システムプロンプト（専門的な小説家のペルソナ）、ユーザープロンプト（賞を争うレベルの第一章を書け）、および合成著者伝記を含む多成分構造を利用。これらの伝記は、実在の著者（例：イアン・マキューンのようなペルソナ）に似せるよう生成され、特定の出生地、経歴、および文体的な特徴を備えており、個別化された文化的コンテクストを提供した。一部のプロンプトには、歴史的な日付指示（2005年–2016年）が含まれていた。
  • 基本プロンプト（1,500テキスト）: 最小限の指示（「...の小説の第一章を書け」）を、5つのモデル（GPT-5, GPT-5-mini, GPT-5-nano, GPT-4.1, GPT-3.5-turbo）に対して、伝記や特定の制約なしで適用。

2.2 分析フレームドワーク

• 埋め込み分析: テキストを、内容、形式、およびスタイルに対してプロンプトによるバイアスをかけたQwen3-Embedding-8B（8Bパラメータ、32kトークンウィンドウ）を用いて埋め込み処理を行った。
  • 人間の書籍はチャンク化（最大32kトークン）され、長さによる重み付け平均によって集約された。
  • AIの章（平均約13kトークン）は、単一のチャンクとして扱われた。
  • 類似性は、埋め込み空間におけるコサイン類似度によって測定された。
  • UMAPを用いて2D可視化を行い、人間のテキストに適合するように空間を適合させ、そこにAIのテキストを投影した。
• 語彙分析: AIと人間のテキスト間で統計的に過剰に表れている単語を特定するために、Fightin' Words法（Monroe et al., 2008）を適用した。その際、非受賞フィクションをベイズ事前分布として使用した。

3. 主要な結果

3.1 ジャンル構造と分布

• ジャンルの保存: AI生成テキストは、人間のフィクションのジャンル構造を保持している。賞ノミネート（PW）、SF、およびミステリーのジャンルを対象としたAIテキストは、他のジャンルではなく、それぞれの対応する人間のジャンルに最も類似している。
• 多様性 vs 同質性: LLMは高度に同質的であるとする先行研究の記述に反し、本研究では、**複雑なプロンプトを用いたAIテキストは、同じジャンル内の人間によるテキストよりも多様である（内部的な類似性が低い）**ことが判明した。
  • 人間によるPW類似度: 0.635
  • 複雑なプロンプトによるAIのPW類似度: 0.580
  • 基本プロンプトによるAIのPW類似度: 0.682（より同質的）。
• プロンプトエンジニアリングの影響: 合成伝記を用いた複雑なプロンプトは、基本プロンプトと比較して、出力をより多様にし、人間の分布に近づける上で、多様性を大幅に増加させ、出力をより人間らしくさせた。基本プロンプトは、密にクラスター化した明確な出力を生み出した。

3.2 時間的条件付け

• 無効な結果: モデルに対し、特定の年（2005年–2016年）として書くようにプロンプトを与えても、未指定のプロンプトと比較して、埋め込み空間において測定可能な差は生じなかった。
• 示唆: 単純なプロンプトレベルの時間的条件付けは、歴史的期間に関するモデルの生成的挙動を変えるには不十分であり、これは歴史的な忠実度のために、時代特有の事前学習が必要であるという知見と一致している。

3.3 語彙の違い

• 人間のテキスト: 三人称代名詞、過去時制マーカー、および口語表現によって特徴付けられ、これらは身体化された過去時制のナレーションを示している。
• AIテキスト: 現在時制マーカー、否定（最も特徴的なAIの単語）、メタフィクション的な用語（例：「書いた」「文章」）、および一人称複数形（「我々」）の使用率が高かった。
• 規模: 検出可能ではあるものの、語彙的な差異は（政治演説などの）明確なグループと比較すると緩やかであり、AIテキストがレジスター（言語使用域）において区別可能ではあるものの、「分布内（in-distribution）」であることを示唆している。

4. 主な貢献

1. 方法論的フレームワーク: LLMを、創造的な産物としてではなく「シミュレーションされた文学的出力」として扱う、シミュレーションベースの文学実験のためのフレームワークを提案した。
2. 分布内出力の初のデモンストレーション: AIモデルが、完全に分布外（out-of-distribution）になるのではなく、人間の執筆による文学（高ステータスの賞を得るジャンルを含む）の分布範囲内に収まる、合成的なサンプルを生成できるという最初の証拠を提供した。
3. 合成伝記の役割: 個別化された著者コンテクスト（合成伝記による）が、LLMの出力の同質性を減少させ、シミュレーションの忠実度を向上させるための決定的な要因であることを示した。
4. プロンプティングの限界: 単純なプロンプトレベルの時間的条件付けは、時代に一貫した出力を生成することに失敗することを確立し、反事実的な歴史シミュレーションには、より深い介入（モデル編集、アンラーニング、または事前学習）が必要であることを強調した。

5. 重要性と主張

本論文は、AIベースのシミュレーションが、文学研究における直接的な実験に対する「原理的な代替案」を提供し、学者が歴史的発展について因果的に推論することを可能にすると主張している。

• 現状: この手法は現在、「部分的ではあるが、示唆に富む形で」成功している。それは構造的な特徴（ジャンル組織、著者による個別化の効果）を捉えているが、他の特徴（物語のレジスター、時間的特定性）は見落としている。
• 実現可能性: 著者らは、本格的な現代の文学的・社会的プロセスの反事実的シミュレーションは「実現可能性の境界線上にある」と述べている。一方で、歴史的シミュレーションには、さらなる技術的進歩（モデル編集、時代特有の事前学習など）が必要である。
• 今後の展望: 本論文は、これらの知見を「不可能であることの証拠」としてではなく、出発点として位置づけている。それは、文学研究者がこれらの「不完全だが改善可能な」ツールを用いて反事実的な問いに取り組むことを促し、同時にNLP研究者に対して、モデル編集、文化的条件付け、および生成における多様性の進展を呼びかけている。

本研究は、シミュレーションがターゲットとなるシステム（人間）の完全な複製ではないものの、初期段階の気候モデルが地域的なパターンを捉える前に大規模な循環を捉えたのと同様に、指定された次元において有用な推論をサポートするのに「十分である」と結論づけている。