技術的サマリー：大規模言語モデルは人間の信念ダイナミクスを模倣できるか？

問題提起

大規模言語モデル（LLM）は、調査の再現から世論ダイナミクスのモデリングに至るまで、ソーシャルネットワークの文脈における人間の態度、意見、行動をシミュレートするために、ますます活用されるようになっています。先行研究は、LLM が特定の人間の行動（イベントの開催や科学的合意の形成など）を再現できることを示唆していますが、これらのモデルが信念ダイナミクス、すなわち人間が初期信念をどのように形成し、競合する情報に応じてそれを更新し、同質性の傾向に基づいて社会的ネットワークを再構築するかを、どの程度模倣できるかという点において、重要なギャップが存在します。

扱われている中心的な問題は、LLM が「デジタルツイン」ペルソナ（人口統計データおよび性格データ）を提供された場合でも、人間の信念形成と変化の背後にある複雑な心理プロセスを正確に再現できるかどうかです。著者らは、厳格な検証なしに、社会的シミュレーションにおける人間の代理として LLM を展開することは、特に分極化や説得に関する研究において重大なリスクを伴うと仮説を立てています。

方法論

本研究は、「デジタルツイン」アプローチを用いて、政治的信念ダイナミクスに関する確立された人間実験（Proma et al., 2025c）を再現しました。

• 実験デザイン: 元の人間実験は 3 つの段階から構成されていました。
  1. 回答: 参加者はある主張に対する信念を評価しました（0〜4 のリッカート尺度）。
  2. 修正: 参加者は他者の評価に接し、自身の評価を更新することができました。
  3. 選択: 参加者は、次のラウンドでどの他者を「フォロー」するかを選択しました。
• LLM シミュレーション: 著者らは、341 人の人間参加者を LLM の「デジタルツイン」に置き換えました。各 LLM には、特定の参加者の人口統計情報とビッグファイブ性格特性がプロンプトとして提供されました。その後、モデルは元の人間被験者と同じ刺激（他者の回答を含む）を受け取りながら、同じ 3 つの段階を navigated するようタスクを与えられました。
• 評価対象モデル: 本研究では、4 つのファミリーに属し、異なるパラメータサイズを持つ 12 種類の LLM を評価しました。これには、思考（推論）を行わないモデル（例：Llama 3、Gemma 3）と、思考（推論）を行うモデル（例：Qwen 3、GPT-OSS）の両方が含まれます。
• データ範囲: 分析は 2 つの政治的トピック（「移民」と「石油および燃料」）を対象としており、合計 1,023 のサンプル（3 ラウンド × 341 人の参加者）に及びました。
• 評価指標:
  • 段階 1（初期信念）: 分布の形状、中心傾向、および個人レベルの整合性を比較するために、KL ダイバージェンス、ワッサーシュタイン距離、マン - ウィトニー U 検定、およびスピアマン相関係数を使用しました。
  • 段階 2（信念変化）: 信念更新の大きさおよび「社会的影響」（初期の自己信念と他者の平均とのギャップと、その結果生じる信念変化との間の相関）の分析を行いました。
  • 段階 3（ネットワーク選択）: 「フォロー信号」（選択された他者の平均評価）および「信念ネットワーク距離」（初期信念と選択された他者の信念との絶対差）を用いて、同質性を測定しました。

主要な結果

1. 初期信念分布の模倣失敗

LLM は、人間の初期信念の分布を体系的に一致させることに失敗しました。

• 分布の不一致: LLM の KL ダイバージェンスおよびワッサーシュタイン距離の値は、ベースライン（人間対人間の分割）よりも有意に高く、分布の整合性が低いことを示しました。
• 体系的バイアス: 思考を行わないモデルは信念評価を過大評価する傾向があり（ピークは 2）、思考を行うモデルは信念評価を過小評価する傾向がありました（ピークは 0、強い異議を示す）。
• 低い個人相関: 個々の LLM の回答と人間の回答との間のスピアマン相関は、せいぜい中程度であり（最大 $\rho = 0.31$）、LLM は特定の個人の嗜好を信頼性高く予測できないことを示唆しています。

2. 信念更新における過度の同調

LLM は、人間よりも社会的影響を受けやすいことを示しました。

• 硬直性対流動性: 人間はより信念の硬直性を示し、LLM に比べて意見を変更する頻度と程度が低い傾向がありました。
• 社会的影響指標: 「社会的影響」（自己と他者のギャップ）と信念変化との間の相関は、12 種類のモデルのうち 11 種類で LLM の方が有意に高くなりました。これは、LLM の方が同調的であり、観察されたネットワークの平均に自身の回答をより容易に合わせることを示しています。

3. ネットワーク再構築における微妙な失敗（同質性）

LLM は他者を選択する行為を模倣することはできましたが、その背後にある同質的な論理を捉えることはできませんでした。

• フォロー信号: LLM は、人間がどの他者をフォローするかという一般的な分布を成功裡にシミュレートしました（フォロー信号において高い相関）。
• 信念ネットワーク距離: しかし、「信念ネットワーク距離」（選択された他者の信念がエージェント自身の信念からどの程度離れているか）は、LLM の方が一貫して高くなりました。これは、LLM は他者を選択することはできるものの、人間のネットワーク形成を特徴づけるような、類似性に対する強い好意（同質性）に基づいて選択を行っていないことを示唆しています。彼らの選択は、自身の初期信念にあまり根ざしていません。

主要な貢献と主張

本論文は、LLM シミュレーションに関する文献に対して 3 つの主要な貢献を行います。

1. 体系的な乖離: LLM が、初期分布、社会的影響への感受性、および同質的なネットワーク選択において、人間と根本的な方法で乖離しているという実証的証拠を提供します。
2. ペルソナの限界: 人口統計データおよび性格データに限定された「デジタルツイン」手法の有効性に疑問を呈し、そのような制約されたペルソナでは複雑な信念ダイナミクスを捉えるには不十分であることを示唆します。
3. スケーリング則の異常: 本研究は、より大きなパラメータサイズが必ずしも人間の信念ダイナミクスとの整合性を向上させるわけではないと指摘しており、信念の硬直性や動機付けられた推論は、通常スケーリング則が成立する推論や知識検索タスクとは区別されることを示唆しています。

意義と含意

著者らは、分極化、説得、およびネットワーク介入に関する研究において、人間の代理として LLM を無批判に展開することに対する「鋭い警告」で結論付けています。

• 根本的な非対称性: 本研究の知見は、LLM が人間と比較して社会的文脈を処理する方法における根本的な非対称性を浮き彫りにしています。LLM は、人間の信念ダイナミクスを駆動するアイデンティティ、動機、および情動的プロセスを欠いているように見えます。
• 研究上の注意: 本論文は、LLM を用いて人間の信念ネットワークをシミュレートすることは、モデルが対象とする人間集団よりも本質的に同調的で硬直性が低いため、誤った結論を導く可能性があると主張しています。
• 今後の方向性: 著者らは、今後の研究において、ソーシャルメディアの習慣や生きた経験を含むより詳細なペルソナを探求し、クローズドソースモデルやラウンド間メモリを備えたモデルがこのギャップを埋められるかどうかを調査する必要があると提言していますが、現在の能力については懐疑的な見解を維持しています。