論文「Overstating Attitudes, Ignoring Networks: LLM Biases in Simulating Misinformation Susceptibility」の技術的サマリー

この論文は、計算社会科学における誤情報（ミシンフォメーション）研究の文脈で、大規模言語モデル（LLM）を人間の代理（プロキシ）として使用することの有効性と限界を検証した研究です。特に、LLM が人間の「誤情報への感受性（信じるか、共有するか）」のパターンをどの程度再現できるか、そしてそのメカニズムにどのようなバイアスが含まれているかを体系的に評価しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細をまとめます。

1. 研究の背景と問題定義

近年、LLM は社会的シミュレーションや誤情報の拡散シナリオにおける人間の代理として頻繁に利用されるようになっています。しかし、従来のエージェントベースモデルが単純なヒューリスティックに基づいていたのに対し、LLM はより複雑な心理的・社会的文脈を反映できる可能性があります。

核心的な問い：
LLM は、人間の誤情報感受性（誤った主張を信じる傾向と、それを共有する意図）を決定づける重要な要因（人口統計、態度、行動、そして個人の社会的ネットワーク）との関係を、実証データと同様に再現できるのでしょうか？

既存の研究は主に人口統計学的要因や心理的要因に焦点を当てており、社会的ネットワークの構造や構成が誤情報感受性に与える影響を LLM が適切に扱えているかどうかは不明瞭でした。

2. 研究方法論

データセット

3 つの異なるオンライン調査データセット（ground truth）を使用しました。これらは以下の分野をカバーしています。

1. 公衆衛生（米国、2023 年）：ワクチンや慢性疾患に関する誤情報。
2. 気候変動（米国、2025 年）：気候変動に関する誤情報（画像をテキストに変換）。
3. パンデミック政治（韓国、2020 年）：COVID-19 関連の政治的誤情報。

各調査では、以下の 4 つのカテゴリのデータを収集しました。

• 誤情報感受性: 信じる度合い、共有する意図。
• 個人ネットワーク: 議論の相手（Alter）の属性、ネットワーク密度、相互認識など。
• 人口統計: 年齢、性別、人種、学歴、収入など。
• 態度・行動: 政治的傾き、科学への信頼、メディア使用習慣、健康リテラシーなど。

実験プロトコル

• LLM へのプロンプト: 人間の調査回答者のプロファイル（人口統計、態度、行動、ネットワーク情報を含む構造化されたテキスト）を LLM に提示し、同じ誤情報項目に対する「信じる度合い」と「共有意図」を回答させました。
• モデルの多様性: 複数のモデルサイズ、アーキテクチャ、プロバイダー（GPT-5, DeepSeek, Grok, Olmo など）、および推論モデルとチャットモデルを含む多様な LLM を評価対象としました。
• ロバスト性チェック: プロンプト内の情報順序の変更や、変数の集約スコア（Composite Scores）の使用など、異なるプロンプト設定での実験も行いました。

分析手法

1. 分布の類似性: ジェンセン・シャノンダイバージェンス（JSD）やアース・ムーバーズ・ディスタンス（EMD）を用いて、人間と LLM の回答分布を比較。
2. 相関分析: 人間と LLM の回答間のランク相関（Spearman's $\rho$）を計算。
3. 予測モデル（Elastic Net）: 人口統計、態度、ネットワーク特徴から誤情報感受性を予測する回帰モデルを人間データと LLM 生成データそれぞれに当てはめ、説明変数（$R^2$）と特徴量の重要度を比較。
4. 相互作用分析: 人間データと LLM データを統合し、「シミュレーションかどうか」を示すダミー変数と各特徴量の相互作用項を含むモデルを推定し、効果の推定値に系統的な差があるか検証。
5. 推論経路とトレーニングデータの分析: LLM が生成した思考連鎖（Chain-of-Thought）と、オープンソースのトレーニングコーパス（OLMoTrace 使用）を分析し、バイアスの源泉を探求。

3. 主要な結果

RQ1: 分布の近似度

LLM は誤情報への信じる度合いや共有意図の広範な分布傾向をある程度捉えており、人間との回答には中程度の相関が見られました。しかし、モデルやプロンプト設定によって性能がばらつき、一貫して優れている構成はありませんでした。

RQ2: 社会的予測因子と感受性の関係構造の再現

LLM は以下の点で実証データと系統的な乖離を示しました。

• 信念と共有の過剰な結合: 人間データでは「信じる」ことと「共有する」ことは相関するが区別される概念ですが、LLM シミュレーションではこの 2 つが極めて強く結びついており（相関係数 0.75〜0.95）、実証的な乖離が失われていました。
• 説明分散の過大評価: LLM データにフィットさせた回帰モデルは、人間データにフィットさせたモデルに比べて$R^2$ が桁違いに高い値を示しました。これは、LLM が入力プロファイルに対して人間よりも決定論的（予測可能）に反応していることを示唆しています。
• ネットワーク特徴の無視: 人間データでは、態度・行動変数と個人ネットワーク特徴の両方が誤情報感受性を説明する重要な要因でした。一方、LLM シミュレーションでは、態度・行動変数に過度に重みが置かれ、ネットワーク特徴はほぼ無視されていました。

RQ3: 特定の特徴量の効果推定における系統的差異

• LLM は「科学への信頼」「政治的傾き」「SNS 使用」などの既知の個人レベルの態度変数に対して、人間データよりも過大評価された効果を示しました。
• 一方、ネットワーク関連の特徴量（議論相手の属性やネットワーク密度など）の効果は、人間データに比べて小さく、不安定でした。

原因の特定（推論とトレーニングデータ）

• 推論経路の分析: LLM が生成した思考連鎖（CoT）を分析したところ、誤情報判断の根拠として「政治的傾き」や「科学への信頼」などの個人属性が頻繁に言及される一方、ネットワーク属性はほとんど言及されませんでした。
• トレーニングデータの分析: トレーニングコーパスを分析した結果、誤情報関連の概念と個人属性（特に政治や科学への信頼）が非対称かつ方向性を持って共起している傾向が見られました。LLM はトレーニングデータに存在する統計的ステレオタイプ（個人属性が結果を決定する）を過剰に学習し、関係性のある文脈（ネットワーク）を軽視している可能性が示唆されました。

4. 主要な貢献

1. ネットワーク要因の欠落の指摘: 既存の LLM シミュレーション研究が見過ごしてきた「個人ネットワーク」の重要性を浮き彫りにし、LLM が社会的文脈（関係性）を適切にモデル化できていないことを実証しました。
2. シミュレーションバイアスの体系的な評価: 単なる分布の一致だけでなく、変数間の関係構造（相関、回帰係数、特徴量重要度）に焦点を当てた包括的な評価パイプラインを提案しました。
3. 信念と共有の区別の重要性: LLM が「信じる」ことと「共有する」ことを混同（過度に結合）させる傾向を明らかにし、誤情報研究においてこの 2 つを区別して評価する必要性を再確認しました。
4. バイアスの源泉の解明: 推論プロセスとトレーニングデータの共起パターンを結びつけることで、LLM のバイアスが単なるランダムノイズではなく、学習データと推論メカニズムに根ざした系統的な歪みであることを示しました。

5. 意義と結論

この研究は、LLM を人間の代理として誤情報研究に用いる際の重要な限界を明らかにしています。

• 診断ツールとしての有用性: LLM シミュレーションは、人間の判断からの系統的な逸脱を診断したり、既知の個人属性がモデルにどのように反映されるかを探る探索的なツールとしては有用です。
• 代理としての不適切性: しかし、社会的相互作用やネットワーク構造が中心的な役割を果たす研究（誤情報の拡散メカニズムなど）において、LLM を人間のデータの完全な代替として用いることは危険です。LLM は個人属性に過度に依存し、社会的文脈を過小評価する傾向があるため、現実の複雑な社会動態を誤って単純化してモデル化してしまう恐れがあります。

結論として: 将来的な研究では、テキストベースのプロンプトだけでなく、グラフ構造や関係性を明示的にエンコードするアーキテクチャの導入や、トレーニングデータの偏りを是正する介入が必要であることが示唆されています。LLM シミュレーションは、慎重に解釈され、多様な実証データと組み合わせて使用されるべきです。