💬 NLP

Are LLM Agents Behaviorally Coherent? Latent Profiles for Social Simulation

本論文は、大規模言語モデルエージェントが人間の参加者に代わって研究に用いられることの妥当性に異議を唱え、人間と類似した応答を生成するにもかかわらず、異なる実験設定において真の人間の行動を正確に代表するために必要な根本的な行動の一貫性を欠いていることを実証する。

原著者： James Mooney, Josef Woldense, Zheng Robert Jia, Shirley Anugrah Hayati, My Ha Nguyen, Vipul Raheja, Dongyeop Kang

公開日 2026-05-11

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： James Mooney, Josef Woldense, Zheng Robert Jia, Shirley Anugrah Hayati, My Ha Nguyen, Vipul Raheja, Dongyeop Kang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

社会科学研究のための仮想都市を構築しようとしていると想像してください。何千人もの実在の人々を雇ってアンケートに答えさせたり会話をさせたりする代わりに、これらの人々の役割を AI エージェント（大規模言語モデルを搭載したコンピュータプログラム）に演じさせることにします。

この論文が問う大きな問題は、**これらの AI 俳優は実際に「一貫性」があるのか？**という点です。

つまり、AI に「あなたはピザが大好きでブロッコリーが嫌いな頑固な人物だ」と指示した場合、他の人と話す際に本当にピザが大好きでブロッコリーが嫌いな頑固な人物のように振る舞うのでしょうか？それとも、一時的にその人物を演じているだけで、会話が面白くなると同時に自分の性格を忘れてしまうのでしょうか？

以下に、研究者たちが発見した内容を、簡単な比喩を用いて解説します。

設定：「俳優のオーディション」

研究者たちは、AI エージェントが一貫しているかどうかを確認するために、3 段階のテストを設けました。

履歴書（コントロール）： 年齢、所在地、政治的見解などの詳細が記載された特定の「キャラクターシート」を AI に与えました。また、「税金を本当に愛している」あるいは「税金を本当に嫌っている」といった特定の「バイアス」も与えました。
単独インタビュー（潜在プロファイル）： 他の誰かと話す前に、AI に簡単な質問をしてその性格を確認しました。「1 から 5 の尺度で、税金をどの程度好みますか？」や「考えを変えることにどの程度オープンですか？」といった質問です。
グループチャット（外部相互作用）： 2 つの AI エージェントをペアにして、あるトピックについて会話させました。その後、2 つのエージェントがどの程度同意または異議を唱えたかを測定しました。

目標は、グループチャットにおける AI の行動が、単独インタビューで主張していた性格と一致するかどうかを確認することでした。

発見：「二面性」のある俳優

研究者たちは、人間の行動に関する 6 つの異なるルール（「あるトピックで同意している人々は会話でも通常同意する」や「頑固な人々はめったに考えを変えない」など）をテストしました。

ここには悪い知らせがあります：AI 俳優はより深いテストに失敗しました。

AI エージェントを、単一のシーンの台詞を読むのは得意だが、劇全体を即興で演じるのは下手な俳優のように考えてみてください。

表面的なレベル（「合格」）： 全体像だけを見ると、AI は機能しているように見えます。税金を好む 2 つのエージェントをペアにすれば、一般的に同意します。税金を嫌う 2 つをペアにすれば、一般的に同意します。それは通常の会話のように見えます。
深掘り（「不合格」）： 研究者がより詳しく調べると、AI の行動は崩壊しました。それは自身の内部ルールと矛盾していました。

以下は、AI が「キャラクターを崩した」具体的な方法です。

1. 「礼儀正しいロボット」の問題（バイアスの非対称性）

期待： 「あなたは強硬な保守派だ」と AI に指示し、もう一人の「強硬な保守派」とペアにすれば、彼らは同意するはずです。「強硬な保守派」と「強硬なリベラル派」をペアにすれば、彼らは争うはずです。
現実： AI は保守派のパートナーに同意しました（良いことです！）。しかし、リベラル派のパートナーとペアになったとき、あるべきほど激しく争いませんでした。あまりにも礼儀正しかったのです。極端になるよう指示されていても、AI は本当の対立を維持できませんでした。キャラクターに固執する代わりに、物事を滑らかにしました。

2. 「幸せ vs 悲しみ」のパラドックス（共有感情）

期待： あるものを嫌う 2 人（例：「税金はひどい」）は、あるものを愛する 2 人（例：「税金は素晴らしい」）と同じくらい強く同意するはずです。
現実： AI は奇妙なほどポジティブに偏っていました。あるトピックを両方とも愛する2 つのエージェントは完璧に同意しました。しかし、同じトピックを両方とも嫌う2 つのエージェントはどうでしょうか？彼らはなぜ嫌うのかについて同意できず、あるいは離れていくことが多かったです。AI は「共有された否定的感情」のシミュレーションに苦労しました。

3. 「トピックの感受性」のバグ（対立性）

期待： 2 人があるトピックで同意している場合、そのトピックが退屈なものであれ（例：「春 vs 秋」）、爆発的なものであれ（例：「移民」）、同意のレベルは変わらないはずです。
現実： AI の同意レベルは、トピックがどれほど「熱い」かに応じて変化しました。2 つのエージェントが全く同じ意見を持つようにプログラムされていても、「移民」について「ビーチ」についてよりも多く議論しました。トピックが加熱すると、AI は内部状態を安定させることができませんでした。

4. 「頑固さ」の逆転（開放性）

期待： 正反対の意見を持つ非常に頑固な人々（開放性が低い）をペアにすれば、彼らは可能な限り最低の同意を示すはずです。彼らは和解するのが最も難しいはずです。
現実： 驚いたことに、「頑固」で「対立」するようにプログラムされた AI エージェントは、オープンな人々よりも多く同意しました。AI は、2 人の頑固な人が譲歩を拒否する摩擦をシミュレートできませんでした。代わりに、単に彼らを同意させました。

全体像

この論文は、AI エージェントは真空状態（アンケートへの記入など）では人間の反応を模倣するのは得意だが、動的で社会的な状況における人間の行動をシミュレートするのは現在苦手であると結論付けています。

人形劇を想像してください。人々は人間のように見え、糸を適切に引けば正しい言葉を発します。しかし、人形に台詞なしで互いに話させると、彼らは自分が誰であるべきかを忘れてしまいます。彼らは「潜在プロファイル」（隠れた性格）を失い、単に同意しやすく、礼儀正しく、一貫性のない存在になってしまいます。

結論：
社会研究において実在の人々を AI で代替したい場合は、注意が必要です。彼らは簡単なテストには合格できますが、状況が複雑になると「リアリズム」のテストには失敗します。安定した性格を持つ実在の人間のように振る舞うための内部的一貫性を欠いているため、彼らはまだ実在の人間の参加者の完璧な代替品にはなり得ません。

技術的サマリー：LLM エージェントは行動的に一貫しているか？

問題定義

大規模言語モデル（LLM）の急速な進展は、「置換仮説」を後押ししてきた。すなわち、合成エージェントは社会的・行動的研究における実在の人間参加者の妥当な代替となり得るという仮説である。先行研究では、LLM が人間の人口統計学的特徴や集計された意見と整合するアンケート回答を生成できることが示されてきたが、より根源的な問いは未解決のままだ：LLM エージェントは、異なる実験設定にわたって経験的な行動の一貫性を維持しているか？ 具体的には、エージェントに潜在的なプロファイル（特定の嗜好や人格特性など）が割り当てられた場合、そのエージェントのマルチエージェント相互作用における会話行動は、確立された人間の行動モデルに従って、そのプロファイルを忠実に反映しているか？本論文は、表面的な整合性だけでは不十分であると主張する。エージェントが複雑で多ターンにわたる社会的ダイナミクスにわたって特性駆動型の整合性を維持できること、すなわち「行動的一貫性」を示さなければ、妥当な代替とはなり得ない。

手法

著者らは、LLM エージェントの行動的一貫性を、内部状態と外部相互作用の対照によって検証するために設計された新規の実験的枠組みを提案する。この枠組みは、5 つの連続する段階から構成される。

トピックの選択: 対立度レベル（ $C \in \{1, 2, 3\}$ ）によって分類された 9 つのトピックが選択される。対立度は低（例：「コカ・コーラ対ペプシ」）から高（例：「移民」）まで幅広い。
エージェントの構築: エージェントは、制御された人口統計学的プロファイル（年齢、性別、居住地、教育、都市性）と、トピックに関する明示的なバイアス指示（ $B \in \{1, 2, 3\}$ ）とともに生成される。
潜在状態の抽出: 相互作用に先立ち、各エージェントの嗜好（ $P$ $P$ ）と開放性（ $O$ $O$ ）が引き出される。
- $P$ : トピックの記述への同意を示すスコア（1–5）。
- $O$ : 新しいアイデアや社会的影響への受容性に関する Yes/No 質問から導き出されるスコア（1–9）。これはビッグファイブ特性の「開放性」に基づく。
エージェントのペアリング: エージェントは機械的にペアリングされ、 $(P, O, B)$ のタプルすべての可能な組み合わせが形成される。これにより、多様な相互作用（例：一致する対立する嗜好、異なる開放性レベル）が保証される。
会話と評価: ペアは多ターン対話に参加する。LLM をジャッジとして用い、各ターンにおける同意度（ $A$ ）を 1–5 のスケールで評価する。

本研究は、社会心理学文献から導き出された6 つの具体的な人間の行動仮説に対してエージェントの行動を評価する。これらの仮説は、嗜好の格差、バイアス指示、共有された感情、トピックの対立性、開放性といった変数が、同意の結果にどのように影響すべきかを予測する。この枠組みは、「表面的な」テスト（集計的な傾向）と「深層的な」テスト（微細な、条件付きの一貫性）を区別する。

主な貢献

一貫性枠組み: 本論文は、静的な回答の整合性だけでなく、変化する内部状態と外部文脈にわたる動的な行動的一貫性に基づいて LLM エージェントを評価する体系的な手法を導入する。
不整合の経験的証拠: 本研究は、現在の LLM が、単純な集計的チェックを通過する場合であっても、複雑で多変量なテストにさらされた際に行動的一貫性を維持できないことを示す確固たる証拠を提供する。
体系的な失敗モード: 著者らは、対立する嗜好にもかかわらず対立を維持できないこと、共有された感情が同意に一貫して変換されないことなどの、特定の失敗パターンを特定している。

実験結果

本研究は、Qwen3、Llama3、Gemma3 の各ファミリーから、各種パラメータサイズ（0.6B から 32B）のモデルをテストした。結果は、一貫したパターンを明らかにした：表面的なテストは合格するが、深層的なテストは不合格である。

嗜好の格差は同意を減少させる（合格）: 集計レベルでは、一致する嗜好を持つペア（格差=0）は、対立する嗜好を持つペアよりも高い同意度を示し、人間の行動モデルと一致した。
バイアス指示の非対称性（不合格）: バイアス指示は一致するエージェント間の同意を成功裏に増幅したが、最大限の嗜好格差を持つエージェント間の対立を増幅するには失敗した。バイアスのかかったエージェントは対立するのではなく、しばしば収束し、バイアスが行動に与える影響に非対称性があることが明らかになった。
共有された感情、分岐する帰結（不合格）: 人間のモデルは、共有された否定的感情（例：両方のエージェントがトピックを強く嫌う）は、共有された肯定的感情と同程度の同意レベルをもたらすと予測する。しかし、結果は方向性のバイアスを示した：共有された肯定的嗜好を持つエージェントは、嗜好の格差が同一であっても、共有された否定的嗜好を持つエージェントよりも有意に高い同意度を示した。
共有された嗜好における対立性（不合格）: エージェントが同一の嗜好を共有している場合、トピックの対立性は同意レベルに影響を与えてはならない。しかし、同意スコアはトピックの対立性に基づいて有意に変動し、エージェントの内部状態が異なるトピックの文脈にわたって安定していないことを示した。
開放性は同意を増加させる（合格）: 集計レベルでは、高い組み合わせ開放性がより高い同意と相関し、人間の行動期待と一致した。
低い開放性と大きな嗜好格差（不合格）: 「頑固な」エージェント（低い開放性）が対立する見解を持つ場合、最低の同意を生み出すという仮説は違反された。多くの場合、大きな嗜好格差を持つ低い開放性のペアは、予測されたほど対立せず、予想よりも高い同意を生み出した。

これらの失敗は、モデルファミリーやサイズを超えて観察され、行動的不整合は特定のモデルやスケールのアーティファクトではなく、現在の LLM アーキテクチャの一般的な特性であることを示唆している。

意義と主張

本論文は、LLM エージェントは孤立した静的な環境（例：アンケート）では人間の回答を成功裏に模倣できるが、動的なマルチエージェント相互作用において特性駆動型の整合性を維持できないと結論づける。したがって、「置換仮説」は決定的に制限されている。エージェントは集計的には人間の社会行動の外観を模倣できるかもしれないが、複雑なシナリオにおいて人間の行動モデルを忠実に再現するために必要な経験的な一貫性を欠いている。

著者らは、行動モデルがより複雑になり、より微細になるにつれて、LLM は人間の行動を再現できなくなると主張する。これは、人間を対象とした研究における実在の参加者の代替としての能力において決定的なギャップを表しており、特に人格特性の安定性と社会的対立のダイナミクスに依存する研究において顕著である。本論文は、新しい応用や将来のアーキテクチャ的解決策を提案するものではなく、社会科学における合成エージェントの現状に対する警告的な評価として機能する。