Before You Poll with LLMs: A Deliberative Diagnostic Framework
本論文は、現在の最先端LLMが熟議における人間の信念更新を模倣できておらず、代わりに「シグネチャー・セルフ・サイコファンシー（署名的な自己追従）」と呼ばれる現象によって引き起こされる、意見の反転、オーバーシュート、あるいは硬直性といった、アイデンティティ特有の歪みを示していることを明らかにする「熟議的ポーリング診断フレームワーク」を導入するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
政府、企業、研究者が、人々の意見を理解するために何ヶ月もの時間と数百万ドルもの費用を投じて実在の人間に調査を行う必要がなくなる世界を想像してみてください。その代わりに、コンピュータプログラムに数千通りの異なる市民をシミュレートさせ、それらのデジタル・ペルソナに新しい議論を提示し、彼らの考えがどのように変わるかを観察することができるとしたらどうでしょう。この手法は「シリコン・サンプリング（silicon sampling）」として知られ、高速で安価、かつ拡張性が高いため、急速に普及しています。これらの人工的なエージェントが、新しい情報に対して現実の人々がどのように反応するかを予測できるほど、人間の推論をうまく模倣できるという期待が寄せられています。しかし、決定的な疑問が未解決のまま残されています。すなわち、これらのコンピュータプログラムは本当に人間のように考え、信念を更新しているのか、それとも単に膨大なデータの中から書き置きされた意見を検索しているだけなのか、という点です。もし後者であるならば、人々がどのように考えを変えるかをテストするためにこれらを使用することは、危険なほど誤った結論を導く可能性があります。
ラホール管理大学（Lahore University of Management Sciences）の研究者たちは、この問いに答えるために、人工知能をテストする新しい方法を構築することで、この問題に挑みました。彼らは、「熟議（deliberation）」と呼ばれる特定の人間行動に焦点を当てました。これは、バランスの取れた議論を聞いた後に考えを変えるプロセスを指します。現実の世界では、対立する政治的立場の人々が互いについて公平な情報に接したとき、彼らは敵意を和らげ、より寛容な姿勢になる傾向があります。研究者たちは、コンピュータモデルがこの特定の変化を再現できるかどうかを確認したいと考えました。彼らは、「America in One Room」と呼ばれる有名な現実世界のイベントのデータを使用しました。そこでは526人の実際の有権者が集められ、政治について議論しました。彼らはこれを基準値とし、現在利用可能な最も高度な5つのコンピュータモデルに対し、それらの有ло有権者をシミュレートさせ、全く同じ情報を与え、ブリーフィングの前と後で全く同じ質問を行いました。
結果は驚くべき事実を明らかにしました。どのコンピュータモデルも、現実の人間と同じようには振る舞わなかったのです。現実的な方法で信念を更新する代わりに、すべてのモデルが失敗しましたが、それぞれが独自の奇妙な形で失敗していました。最も強力なモデルの一つであるGPT-5.1は、人間とは正反対の挙動を示しました。対立する政党に関するバランスの取れた情報が提示されたとき、実際の有権者はより友好的になり、敵意を減らしました。しかし、コンピュータのペルソナは、あたかも新しい情報によってさらに怒りが増したかのように、著しく敵対的になりました。これは、研究者が「リバーサル（逆転現象）」と呼ぶ現象であり、モデルが完全に間違った方向へと動いてしまうことを意味します。
他のモデルは、方向が逆転したわけではありませんが、やりすぎてしまいました。Gemini、Claude、Llamaといったモデルは、正しい方向、つまり議論を聞いた後に敵意を減らすという方向へは動きましたが、人間よりも5倍から7倍も多く考えを変えてしまいました。それはまるで、わずかな刺激に対して意見を激しく揺れ動かせるほど、説得されることに熱心すぎるかのようでした。4番目のモデルであるDeepSeekは、全く変化を拒み、提供された情報に関わらず、意見の変化をほとんど示しませんでした。この硬直性は、あたかも新しい議論が全く影響を与えないかのように振る舞うことを意味していました。
研究者たちは、なぜこれらの失敗が起こるのかを理解するために、さらに深く掘り下げました。彼らは、これらの問題がランダムではなく、政治的アイデンティティに関する質問によって具体的に引き起こされることを発見しました。政策の詳細に関する質問に対しては、モデルは合理的に機能しました。しかし、質問が「ある政党がいかに他方を見ているか」という点に触れると、モデルは崩壊しました。コンピュータのペルソナは、事実を論理的に思考しているのではなく、ステレオタイプを演じているようでした。研究者たちは、この挙動を「セルフ・サイコファンシー（自己への追従／self-sycophancy）」と名付けました。これは、モデルが提示された情報に耳を傾けるのではなく、特定のタイプの人物が持つべきだと自身が内部的に想定しているイメージに同意してしまう、一種の「おべっか」のようなものです。例えば、もしモデルに「共和党員」として振る舞うよう指示された場合、モデルは「共和党員とは反対の政党を嫌うものである」と仮定し、たとえ証拠がそれとは異なることを示唆していても、その仮定を堅持するのです。
この挙動は、コンピュータが人間のユーザーを喜ばせようとするバイアスとは異なります。ここでは、コンピュータは自分自身の内部にあるスクリプトに喜ばれているのです。研究によれば、この失敗は選択的かつ対称的でした。同じモデルであっても、質問の内容に応じて、相手の政党に対しては敵対的に振る舞い、自らの政党に対しては過度に友好的に振る舞うのです。これは、モデルが思考プロセスをシミュレートしているのではなく、政治的ラベルに関連付けられたキャッシュされた、パッケージ化された態度を検索していることを示唆しています。研究者たちがプロンプト内の政治的ラベルを入れ替えてテストしたところ、モデルの反応が即座に変化したことから、モデルが議論の論理ではなく、ラベルに対して反応していることが確認されました。
これらの知見が持つ意味は、社会を理解するためにコンピュータ・シミュレーションを利用しようとするすべての人にとって重大です。もしモデルが「逆転」を起こすならば、それは政策立案者に対し、「公的な議論は人々をより怒らせるだろう」と誤認させるかもしれません。実際には、議論によって人々はより穏やかになるはずなのに、です。もしモデルが「やりすぎる」ならば、教育キャンペーンの効果を誇張し、資源の浪費を招くかもしれません。もしモデルが「硬直」していれば、いかなる情報も人の考えを変えることはできないと示唆し、公的な議論という概念そのものを損なうことになるでしょう。研究者たちは、コンピュータモデルがどのように考えを変えるかをシミュレートすることを信頼する前に、まずそのモデルが新しい情報を論理的に処理できるのか、それとも単にステレオタイプを復唱しているだけなのかを判断するための診断テストを実施しなければならないと結論付けています。このチェックを行わなければ、シリコン・サンプリングの速度と規模は、私たちが人間性を理解していると信じ込ませる一方で、実際には自分たちのバイアスを歪んだ形で反映しているだけであるという事態を招くことになるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。