Beyond Sally-Anne: Evaluating Theory of Mind in LLMs using Epistemic Schelling Points
本論文は、大規模言語モデルにおける機能的な心の理論および認識的追跡能力の著しい欠如を明らかにする、新たな対話ベースのベンチマークであるEpistemic Asymmetry Schelling Task (EAST) を導入するものであり、従来の静的なテストでは高い性能を示すモデルであっても、動的な社会的調整においては困難に直面することを実証している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは友人と、テキストメッセージで「シークレット・ワード」という高額な賞金がかかったゲームをしていると想像してください。お互いに会話することはできませんが、リストにある4つの単語の中から、全く同じ単語を選び出さなければなりません。ひねりとして、あなたたちはそれぞれ秘密の「ペルソナ（役割）」（例えば、仕立て屋や外科医など）を持っており、相手が自分について何を知っているかに基づいて、相手がどの単語を選ぶかを予想する必要があります。
これは、Googleの研究者たちが発表した新しい研究の設定です。彼らは、大規模言語モデル（LLM）——チャットボットの背後にある超スマートなAIの脳——が、本当に「他人が何を考えているか」について考えることができるのかどうかを調べようとしました。この能力は「心の理論（Theory of Mind）」と呼ばれます。
旧来の手法：「サリーとアン」の罠
長い間、科学者たちは「サリーとアン」と呼ばれる古典的な謎解きを用いて、AIの心の理論をテストしてきました。これは絵本のようなクイズです。「サリーはボールを箱に入れ、その場を離れました。アンがそれをカゴに移しました。サリーはどこを探しますか？」
研究者たちは、この従来の方法は、プレイヤーがパターンを暗記してしまったビデオゲームのボスのようなものだと主張しています。AIモデルはインターネット上の膨大なテキストで学習しているため、この正確な謎解きをすでに何百万回も目にしている可能性があります。彼らは、サリーがアンとは異なる視点を持っていることを真に理解しているのではなく、物語のパターンに基づいて答えを推測しているだけかもしれません。それは、映画で聞いたフレーズを繰り返すオウムのようなものです。賢そうに聞こえますが、言葉の意味は理解していません。
新しいゲーム：EAST（「マインド・リーディング」調整ゲーム）
この問題を解決するために、チームはEAST（エピステミック・アシンメトリー・シェリング・タスク）と呼ばれる新しいゲームを考案しました。物語形式ではなく、ライブの調整チャレンジです。
仕組みは以下の通りです：
- 設定: 2つのAIエージェントがペアになります。それぞれに秘密の職業（例：「ビスポーク仕立て屋」や「一般外科医」）が与えられます。
- リスト: 4つの単語が表示されます。2つの単語はそれぞれの職業に特化したもの（例：仕立て屋なら「生地」、外科医なら「メス」）、1つの単語は両方の職業に共通するもの（例：「縫合」）、そして1つの単語は無関係なもの（例：「自転車」）です。
- 目標: 話すことなく、同じ単語を選ばなければなりません。
- ひねり: 「誰が何を知っているか」というルールが変化します。
- 対称的（Symmetric）: 両者が互いの職業を知っている。
- 非対称的（Asymmetric）: 一方が相手の職業を知っているが、もう一方は相手の職業を知らない。
- ゼロ知識（Zero Knowledge）: どちらも相手の職業を知らない。
勝つためには、AIはトリッキーなことをしなければなりません。自分のお気に入りの単語を抑え込み、相手が（その相手が自分について何を知っているか、あるいは何を知らないかを考慮した上で）何を考えているかを予想する必要があるのです。
ゲームが明らかにしたこと
研究チームが14種類のAIモデル（10億パラメータの小さなモデルから、最先端の巨大な「フロンティア」モデルまで）に対してこのゲームを実行したところ、結果は少し厳しい現実を突きつけるものでした。
1. 「巨大な」モデルだけが理解できた
非常に大規模で高度なモデル（Gemini 3.1 Proのようなフロンティア級のモデル）だけが、一貫して勝利することができました。彼らはトリッキーな「非対称」や「ゼロ知識」のラウンドをうまく切り抜けることができました。一方で、より小さな、パワーの劣るモデルはどうだったでしょうか？ 彼らはほとんど失敗しました。彼らはこのゲームを単純な単語連想テストとして扱い、自分の職業に関連する単語を選んで、あとは運任せにするだけでした。
2. 「マインド・リーディング」の不具合
研究者たちは、AIの「脳」（推論ステップ）の内部を調べ、なぜ失敗したのかを確認しました。そこで、特定の種類のエラーである**「エピステミック・トラッキング・エラー（認識追跡エラー）」**を発見しました。
あなたが友人がランチに何を食べるか予想しようとしている場面を想像してください。あなたは、彼がピザを大好きであることを知っています。しかし、あなたは「彼が、あなたがピザ好きであることを知らない」ということも知っています。もしあなたが「自分が」ピザが好きだからという理由で「ピザ」を選んだとしたら、それは間違いです。あなたは、相手があなたの好みを「知らない」という事実を忘れてしまったのです。
AIモデルもまさにこれを行いました。彼らはしばしば、自分のプライベートな知識と、相手プレイヤーが知っている知識を混同してしまいました。
- 非対称ラウンドでは、相手の職業を「知っていた」側のAIが、相手プレイヤーが自分の職業に対して「盲目」であることを理解できず失敗しました。そのAIは、相手も自分の秘密の正体を推測してくれると考えて、自分の正体に基いた単語を選んでしまいました。
- ゼロ知識ラウンドでは、モデルたちは「空白」に対処できませんでした。二人が何のヒントも持っていない世界を想像することができず、ただ自分の好きな単語を掴み取っただけでした。
3. 「思考のプロセス」のトリック
研究者たちは、AIに「ステップ・バイ・ステップで考える」こと（Chain-of-Thoughtと呼ばれる手法）を求めることで、助けを与えてみました。最も賢いモデルにとって、これはランダムな推測をやめさせ、真の論理を使用させるのに役立ちました。しかし、より弱いモデルにとっては、単に考えさせるだけでは問題は解決しませんでした。彼らは依然として、誰が何を知っているのかについて混乱したままでした。
結論
この論文は、AIモデルがテストの回答には非常に長けてきていても、堅牢な社会的推論については依然として苦戦していることを示唆しています。彼らは社会的相互作用の「言葉」を模倣することはできますが、特に「誰が何を知っているか」というルールが複雑になると、他人の精神状態を真に追跡することに失敗することが多いのです。
著者たちは、AIが「壊れている」とか、決して人間を理解できなくなるだろうと言っているわけではありません。彼らは、現在、AIにとって「自分が知っていること」と「相手が知っていること」の間に明確な境界線を保つ能力が、大きなボトルネックになっていると言っています。AIが、自分の秘密を他人に投影してしまうことを確実に止められるようになるまでは、人間同士の複雑で予測不可能な会話の世界に備えることはできないかもしれません。
要するに、AIはゲームをプレイするほど賢くなっていますが、「世界はすべて自分の頭の中にある」という考えを捨てる方法を、まだ学んでいる最中なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。