技術的サマリー：OmniToM

問題定義

大規模言語モデル（LLM）における心の理論（ToM）を評価するための現在のベンチマークは、主にエンドポイントの質問応答（QA）に依存しています。このパラダイムでは、モデルに物語が提示され、社会的推論クエリ（例：「ボブはどこを探すでしょうか？」）に対する最終的な正解を生成するかどうかのみでスコアリングされます。著者らは、このアプローチが潜在的な認知プロセスを曖昧にしていると主張しています。モデルは、必要な複数アクターの心的状態表現を構築することなく、ショートカット戦略やベンチマークのアーティファクトを利用することで正解を導き出す可能性があるからです。

具体的には、エンドポイント QA は、モデルが以下の点を追跡できるかどうかを明らかにしません。

• 各アクターが真実だと考えることと、客観的な現実との違い。
• 情報がどのように分布しているか（誰が何にアクセスできるか）。
• 信念の再帰的性質（例：「ボブはアリスが～だと考えていると信じている」）。
• 明示的な発言と暗黙の推論との区別。

その結果、既存のベンチマークは、モデルがなぜ失敗したのか（関連するアクターを見落としたのか、信念を誤って更新したのか、情報アクセスを誤認したのか、心的状態のソースを誤ってラベル付けたのか）を診断できません。

手法

OmniToM ベンチマークの定式化

OmniToM は、エンドポイントの回答から明示的な信念構造のモデリングへと評価をシフトさせることで、このギャップに対処します。このベンチマークは、ToM 推論を 2 段階のプロセスとして操作化します。

1. ステージ 1：信念の抽出

   • タスク： 物語 $S$ が与えられた場合、モデルは信念命題の構造化された集合 $B$ を抽出しなければなりません。
   • 構造： 各命題は、$(a_i, b_i, o_i)$ というタプルです。ここで、$a_i$ はアクター（または叙述的事実の場合は「世界」）、$b_i$ は最小限の信念内容、$o_i$ は再帰順序（世界的事実の場合は 0、一次の信念の場合は 1、高次の信念の場合は 2 以上）です。
   • 目的： 物語の社会的ダイナミクスに関連する、世界的事実、世界に関する一次の信念、他のアクターの心的状態に関する高次の信念を含む、アクター固有の信念の完全な集合を回復することです。

2. ステージ 2：信念のラベル付け

   • タスク： 抽出された命題が与えられた場合、モデルはそれぞれに 7 次元のスキーマラベルを割り当てます。
   • スキーマ： ATOMS（心の理論空間における能力）に基づいており、各命題を以下のように分解します。
     • 順序： 再帰の深さ（0–3）。
     • 真偽状態： 物語の現実との整合性（真、偽、不明）。
     • 知識アクセス： 情報の分布（非公開、共有、公開）。
     • 表現： 明示的 vs 暗黙的（述べられた vs 推論された）。
     • 内容タイプ： 主題（場所、認識論的、欲求、感情など）。
     • 心的ソース： 獲得方法（叙述、知覚、記憶、証言、推論、想像）。
     • 文脈： 枠組み条件（欺瞞的、時間的、反事実的、中立的）。

ベンチマークの構築

• ソースデータ： ToMBench から派生し、7 つの高ボリュームカテゴリ（例：誤った信念タスク、ファウ・パ・認識、ヒントタスク）から 895 話の物語を保持しています。
• アノテーションパイプライン： 22,343 の信念命題に対する手動アノテーションのコストが高いため、著者らは人間で較正された、LLM 支援パイプラインを採用しました。
  • 較正サブセット（21 話）は、ドメイン専門家によって手動でアノテーションされました。
  • セマンティックジャッジ： ステージ 1 評価のセマンティックジャッジとして、人間のセマンティック整合性判断との合意率（72.03%）が高かった GPT-5 が選定されました。
  • アノテーションモデル： 最も強い較正性能（ステージ 1 F1 72.88%、ステージ 2 精度 93.62%）を達成した Claude-Sonnet-4.5 が、主要なアノテーションモデルとして選定されました。
• 規模： 最終的なベンチマークには、895 話の物語と 22,343 のラベル付けられた信念命題が含まれており、合計 156,401 のスキーマラベルがあります。

評価プロトコル

• ステージ 1（抽出）： 厳密な文字列マッチングではなく、セマンティック整合性指標（MatchCount）を用いたF1 スコアで測定されます。これにより、言い換えや複合的な信念が考慮されます。
• ステージ 2（ラベル付け）： 7 次元のスキーマラベルに対する完全一致精度で測定されます。
• ベースライン： TELeR レベル 3 プロンプトを用いたゼロショット条件下で、多様なオープンソースおよびクローズドソースモデル（例：Llama-3.3、Mistral-Large、GPT-5、Gemini-2.5 Flash）に対して評価されました。

主要な結果

評価は、すべてのモデルにおいて一貫したアクター固有の情報追跡のボトルネックを明らかにしました。

1. 抽出性能（ステージ 1）：

   • 最高性能のモデルは、マクロ F1 で**57.69%**を達成しました。
   • 順序 0（世界的事実）から順序 1 および順序 2 以上（アクターの信念）へ移行すると、性能は大幅に低下します。モデルは物語の事実を特定のアクターの視点にマッピングすることに苦労しています。

2. ラベル付け性能（ステージ 2）：

   • 全体のラベル付け精度は**85.95%**に達しました。
   • ただし、誤りは均一ではありません。知識アクセス（56.13–74.59%）と表現（54.33–87.58%）において、最低の精度が見られます。
   • 順序 1 の信念は、誰が情報にアクセスできるか、そして信念が明示的か推論されたかについて特に、正しくラベル付けするのが最も困難です（全体の精度 71.2%）。

3. ボトルネックの特定：

   • 主な失敗モードは、一般的な言語理解の欠如ではなく、情報条件の追跡の失敗です。すなわち、どの事実を各アクターが知っているか、その知識がどのように獲得されたか（知覚対推論）、そしてそれが時間とともにどのように変化するかを決定することです。
   • モデルは、世界で真実であることと、アクターが真実だと信じていることとの区別を、特にその信念が古くなっているか誤っている場合に、しばしば失敗します。

意義と主張

本論文は、OmniToM が LLM における ToM の評価を結果ベースからプロセスベースへと必要な転換をもたらすと主張しています。

• 診断力： 心的状態表現を検査可能にすることで、OmniToM は研究者が単に誤った回答を観察するのではなく、特定の推論の失敗（例：「モデルは情報アクセスを誤認したため、信念を更新しなかった」）を特定することを可能にします。
• 限界の露呈： このベンチマークは、エンドポイント QA が隠蔽できる限界を露呈します。すなわち、堅牢な ToM 推論には、心的状態を生み出す情報条件を追跡する必要があり、これは現在の LLM が苦労している能力です。
• 範囲： 著者らは、OmniToM を制御されたテキストベースのシナリオの評価ツールとして謙虚に位置づけています。彼らは明確に、このベンチマークが現実世界の社会的知性、対人関係の信頼性、または高リスクの状況（臨床分野や法分野など）における安全性を保証するものではないと述べています。
• 将来の作業： 著者らは、将来の方向性として、より豊かな物語への拡張、より大規模な人間による監査付き抽出セット、順序 3 を超える信念のネストの処理を提案していますが、マルチモーダル推論や長期追跡における現在の限界も認識しています。

要約すると、OmniToM は、LLM がしばしば物語の事実を回復できる一方で、現在、それらの事実を正確で、アクター固有の、時間とともに変化する心的状態表現に変換する堅牢なメカニズムを欠いていることを示しています。