技術的概要：EnactToM

問題定義

大規模言語モデル（LLM）における心の理論（ToM）の現在のベンチマークは、主に文字通りの ToM、すなわち、促された際に他のエージェントの信念、欲求、または意図を明示的に報告する能力を評価する。しかし、これらの評価は、具身的なマルチエージェント環境において推論された心的状態に基づいて最適に行動する能力として定義される機能的 ToMを測定することに失敗している。既存のベンチマークは、以下の 3 つの重要な特性を欠いている：

1. 機能的であること：それらの信念に基づく行動の実行ではなく、信念の報告を測定している。
2. 具身的であること：テキストのみの、または完全に観測可能な環境で動作し、具身的な協働に内在する空間的制約と情報の非対称性が欠如している。
3. 飽和耐性があること：静的なベンチマークはモデルが向上するにつれて自明なものとなり、特定のモデルの失敗モードに基づいてタスクの難易度を進化させるメカニズムが欠如している。

その結果、最先端モデルは信念プローブにおいて高い精度を示すことが多いが、共有された物理的環境において効果的に協調できず、冗長な行動、制約の無視、および安全性のリスクを引き起こしている。

手法：EnactToM フレームワーク

著者らは、3D 家庭環境（HSSD）に設定された 300 の具身的マルチエージェントタスクからなる進化型ベンチマークであるEnactToMを導入する。このフレームワークは、部分的観測性、非公開情報、および制約された通信を通じて機能的 ToM を孤立させるように設計されている。

1. タスク表現と認識的深さ

タスクは、以下の要素を持つタプル $T = (S, A, \phi, \delta, M, \Sigma, C)$ として形式化される：

• $S$：3D 環境。
• $A$：スポーン位置を持つエージェントの集合。
• $\phi$：物理的述語（例：is_on_top）と認識演算子（$K$）を組み合わせた PDDL 目標式。
• $\delta$：すべてのエージェントによって共有される自然言語のタスク記述。
• $M$：現実世界の制約（例：部屋制限、帯域幅の制限、制限された通信グラフ）をモデル化するメカニクス。
• $\Sigma$：各エージェントに割り当てられた非公開の秘密（例：特定のオブジェクト ID、部屋アクセス制限）であり、情報の非対称性を生み出す。
• $C$：タスクカテゴリ（協調的または混合動機）。

このベンチマークは、ToM の複雑さを定量化するために認識的深さ（$d$）を利用する：

• 深さ 1（自己認識）：エージェントが自身の情報ギャップを認識する。
• 深さ 2（他者認識）：エージェントがパートナーが知っていることを基に行動する。
• 深さ 3（再帰的）：エージェントが、あるエージェントが知っていることをパートナーが知っていることについて推論する。
  このベンチマークは、より深い再帰が人間であっても脆いため、深さ 3 で生成を上限とする。

2. エージェント型タスク生成パイプライン

ベンチマークの飽和に対処するため、EnactToM は自律的なコーディングエージェントを用いてタスクを生成する。パイプラインには以下が含まれる：

• 作成：エージェントはまず形式的な PDDL 目標を記述し、その後、ナラティブと秘密を導出する。これにより、目標が真実の源泉であることを保証する。
• 検証：
  • PDDL パース：構文的妥当性と K-深さの整合性を確認する。
  • LLM 判定評議会：2 つのモデル（Kimi-K2.5 および GPT-5.2）が、エージェントの必要性、秘密の質（戦略の漏洩なし）、およびメカニクスの活用などの基準に基づいてタスクを独立してスコアリングする。
  • 構造化キャリブレータ：すべての秘密をすべてのエージェントに開示するベースラインシミュレーションを実行する。もしタスクが完全な情報でも失敗する場合、それは物理的に解けないとして拒否される。これにより、標準設定での成功が、単なる具身的なナビゲーションではなく、認識的推論に依存することを保証する。
• 進化：生成エージェントは、現在の最先端モデル（例：GPT-5.4、O3）の失敗モードに偏った「シードタスク」を使用する。モデルが向上するにつれて、シードプールはより困難な失敗パターンにシフトし、生成インフラを変更することなくベンチマークの難易度を進化させる。

3. 評価プロトコル

このベンチマークは、2 つの分割（標準（$\rho=0.8$ のシード失敗率）およびハード（$\rho=0.9$））において 7 つの最先端モデルを評価する。

• 機能的指標：成功は、$\phi$ 内の物理的述語を完了することによって定義される。主要な指標は、偶然を排除するために 3 つの独立した実行すべてで成功を要求するPass^3である。
• 文字通り指標：各エピソードの終了時、エージェントは特定の信念について問い合わせられる（例：「agent_0 は冷蔵庫の状態をどう思っているか？」）。これは行動とは独立した文字通りの ToM 精度を測定する。

主要な結果

評価は、文字通りの ToM と機能的 ToM の間に明確な行動–報告ギャップを明らかにしている：

• 機能的失敗：ハード分割において、評価された 7 つの最先端モデルのすべてが、機能的タスク完了において0.0% の Pass^3を達成した。どのモデルも 3 回の実行間で再現性のある協調を行うことができなかった。
• 文字通りの成功：同じモデルは、同じタスクにおける文字通りの信念プローブで平均**45.0%**を達成した。例えば、Gemini-Pro はハード分割において文字通りの精度が 63.3% であるのに対し、機能的精度はわずか 6.7% であった。
• 失敗分析：40 の失敗の手動監査により、93%が認識的協調の崩壊によるものであることが判明し、以下の 5 つのパターンに分類された：
  1. 重要な情報の保持：エージェントが決定的な事実を保有しているが、それを遅すぎて伝達する。
  2. 認識的連鎖の崩壊：エージェントは物理的行動を完了するが、パートナーがその結果を知っていることを確立することに失敗する。
  3. 私的目標の妨害/開示：混合動機タスクにおいて、エージェントは私的目標を早急に暴露するか、共有目標を妨害する。
  4. 希少なメッセージの誤配分：エージェントは、到達不可能なパートナーや優先度の低いコンテンツに限られた帯域幅を浪費する。
  5. パートナーの制約の無視：エージェントは、必要な部屋アクセスやリソースを欠くパートナーにタスクを委任する。

意義と主張

本論文は、EnactToM が具身的環境における機能的 ToM の最初の厳密かつ進化型の測定を提供すると主張している。その意義は以下の点にある：

1. 重要なギャップの露呈：テキストベースの信念質問における高いパフォーマンスが、制約された環境での協調のためにそれらの信念を使用する能力に変換されないことを実証する。
2. 新しいベンチマーク基準の定義：具身的（3D 環境）、機能的（行動ベースの成功）、および進化型（失敗駆動型生成による飽和耐性）のフレームワークを確立する。
3. 具体的な目標の提供：失敗を特定の認識的協調の崩壊に分解することで、このベンチマークは、マルチエージェントの整合性と推論に関する将来の研究のための明確で実行可能な目標を提供する。

著者らは、最先端モデルはしばしばパートナーが知っていることを述べることができても、通信および情報の制約下でその知識を使用して確実に行動するポリシーを現在欠いていると結論づけている。このベンチマークは、このギャップを埋めるための進捗を追跡するための測定器具として機能する。