技術的概要：マルチモーダルな心の理論推論における多段階複雑性の克服

1. 問題定義

心の理論（ToM）とは、観測可能な手がかりから心的状態（信念、欲求、意図）を推論する認知能力である。人間の社会的認知にとって不可欠である一方、マルチモーダル環境における計算機による ToM は、顕著なスケーラビリティの課題に直面している。既存のアプローチは一般的に以下の 2 種類に分類される：(1) ToM 固有の事前知識を備えた構造化された計画ワークフロー、および (2) これらの事前知識を専門的なトレーニングを通じて言語モデル（LM）に統合すること。

本論文は、これらの手法が複雑なマルチモーダル ToM タスクにおいて効果的にスケーリングできないことを妨げる 2 つの根本的な障壁を特定している：

1. 推論の限界：推論時のスケーリング手法（例：Chain-of-Thought、o1 型システム）や標準的なファインチューニングは、計画ステップ数が増加するにつれて精度を維持できない。小規模モデル（例：80 億、700 億パラメータ）は多段階シナリオにおいて急速に精度が低下するのに対し、大規模モデル（例：4050 億パラメータ）のみが性能を維持する。
2. 世界知識への依存：マルチモーダルな ToM 推論には、広範な社会的および世界的知識の統合が必要である。小規模 LM は、この多様な知識をエンコードし、効果的に利用するための事前学習容量を欠いており、未見のシナリオにおける汎化性能が低下する。

現在の手法は、多段階の複雑性を処理するための構造化された推論の必要性と、推論を根拠づけるための膨大な世界知識の必要性とのバランスを取るのに苦慮しており、モデル規模を大きくすることで知識は向上するが、特定の費用のかかる適応なしには推論の複雑性を解決できないというトレードオフに陥ることが多い。

2. 手法

著者らは、ベイズ逆計画（BIP）と弱から強への制御メカニズムを相乗的に組み合わせることで、これらの限界に対処するスケーラブルなベイズ ToM プランナーを提案する。

2.1. ベイズ逆計画（BIP）フレームワーク

中核となる推論エンジンは、複雑な ToM タスクをモジュール化された段階的なベイズ更新に分解する BIP に基づいている。エージェントの行動は、部分観測マルコフ決定過程（POMDP）としてモデル化される。システムは、観測された状態（$s_{1:t}$）と行動（$a_{1:t-1}$）に基づき、エージェントの目標（$g$）と信念（$b_t$）の事後確率を推論する：

$$P(g, b_t | s_{1:t}, a_{1:t-1}) \propto \prod_{\tau=1}^{t} \pi(a_\tau | g, b_\tau) P(b_\tau | b_{\tau-1}, s_\tau) P(b_0)P(g)$$

ここで、$\pi(a_\tau | g, b_\tau)$ は方策（目標と信念が与えられたときの行動の尤度）を表す。このフレームワークは、異なる目標 - 信念ペアの累積対数尤度を比較することで、仮説を反復的に洗練させる。

2.2. 弱から強への制御メカニズム

尤度推定における大規模モデルへの依存と、それらを直接ファインチューニングすることの困難さを克服するため、著者らは弱から強への制御戦略を導入する：

1. 弱コンポーネント（専門制御器）：ToM タスクに特化して事後学習された小規模 LM（例：80 億または 40 億パラメータ）。このトレーニングには以下が含まれる：
   • インストラクションチューニング：特定のシナリオにおける観測された行動の尤度を最大化するように方策 $\pi_{E0}$ を洗練させる。
   • 選好最適化：修正された直接選好最適化（DPO）損失を用いて、効果的（簡潔で成功する）な行動と非効果的（長く失敗する）な行動を区別するようにモデルを調整する。
2. 強コンポーネント（スケーリング方策モデル）：推論中に主要な方策モデルとして機能する大規模 LM（最大 4050 億パラメータ）。広範な世界知識を有するが、ToM 固有の行動事前知識は欠いている。
3. 推論時のガイダンス：大規模 LM をファインチューニングする代わりに、システムは事後学習された小規模 LM を用いて大規模 LM の出力を誘導する。大規模 LM の方策分布（$\bar{\pi}$）は、事後学習された小規模 LM の方策（$\pi_E$）と、単純な小規模 LM の方策（$\pi_N$）との比率によって調整される：

$$\bar{\pi}(a_t | s_t, g, \hat{b}_t) = \frac{1}{\bar{Z}} \pi_L(a_t | s_t, g, \hat{b}_t) \frac{\pi_E(a_t | s_t, g, \hat{b}_t)}{\pi_N(a_t | s_t, g, \hat{b}_t)}$$

このメカニズムは、大規模モデルの直接事後学習という高コストな作業を必要とすることなく、大規模 LM のログオッズを ToM 固有の行動へと効果的に誘導する。

2.3. 理論的基盤

このアプローチは定理 1に基づいており、事後学習された小規模 LM と単純な小規模 LM の差から導き出される出力調整 $\Delta s$ は、大規模 LM のクロスエントロピー損失のスケーリングされた負の勾配を近似すると主張している。その結果、大規模 LM の出力分布は、KL 発散が学習率と損失関数のヘッセ行列によって有界となるよう、直接チューニングされた大規模モデルの分布を近似する。

3. 主要な貢献

• スケーラブルなベイズプランナー：多段階 ToM 複雑性を処理可能なベイズ更新に分解する新規フレームワーク。標準的な推論時スケーリングを悩ませる推論の限界を回避する。
• 弱から強への制御：推論時に、事後学習された小規模 LM から ToM 固有の推論行動を大規模 LM（70 億から 4050 億パラメータ）へ転移させる手法。これにより、大規模モデルはベイズ的一貫性を遵守しつつ、その世界知識を活用できる。
• 理論的正当性：弱から強への制御メカニズムが、有界誤差で直接チューニングされた大規模モデルの行動を近似することを示す形式的証明（定理 1）。
• 実証的検証：未見のシナリオを含むマルチモーダル ToM ベンチマークにおいて、このアプローチが最先端の性能を達成することを示す広範な実験。

4. 実験結果

この手法は、MMToM-QAベンチマーク（VirtualHome シミュレータ）で評価され、5 つの未見のテーマ環境（アンデルセン童話、古代エジプト、宇宙、西部開拓時代、中世城塞）に拡張された。

• 精度の向上：提案手法はマルチモーダル ToM タスクで81.3% の精度を達成し、既存の最良のベースライン（例：GPT-J-6B または Llama2-7B を用いた BIPALM など）を4.6% 上回った。
• スケーリングの恩恵：
  • 強コンポーネント：大規模 LM のサイズを 700 億から 4050 億パラメータに増やすと、動的推論を必要とする目標推論タスクにおいて、ToM 理解が継続的に向上した。
  • 弱コンポーネント：制御器を 80 億から 40 億パラメータに縮小（幅と深さの両方の削減）しても、安定した性能（78.0%–79.15%）を維持し、小規模モデルが大規模モデルを効果的に誘導できることを示した。
• 汎化：この手法は未見のシナリオへの強い転移性を示し、多様な環境においてゼロショットおよび直接事後学習されたベースラインを上回った。
• アブレーション研究：
  • 小規模 LM の単純なログオッズ加算は大規模 LM に最適ではなく、構造化された弱から強への制御の必要性を確認した。
  • 大規模モデル（700 億）の直接ファインチューニングは、ハイパーパラメータの感度によるものと考えられるが、提案された制御メカニズムよりも不安定で効果的ではなかった。
  • 事後学習は、信念推論（世界知識）と目標推論（動的推論）の両方の性能を大幅に向上させた。

5. 意義と主張

本論文は、複雑で動的な環境における人間の心的状態のモデリングにおいて新たな基準を確立すると主張している。その意義は以下の点にある：

• スケーラビリティ限界の克服：多段階 ToM 推論における持続的な精度には、ファインチューニングや推論時スケーリングのみに依存するのではなく、構造化されたフレームワーク（BIP）と広範な汎化能力を持つモデル（大規模 LM）の両方が必要であることを示している。
• 効率性：大規模モデル（例：4050 億）の直接事後学習を回避することで、計算コストを削減しつつ優れた性能を達成する。大規模モデルの世界知識と、小規模で効率的に学習されたモデルの専門的な行動事前知識という「両方の長所」を活用する。
• 汎化：このアプローチは未見のシナリオにおいて効果的であることを証明しており、学習された ToM 行動は、異なる文化的および環境的文脈間で堅牢かつ転移可能であることを示唆している。

著者らは、自らの手法が既存のベースラインを単に改善するだけでなく、現在の計算機による ToM 手法を閉じ込めている「多段階計画の複雑性の重力」という根本的な問題に対処していると強調している。