技術概要：OSCTOM – 高次心の理論のための RL 誘導型敵対的生成

1. 問題定義

大規模言語モデル（LLM）は標準的な言語タスクにおいて有能であることを示していますが、**心の理論（ToM）推論、特に再帰的信念や情報の非対称性を伴う複雑な社会的状況においては、一貫性のないパフォーマンスを示します。ExploreToM などの既存のベンチマークは、観察者が自身の内部的な事実的知識と矛盾する信念を他エージェントに帰属させるという特定の認知状態である観察者 - 自己対立（Observer-Self Conflict）**を十分にテストできないことが多くあります。

現在の限界には以下が含まれます：

• 静的ベンチマーク： 初期データセット（ToMi など）は手書きの vignette に依存しており、モデルは真の信念追跡ではなく表面的なパターンマッチングによって解決できてしまいます。
• 検索ベース生成の限界： ExploreToM などのフレームワークは、ドメイン固有言語（DSL）を用いたヒューリスティック A* 検索を使用します。敵対的物語の生成には効果的ですが、これらの手法は硬直的な検索空間に制約され、経験からのポリシー適応が欠如しており、階層化された信念対立の特定の構造的複雑さよりも情報の量性を優先しがちです。
• 推論のギャップ： タスク構造がわずかに変化するとモデルは失敗することが多く、特に多層的で再帰的なシナリオ（例：エージェント A がエージェント B の、エージェント C の意図に関する信念を推論する）において、因果的信念状態に対する安定した内部モデルの欠如を示しています。

2. 手法

OSCToM フレームワークは、高次の敵対的 ToM シナリオを生成し、それらを用いて訓練するための 4 成分パイプラインを通じてこれらのギャップに対処します。

2.1 拡張ドメイン固有言語（OSCT-DSL）

著者は、観察者 - 自己対立を形式化できる既存の DSL の拡張であるOSCT-DSLを導入します。

• 形式化： エージェントのワールド状態（$W$）と信念状態（$B$）を定義し、4 次までの再帰的信念をサポートします：$B^{(k)}_{i,j,...,n}(p) = B^{(1)}_i(B^{(k-1)}_{j,...,n}(p))$。
• 敵対的プリミティブ： 言語には情報の非対称性を破る特定の演算子が含まれます：
  • 欺瞞的局所化： エージェントが場所について嘘をつき、他者に誤った信念を抱かせながら、内部的な真の知識を保持します。
  • 非対称的観察： 一方のエージェントが行動を目撃する一方、観察された当事者は相互的な知識を得ません。
  • 再帰的欺瞞（ダブルブラフ）： エージェントが他者を操作して第三者に嘘をつかせ、1 次の虚偽の上に 3 次の信念を層状に積み重ねます。

2.2 構成的代理評価パイプライン

強化学習（RL）中の報酬計算に大規模 LLM を使用する計算コストを克服するため、著者は構成的代理パイプラインを採用します。

• 蒸留： Llama-3.3-70B の知識を、10,000 の注釈付き物語で訓練された 6 つの軽量DistilBERTモジュールに蒸留します。
• 6 つの認知次元： 報酬は単一のスカラーではなく、特定のスコアに分解されます：
  1. 誤った信念検出器： 二値の有効性チェック（ToM には必須）。
  2. ToM 深度分類器： 再帰的順序（1 次〜4 次）を推定します。
  3. 欺瞞スコア： 操作演算子の密度。
  4. 社会的複雑さスコア： エージェント間コミュニケーションの頻度。
  5. 時間的複雑さスコア： 異なるワールド状態遷移の数。
  6. OSCT 検出器： 観察者 - 自己対立状態を特定します（最も高い報酬重み）。
• 効率性： これにより、物語あたりの評価時間を約 14 秒（LLM クエリ）から 50 ミリ秒未満に短縮し、15,000 サンプルのコルパスの合成を可能にします。

2.3 RL 誘導型敵対的生成

物語生成プロセスは**マルコフ決定過程（MDP）**としてモデル化されます。

• アルゴリズム選択： 著者は A2C、PPO、および**深層 Q ネットワーク（DQN）**を比較しました。DQN は DSL 状態空間内での離散記号的遷移の学習における優れた安定性と、ヒューリスティック検索が見逃す可能性のある ToM 失敗事例を発見する能力により選択されました。
• 訓練： DQN エージェントは、OSCT 検出（40%）と ToM 深度（30%）に重く重み付けされた複合報酬関数（$R$）を最適化します。
• 物語の強化： RL エージェントによって生成された記号的 DSL トレースは、OpenRouter API を介して Llama-3.3-70B を使用して自然な散文に変換され、欺瞞の連鎖や非線形な時間的順序といった認知的マーカーを保持します。

2.4 2 段階カリキュラム微調整

生成されたデータセットは、高次推論の安定した学習を確保するための段階的カリキュラムを用いてLlama-3.1-8B-Instructの微調整に使用されます：

• 段階 1（基盤）： 基本的な視点取得をモデルに定着させるため、1 次および 2 次の ToM シナリオで訓練します。
• 段階 2（習熟）： 段階 1 のチェックポイントから初期化し、3 次および 4 次の再帰的対立を含む完全なコルパスで訓練します。
• 技術： 全投影層におけるLoRA（ランク 16、スケーリング因子 32）によるパラメータ効率型微調整（PEFT）により、単一の GPU での訓練が可能になります。

3. 主要な結果

結果として得られたモデルOSCToM-8Bは、4 つのベンチマークにおいて 7 つのベースラインシステム（Llama-3.1-8B、Mistral-NeMo-12B、Phi-3-Medium-14B、Qwen2.5 変種を含む）に対して評価されました。

• FANToM ベンチマーク（情報の非対称性）： OSCToM-8B は**76.0%の精度を達成しました。これは、同じベンチマークで0.2%**の精度を報告した ExploreToM ベースラインと比較して、劇的な改善です。
• ToMi ベンチマーク： OSCToM-8B は**79.5%**の精度を達成し、ベースの Llama-3.1-8B（64.3%）や Qwen2.5-32B（74.7%）などのより大規模なモデルを上回りました。
• BigToM ベンチマーク： このモデルは**89.8%**の精度に達し、40 億パラメータ少ないにもかかわらず、Mistral-NeMo-12B（90.5%）とほぼ同等の結果を達成しました。
• Hi-ToM ベンチマーク： OSCToM-8B は**65.3%**のスコアを記録し、Phi-3-Medium-14B と同等であり、Gemma-2-27B（20.6%）を大幅に上回りました。

推論効率：

• $O(N)$の複雑さとクエリあたり約 15.0 秒の遅延を伴う反復的 A* 検索に依存する ExploreToM と異なり、OSCToM-8B は直接ニューラル推論（$O(1)$の複雑さ）を使用します。
• 測定された遅延は2.62 秒であり、優れた精度を維持しながら応答時間を5.7 倍短縮しました。

4. 意義と主張

この論文は、ターゲットを絞った敵対的データ合成とカリキュラム学習の組み合わせが、複雑な社会的推論タスクにおいて、より大規模なモデルを凌駕する小型モデル（80 億パラメータ）を可能にすることを OSCToM が示していると主張しています。

• 観察者 - 自己対立： この研究は、現在の ToM 評価における特定の失敗モード、すなわち観察者の内部的知識と他者への信念帰属を区別できないという問題を特定し、対処します。
• 効率性対スケーラビリティ： このフレームワークは、訓練データが再帰的信念対立を明示的にターゲットに構造化されていれば、高次推論能力が必ずしも膨大なパラメータ数を必要としないことを証明しています。
• 実用性： ヒューリスティック検索を RL 誘導型生成と代理評価に置き換えることで、システムはデータ合成において 6 倍の効率向上と、推論速度において 5.7 倍の改善を達成し、高次 ToM 推論を実用的に展開可能にしました。

著者らは、現在の DSL は局所的および欺瞞的対立に焦点を当てているものの、このフレームワークは LLM におけるより汎用的な社会的知性への原理的な道筋を提供しており、「推論のギャップ」は単にモデルサイズをスケーリングするのではなく、構造化された敵対的訓練を通じて埋められる可能性があると結論付けています。