技術要約：身体性世界モデルのためのエージェントとしての報酬

問題提起

強化学習（RL）は、信頼性の高い報酬信号（例：コード実行）を用いることで、大規模言語モデル（LLM）や視覚言語モデル（VLM）の洗練に成功してきました。しかし、**身体性世界モデル（Embodied World Models）**への適用は依然として限定的です。既存の手法は、報酬ハッキング（reward hacking）を避けるために、学習分布の近くに留まる保守的なロールアウト戦略に依存しています。

身体的なタスクにおいて、報酬はプロキシ（代理）に基づいたものであり、主観的です。堅牢な検証機能がなければ、探索の拡大は、真の物理的リアリズムやタスク完了の向上ではなく、報酬関数の欠陥（例：視覚的な遮蔽、運動の劣化、または物理的な無効化）を悪用する方策へと導いてしまいます。特定された核心的なボトルネックは、探索そのものではなく、分布シフト下での広範な探索を支えるための「信頼できる検証戦略」の欠如です。

手法

本論文は、世界モデルのスケール可能なRLを実現するために、堅牢な報酬システムと動的認識型の探索戦略を組み合わせた統一フレームワークを提案しています。

1. エージェントとしての報酬（Reward as an Agent）

報酬ハッキングを軽減するために、著者らは報酬関数を静的なスカラーから、エージェントによる評価フレームワークへと再設計しました。このシステムは、浅いコンピュータビジョン検出器やドメイン特化型VLMに頼るのではなく、評価を（フロンティア規模のVLM上に構築された）エージェントによる多段階のタスクとして扱います。

このフレームワークは、以下の4つのモジュールを通じて動作します：

• プランニング（Planning）： ロールアウトの品質に対するグローバルな評価を行い、詳細なスコアリングを行う前に、サブ報酬の優先順位を動的に初期化します。
• カリキュラムベースの報酬（Curriculum-based Reward）： 階層的な評価順序（視覚的品質 $\to$ 指示への追従 $\to$ タスク完了 $\to$ 物理的適合性）を用います。下位レベルの次元が閾値条件を満たしていることが、上位レベルの次元を評価するための前提条件となり、基本的な品質チェックに失敗している状態で高度な報酬を最適化してしまうことを防ぎます。
• 投票メカニズム（Voting Mechanism）： 複雑な次元（例：物理的適合性）は、局所的な失敗を罰するために、微細な構成要素（相互作用のリアリズム、変形、貫通など）に分解され、投票を通じて評価されます。
• リフレクション（Reflection）： 信頼性のレイヤーであり、エージェントは事前の評価に基づいて軌跡を再評価し、一貫性をクロスチェックして、不備のある結論を修正します。

システムは、視覚的品質、指示への追従、物理的適合性、およびタスク完了の4つのコアな次元を評価します。

2. 動的認識型ロールアウト多様化（DynDiff-GRPO）

保守的なRLにおける動的な空間の探索不足に対処するため、著者らはDynDiff-GRPOを導入しました。これは、一様に確率性を抑制する標準的なGroup Relative Policy Optimization（GRPO）とは異なり、シーンの一貫性を維持しながら、動的に重要な領域に向けて選択的に確率性を再配分する手法です。

• メカニズム： この手法は、予測されたクリーンなサンプルの時間的変化から、動的な感度を持つ残差を推定し、動的強度マップ（$D$）と疎な動的領域の事前分布（$B$）を生成します。
• 適応型ノイズ（Adaptive Noise）： これらのマップを組み合わせてロールアウトマスク（$M_t$）を作成し、ノイズスケール（$\sigma_{noise}$）を調整します。高ダイナミックな領域には強い探索を与え、低ダイナミックな領域は安定性を維持します。
• 最適化： このアプローチは、スカラー分散に崩壊させるのではなく、完全な特徴量認識型ガウス尤度推定を利用します。また、凍結された参照モデルのメモリオーバーヘッドを回避するために、ロールアウトバッファからキャッシュされた分布パラメータを用いた、リファレンスフリーの周期的なKL正則化を採用しています。

主な貢献

1. エージェントとしての報酬フレームワーク： 静的な指標を、適応的なエージェントベースの検証に置き換える、構造化された多段階評価システム。プランニング、カリキュラム、投票、リフレクションを通じて、プロキシ目的を真の身体的目標に整合させることで、報酬ハッキングを効果的に軽減します。
2. 動的認識型ロールアウト（DynDiff-GRPO）： 構造的完全性や視覚的忠実度を損なうことなく、動的な領域における軌跡の多様性を拡大する確率的ロールアウト戦略。これにより、保守的なODEのような軌跡を超越します。
3. スケーラブルなRLの証拠： これらのコンポーネントの統合は、堅牢な検証に裏打ちされていれば、世界モデルにおけるRLのスケールアップが、保守的なレジームを超えて精度向上をもたらすことを示しています。

実験結果

本手法は、Cosmos-Predict2.5 (2B) と Kairos-3.0-Robot (4B) の2つのベースモデルを用いて、PAI-Bench ロボティクス・サブセットで評価されました。

• パフォーマンスの向上： DynDiff-GRPOは、ドメインスコア（推論と行動の整合性）および総合スコアにおいて顕著な改善を達成しました。
  • Cosmos-Predict2.5では、総合スコアが +1.33（79.42から80.75へ）向上しました。
  • Kairos-3.0-Robotでは、総合スコアが +1.53（80.35から81.88へ）向上し、特にドメインスコアにおいて +3.08 の大幅な向上が見られました。
• 報酬システムの精度： AgiBotWorld-Beta データセットを用いた評価において、「エージェントとしての報酬」システムは、人間の判断と 91.0% の全体的な整合性を達成しました。プランニングの精度は98%と最も高く、最も困難な次元である物理的適合性は82%に達しました。
• アブレーション研究：
  • ロールアウトの多様性： DynDiff-GRPOは、CPSのような保守的なベースラインと比較して、より高い軌跡の多様性（DINOv3コサイン距離で測定）を維持しました。
  • 構成： 分布空間におけるKL正則化（対数確率空間上）およびアドバンテージ・クリッピングの緩和（2.5 vs 5）が安定性を向上させることが判明しました。Classifier-Free Guidance (CFG) は性能を向上させますが、計算コストを伴います。高解像度でこれを無効にしても、スループットを向上させつつ競争力のある性能を維持できました。

意義と主張

本論文は、世界モデルにRLを適用する際の根本的な限界は、探索メカニズムではなく、**検証のギャップ（verification gap）**であると主張しています。分布シフト下での振る舞いを検証できる、堅牢なエージェントベースの報酬システムを導入することで、より広範な探索が実行可能であり、かつ必要であることを著者らは証明しました。

本研究は、探索と検証は並行してスケールしなければならないことを確立しています。探索が信頼性の高い多次元的な検証（エージェントとしての報酬）によってアンカーされ、動的認識型サンプリング（DynDiff-GRPO）によって導かれるとき、RLは複雑な物理ダイナミクスに対して世界モデルを正常に最適化できます。これは、基礎モデルで見られた大規模な最適化の成功への道筋を、身体的AIの領域へと適用するものです。