テクニカルサマリー：予見を実用的なものにする：世界行動モデルにおける表現アライメントの再利用

1. 問題提起

World Action Models (WAMs) は、ビデオ生成モデルを利用して制御アクションを導出する前に将来のシーン進化を予測することで、ロボット操作における有望なパラダイムを提示している。しかし、著者らは決定的な断絶を指摘している。すなわち、「もっともらしい視覚的な未来を生成すること」は、「正確な制御アクションの抽出」を保証するものではないということである。

経験的な観察と診断分析を通じて、本論文は**「アクション・グラウンディング・ギャップ（行動接地ギャップ）」**を明らかにしている。ベースラインのWAMはタスクに一貫した未来のビデオを合成できる一方で、その内部表現はアクションのデコードではなく、ピクセルレベルの再構成（テクスチャ、色彩、背景の乱雑さ）に対して最適化されている。その結果、以下の問題が生じる：

• アテンションの不一致（Attention Misalignment）： アクションデコーダが、タスクに不可欠な相互作用領域（例：手と物体の接触領域）に集中できず、代わりに静止した、あるいは無関係な背景要素に注意を向けてしまう。
• 摂動への敏感さ（Sensitivity to Perturbations）： アクション出力がタスクに無関係な領域の摂動に対して非常に敏感であり、分布外（OOD）シナリオにおいて堅牢性が低くなる。
• 表現のミスマッチ（Representation Mismatch）： 視覚的再構成のために最適化された隠れ状態は、精密な操作に必要な空間的一貫性を欠いており、低レベルのアクション制御に有用な形式で本質的に整理されていない。

2. 手法：AGRA

このギャップに対処するため、著者らは、表現アライメントを再利用してワールド・アクション・インターフェースを正則化する新しい目的関数である AGRA (Action-Grounded Representation Alignment) を提案する。

コアメカニズム

AGRAは、ビデオ拡散モデル（「世界モデル」）の中間隠れ状態を、凍結された基盤視覚エンコーダ（具体的にはDINOv2）から抽出された、空間的に一貫性のあるセマンティック表現と整列させる。

• ターゲットの構築： 本手法は、世界モデルの隠れ状態の時空間形状と一致するDINOv2ターゲットを構築する。各潜在ビデオフレームに対し、対応する最初のRGBフレームを凍結されたDINOv2エンコーダに通し、パッチレベルのセマンティック特徴を抽出する。
• アライメント目的関数： 本手法は、プロジェクタを介して、ビデオDiTから選択された特定の隠れ状態（デフォルト設定では第8層）をDINOv2の特徴空間に投影する。その後、投影された状態とDINOv2ターゲットの間の負のコサイン類似度を最小化する。
• 学習への統合： このアライメント損失（$L_{AGRA}$）は、ビデオ予測とアクション生成の両方のためのフローマッチング損失からなるベースラインのWorld Action Modelの学習目的関数（$L_{WAM}$）に対する補助項として追加される。極めて重要な点は、AGRAは世界モデルの予測能力を置き換えるものではなく、露出される特徴が「アクションに接地（action-grounded）」していることを保証するための正則化因子として機能することである。

アーキテクチャ

ベースラインのWAMは、デュアルDiTアーキテクチャを利用している：

1. Video DiT： 現在の観測と言語指示に基づき、将来の視覚的潜在変数を予測する。
2. Action DiT： Video DiTからの予測視覚特徴を条件として、連続的なアクションチャンクを生成する。
   AGRAは、マルチレイヤー・ブリッジ戦略を介してこれらの特徴がAction DiTに注入される前に、Video DiTの特定の層を凍結されたDINOv2エンコーダと整列させることで介入する。

3. 主な貢献

1. アクション・グラウンディング・ギャップの診断： 著者らは、アテンションマップ解析と因果的介入（トークンレベルの摂動）を通じて、ベースラインのWAMが相互作用領域に焦点を当てることができず、無関係な背景ノイズに対して敏感であることを示す経験的証拠を提示している。
2. AGRA目的関数： 生成的な視覚的特徴と実行可能な制御信号の間のギャップを埋めるために、ワールド・アクション・インターフェースを正則化するように特別に設計された表現アライメント目的関数の提案。
3. 実世界での検証： ヒューマノイドロボット（IRON-R01-1.11）を用いた広範な評価により、AGRAが実行成功率、物体位置特定、およびOODシフト（セマンティック、インスタンスレベル、属性の汎化）に対する堅牢性を大幅に向上させることを実証した。

4. 実験結果

著者らは、実世界の操作タスク（Pick-and-Place, Open-Steamer-Transfer-Bun）およびシミュレーションベンチマーク（RoboCasa GR1）においてAGRAを評価した。

• インディストリビューション（ID）性能： AGRAは80%の成功率を達成し、ベースラインのWAM（34%）を大幅に上回った。
• アウトオブディストリビューション（OOD）汎化： AGRAは優れた堅牢性を示し、ベースラインと比較して、セマンティックで27%、インスタンスレベルで32%、属性で**32%**性能を向上させた。
• アテンションおよび因果解析：
  • アテンションマップ： AGRAは、アクションヘッドのアテンションを、静止した手や背景ではなく、手と物体の相互作用領域へとより正確に誘導する。
  • 因果的敏感さ： 定量的指標（Matched Sensitivity Ratio）は、AGRAがベースラインと比較して、相互作用領域の摂動にはるかに敏感であり、背景ノイズにはるかに鈍感であることを示している。
• アブレーション研究：
  • レイヤー選択： 第8層（約1/3の深さ）を整列させることが最適な結果をもたらした。より深い層は動的なモデリングを阻害し、単一レイヤーのブリッジはマルチレイヤーのブリッジよりも劣っていた。
  • 視覚エンコーダの選択： DINOv2はSigLIPよりも優れた性能を示し、操作においては言語に整合した特徴よりも、物体中心で空間的に一貫した特徴が重要であることを示唆した。
  • クロスエンボディメント： AGRAは、クロスエンボディメント転移における人間によるデモンストレーションデータ（EegoDex）の活用を大幅に改善したが、ベースラインではほとんど改善が見られなかった。

5. 意義と主張

本論文は、**「もっともらしい視覚的な予見は、明示的なアクション・グラウンディングなしには、信頼できるロボット制御には不十分である」**と主張している。AGRAの意義は、以下の点にある：

• ワールド・アクション・インターフェースの正則化： ビデオ拡散特徴を空間的に一貫したセマンティック表現と整列させることにより、AGRAは制御に使用される特徴が、単なる外観ではなく、タスクに関連する構造（物体、接触点）を中心に構成されるようにする。
• 堅牢性の向上： 本手法は、ポリシーをタスクに無関係な領域の変化（背景の変化、ディストラクターなど）に対してより堅くし、現在の生成的な世界モデルの主要な失敗モードに対処する。
• ギャップの解消： 表現アライメント技術（元々は生成品質の向上に使用されていたもの）を再利用することが、物理的なロボティクスにおける世界モデルを「実行可能（actionable）」にするという特定の問題を効果的に解決できることを実証している。

著者らは、AGRAがビデオとアクションのミスマッチを大幅に軽減し、実行成功率を向上させるものの、ミスマッチを完全に解決するものではなく、多様で複雑なタスクにおける残りのギャップを体系的に特徴付け、対処するためにはさらなる研究が必要であると結論づけている。