技術サマリー：RepWAM – 表象を用いた世界行動モデリング（World Action Modeling with Representation）

1. 問題提起

世界行動モデル（World Action Models: WAMs）は、受動的な未来予測と身体化されたロボット制御の間の溝を埋めることを目的とし、視覚的ダイナミクスを予測し、それを実現するために必要なロボットの行動を推論する単一の潜在空間を学習することを目指している。しかし、現在のWAMは、その表象設計において2つの決定的な限界に直面している。

1. 視覚的表象の欠陥： 既存のWAMは、通常、学習済みのビデオ生成モデル（WAN、VQ-VAEなど）からビデオトークナイザーを継承している。これらのトークナイザーはピクセル再構成に最適化されており、タスクに関連するセマンティクス（物体の同一性、空間的関係、相互作用の手がかり）よりも、低レベルの外観（背景のテクスチャ）に潜在容量を割いてしまう。その結果、言語による目標が、外観の変化に支配された潜在空間から推論される必要があるため、指示に基づいた世界モデリングの接地（グラウンディング）が不十分になる。
2. 視覚と行動のデカップリング（分離）： 視覚的な潜在変数と運動コマンドは、互いに無関係な空間に存在する。これにより、逆動力学モデル（IDM）がステップごとに大きなモダリティ間のギャップを埋めなければならず、アクション・エキスパートがシーンの内容に運動コマンドを効果的に接地することを妨げている。

著者らは、WAMの忠実度はこれらの潜在空間によってボトルネックとなっていると考えており、「世界行動モデルには、実際にはどのような表象が必要なのか？」という問いを投げかけている。

2. 手法：RepWAM

本論文では、RepViTok（Representation Visual-Action Tokenizer）に基づいた、表象中心のWAMであるRepWAMを提案している。このフレームワークは、以下の3つのコアコンポーネントで構成される。

A. 表象視覚・行動トークナイザー（RepViTok）

RepViTokは、視覚的な潜在変数を凍結された視覚基盤モデルと整合させ、共有されたセマンティック空間内での遷移として潜在行動トークンを誘導する。

• 視覚的トークン化： Vision Transformer (ViT) オートエンコーダが視覚的観測を処理する。標準的なトークナイザーとは異なり、これは二重の目的関数によって監督される。
  1. 再構成損失： ピクセルの忠実度を確保するために、$L_1$損失、知覚的損失、および敵対的損失を組み合わせる。
  2. 特徴量アライメント損失： 線形射影を介して、ビデオ潜在変数を凍結された視覚基盤モデル（例：Perception Encoder）に引き寄せる。これにより、潜在空間が単なる低レベルの外観だけでなく、高レベルのセマンティクス（物体の同一性、相互作用）を捉えるようにする。
• 潜在行動トークン化： 整合された視覚トークンに基づき、潜在行動トークナイザ（LAT）は、視覚状態間の遷移を表す行動トークンを学習する。これは、**逆動力学モデル（IDM）と順動力学モデル（FDM）**を結合させたものである。
  • IDMは、連続する潜在フレーム（$z_t, z_{t+1}$）間の遷移をコンパクトな潜在行動 $\ell_t$ に圧縮する。
  • FDMは、$\ell_t$ を輸送写像（視覚コンテンツのルーティング）と残差として実現し、次の視覚潜在変数を再構成する。
  • この設計により、潜在行動はセマンティックな視覚状態間の変換として定義され、異なる形態（embodiments）間での転移が可能になる。

B. 因果的世界行動モデル

RepWAMは、言語条件付けの下で、将来の視覚状態と潜在行動を共同でモデリングする因果的拡散トランスフォーマーを事前学習する。

• アーキテクチャ： モデルは、視覚トークンと行動トークンが注意重みを共有するが、モダリティ固有のフィードフォワードネットワーク（FFN）を利用するブロック因果マスクを使用する。
• 学習目的： モデルは条件付きフローマッチング目的関数を用いて学習される。視覚潜在変数のチャンクとペアとなる潜在行動をサンプリングし、それらをガウスノイズと補間する。ネットワークは、ターゲットの速度を回帰することで、次の視覚状態と対応する潜在行動を同時に予測する。
• 適応： 大規模なビデオ・アクションデータで事前学習した後、モデルは閉ループ操作のための実世界のロボット軌道へと適応される。

3. 主な貢献

1. セマンティック視覚・行動トークン化： 視覚潜在変数を基盤モデルと整合させ、潜在行動をこのセマンティック空間内の遷移として学習するRepViTokの導入。これにより、既存のWAMの表象が持つ「浅さ」と「デカップリング」の問題を解決した。
2. 共同モデリングフレームワーク： 将来の視覚状態と潜在行動を共同で予測する因果的拡散トランスフォーマーを事前学習し、その後に実世界のロボット制御へと適応させる統一されたアーキテクチャ。
3. 実証的検証： 実世界の双腕操作タスクおよびRoboTwin 2.0シミュレーションベンチマークにおける包括的な評価を行い、セマンティックな整合性が視覚的ダイナミクスの予測と閉ループ実行の両方を向上させることを示した。

4. 実験結果

著者らは、$\pi_{0.5}$、Motus、Lingbot-VAを含むベースラインに対して、RepWAM（1.3Bおよび5Bパラメータスケール）を評価した。

• 実世界操作（Franka Dual-Arm）：
  • 「果実を拾う（Pick the fruit）」、「引き出しを押す（Push the drawer）」、「チューブを挿入する（Insert the tube）」などのタスクにおいて、RepWAM-5Bはそれぞれ60%、80%、**60%**の成功率を達成した。
  • これらの結果は、特に一貫した視覚的ダイナミクスが極めて重要となる長期的なタスクや微細なタスクにおいて、$\pi_{0.5}$（10〜50ポイントの差）やLingbot-VA（10〜20ポイントの差）を上回った。
• シミュレーションベンチマーク（RoboTwin 2.0）：
  • RepWAM-5Bは、Easyタスクで89.3%、Hardタスクで**88.4%**を達成し、$\pi_{0.5}$とMotusの50タスク平均を上回った。
  • 特筆すべきは、RepWAMは学習済みのビデオ生成の重みを継承することなく**ゼロから（from scratch）**学習されたにもかかわらず、そのような事前学習を利用しているLingbot-VAのようなモデルに対しても競争力のある性能を示したことである。
• アブレーション研究：
  • トークナイザー設計： 標準的なWAN2.2 VAEをRepViTokに置き換えることで、Open-Loop Score (OLS) と実ロボットの成功率が向上し、セマンティックな整合性が指示への追従に不可ントであることを確認した。
    تعتبر。
  • 潜在行動学習： 「二段階（Two Stages）」アプローチ（潜在行動で事前学習し、その後にロボット制御に適応させる）は、「共同予測（Joint Prediction）」や潜在行動なしの学習よりも大幅に優れた性能を示し、中間表現としての潜在行動の有用性を裏付けた。
  • Classifier-Free Guidance (CFG)： ビデオ生成モデルとは異なり、RepWAMはCFGスケール1.0（外挿なし）で最適な性能を発揮した。これは、セマンティック空間が十分に堅牢であり、CFGへの依存を減らせることを示唆している。

5. 重要性と主張

本論文は、**表象視覚・行動トークン化（representation visual-action tokenization）**が、世界行動モデルの有望な基礎であることを主張している。視覚的および行動的な潜在変数を共通のセマンティックな表象に接地することで、RepWAMは以下を実証している。

• 表象がタスクに関連するセマンティクスを捉えていれば、ポリシー学習のために明示的な未来生成は必ずしも必要ではない。
• セマンティックな整合性により、事前学習済みのビデオ生成バックボーンを継承していなくても、WAMは強力な汎化性能と閉ループ性能を達成できる。
• このアプローチは、行動を単なる分離された運動コマンドではなく、セマンティックな状態の変換として理解する表象空間を構築することで、汎用的なロボットポリシーへと近づくものである。

著者らは、潜在空間の設計がエンボディード・エージェントの能力にとって根本的であると結論付けており、RepWAMはより解釈可能で、転移可能で、効果的なロボット操作への一歩を提示している。今後の課題として、ロボット特有のビデオを超えて、大規模なインターネット動画や一人称視点の人間動画へと事前学習を拡張することが示唆されている。