技術要約: MotionWAM

問題提起

現在の自律型ヒューマノイド・ロコマニピュレーション（移動・操作）システムは、主に上半身と下半身を分離した階層的パラダイムに依存しています。この構成では、上位レベルのマニピュレーション・ポリシーが腕の微細な関節目標を生成する一方で、下位レベルのコントローラーは脚部の粗いベースコマンド（速度、高さ、姿勢）を追従します。このアーキテクチャは、ロボットを不整合なアクション空間に強制することになり、脚部を受動的なバランス維持に限定させ、タスク駆動型の足の相互作用（例：ペダルを踏む、ボールを蹴るなど）を妨げてしまいます。

World Action Models (WAMs) は、ビデオ・ダイナミクス・プライア（事前知識）をポリシーに結合することでテーブルトップのマニピュレーションにおいて有望な成果を示していますが、既存の実装はリアルタイム制御には遅すぎます。これらは高次元のビデオ・アクション潜在変数に対して反復的なデノイジング（除去）を行う必要があり、それが計算上のボトルネックとなり、動的なバランス保持が必要なヒューマノイドへのクローズドループ展開を阻んでいます。核心となる課題は、全体系のヒューマノイド制御のために、WAMsの豊かなダイナミクス・プライアを統一された潜在空間で展開しつつ、リアルタイムの推論速度を維持することです。

手法: MotionWAM

MotionWAMは、単一の一人称視点カメラから自律的なヒューマノイドのロコマニピュレーションを駆動するために設計された、エンドツーエンドのWorld Action Modelです。これは、上下半身を分離した階層構造を、移動、胴体の動き、高さ調節、足の相互作用、および手の操作を同時にカバーする統一されたモーション潜在変数へと置き換えます。

1. モデルアーキテクチャ

MotionWAMは、Dual-DiT (Diffusion Transformer) フレームワークを採用しています。

• Video DiT: Cosmos-Predict2.5-2B から初期化されたこのブランチは、一人称視点の条件付けフレームと将来のフレームを潜在変数へと圧縮します。決定的なのは、完全なデノイジングを待つのではなく、純粋なノイズに近い固定されたフロー・タイムステップ（$\tau_f \approx 1$）付近で、速度ネットワークの隠れ状態（$h^{\tau_f}_t$）をインターセプト（捕捉）することです。この「ワンショット想像（one-shot imagination）」レジームは、反復的なデノイジングの計算コストを支払うことなく、シーンがどこに向かっているかをエンコードします。
• Motion DiT: このブランチは、中間的な Video DiT の特徴量とともに、プロプリオセプション（固有感覚）の状態とノイズの乗ったモーション・トークンを消費し、モーション潜在変数の速度場を予測します。
• Unified Latent ($m_t$): 出力される統一モーション潜在変数は、以下で構成されます：
  • 器用な手/グリッパーのコマンドのための連続ベクトル（$m^{cont}_t$）。
  • 移動、胴体、高さ、および足の相互作用の意図を要約するスカラー・スロット（$\tilde{k}_t$）から派生した離散化されたトークン・インデックス（$k_t$）。このトークンは、ユニバーサルな全体系コントローラーである SONIC によって、関節コマンドへとデコードされます。

2. 3段階の学習フレームワーク

ビデオ・ワールドモデルを一人称視点のダイナミクスおよび特定のヒューマノイドの身体特性に適応させるため、著者らは漸進的な学習レシピを提案しています。

• ステージ1: 一人称視点ビデオ事前学習: Video DiT を約2,136時間の人間およびヒューマノイド・ロボットの一人称視点ビデオを用いて単独で学習させます。これにより、アクションラベル付きデータの不足に阻害されることなく、ワールドモデルの分布を一人称視点の視覚的ダイナミクスへとシフトさせます。
• ステージ2: クロスエンボディメント・アクション・ポストトレーニング: Motion DiT を取り付け、多様なエンドエフェクタとアノテーション形式を持つ Unitree G1 のヘテロジニアスな混合データを用いて共同学習させます。ダイナミクス・プライアが上書きされるのを防ぐためにビデオ目的関数をリグラーライザ（正則化項）として保持し、異なる身体形態間でアクション信号を接地（グラウンディング）させます。
• ステージ3: 全体系ファインチューニング: 対象となる Unitree G1 で収集されたテレオペレーションによる全体系デモンストレーションを用いて、フルモデルをファインチューニングします。アクション出力は統一された全体系モーション・トークンに切り替えられ、エンドツーエンドの制御を可能にします。

主な貢献

1. MotionWAM アーキテクチャ: ビデオ・ワールドモデルの中間デノイジング特徴量にポリシーを条件付ける、リアルタイムの WAM。これにより、単一のアクション空間における全体系制御を実現します。
2. 統一モーション潜在変数: 分離された上下半身ポリシーを統一されたモーション・トークンに置き換えることで、下半身が単なるベースの安定化だけでなく、タスク（例：キック、ステップ）に能動的に参加することを可能にします。
3. 3段階学習: ビデオ・ワールドモデルを、一般的な一人称視点のダイナミクスから、特定の身体特性へのアクション・グラウンディング、そしてタスク特化型のファインチューニングへと漸進的に適応させるフレームワーク。
4. リアルタイム全体系制御: タスク駆動型の足の挙動を含む、リアルタイムのヒューマノイド・ロコマニピュレーションが可能な、初のクローズドループ・エンドツーエンド WAM 駆動型ポリシー。

実験結果

著者らは、腰の制御、高さ調節、スクワット走行、足の相互作用、および身体と手の協調を必要とする 9つの実世界の Unitree G1 タスク で MotionWAM を評価しました。

• ベースラインとの比較: MotionWAM は、最先端の Vision-Language-Action (VLA) モデル（GR00T-N1.7, $\pi_0.5$）やカスタム・アブレーションを含む5つのベースラインと比較されました。MotionWAM は 76.1% の総合成功率 を達成し、最も強力なベースライン（76.1% vs. 43.9% の GR00T-N1.7）を大幅に上回り、30% 以上の絶対的な向上 を示しました。
• タスク特有の向上: パフォーマンスの差は、Kick Soccer (+40%)、Load Cart (+40%)、Wipe Board (+45%) など、全身の協調を必要とするタスクで最も顕著でした。VLA のみのベースラインは、移動を伴うタスクで崩壊しており、意味的なプライアだけではクローズドループの物理制御には不十分であることを示しています。
• アブレーション研究: ステージ1（一人称視点事前学習）またはステージ2（クロスエンボディメント・グラウンディング）を除去すると、大幅な性能低下（それぞれ 11% および 28%）を招き、漸進的な学習戦略の必要性が検証されました。
• リアルタイム推論: MotionWAM は NVIDIA A100 上で 4.9 Hz で動作します。これは、反復的なデノイジングを回避しているため、他のワールドモデルベースのポリシー（例：Cosmos Policy の 0.7 Hz）よりも大幅に高速であり、バランス保持が必要なヒューマノイドのクローズドループ制御に適しています。

意義と主張

本論文は、ビデオで事前学習された WAM が、テーブルトップのマニピュレーションから、協調的で人間のようなヒューマノイドの全体系制御へと拡張できることを実証していると主張しています。中間的なデノイジング特徴を活用することで、モデルは大規模なビデオモデルの豊かなダイナミクス・プライアと、バランス保持が必要なヒューマノイドのリアルタイムかつ安全性がクリティカルな要件との間の溝を埋めることに成功しました。この研究は、統一されたアクション空間が、ビデオ・ワールド・ダイナミクスに条件付けられることで、ロボットが（足を含め）環境と能動的に相互作用するために全身を使いこなすための、実現可能な道筋であることを示唆しています。

限界

著者らは、ステージ3のファインチューニングが Unitree G1 という身体形態に対してのみ検証されていることを認めており、このレシピの他のハードウェアプラットフォームへの転用可能性は未検証です。さらに、訓練オブジェクトとテストオブジェクトが視覚的な類似性を共有していたため、評価には新規オブジェクトへの汎化性に関する制御された研究が含まれていません。また、システムは単一の一人称視点カメラに依存しているため、操作対象が視野から外れたり、視点が訓練分布から大きく逸脱したりした場合に失敗モードが発生します。