技術サマリー：MVP-LAM

問題定義

汎用ロボットポリシーの学習は、実世界における行動ラベル付きデモンストレーションの高コストと希少性によってボトルネックとなっています。大規模な人間の操作動画は、転移可能な事前知識を学習するための有望な代替手段を提供しますが、真の行動ラベル（グラウンドトラウス）が欠如しているため、標準的な教師あり模倣学習を適用できません。最近のアプローチは、フレーム間の遷移をコンパクトな表現に符号化し、視覚・言語・行動（VLA）事前学習用の疑似行動ラベルとして使用する**潜在行動モデル（LAMs）**を学習することでこの課題に対処しようと試みています。

しかし、重要な課題が残っています：単一視点の動画から学習された潜在行動は、しばしば真の行動に関する情報を保持しきれません。これらは外発的ノイズ、特に視点の変化に対して過剰適合する傾向があります。人間の動画（多くの場合第一人称視点）では、カメラの動きがエージェントの行動と絡み合っています。その結果、標準的なLAMは、エージェントの実際の制御信号ではなく、視点固有の手がかり（例：背景の移動やカメラのシフト）を符号化してしまう可能性があり、下流の制御における疑似ラベルとしての有用性が低下します。

手法：MVP-LAM

著者は、時間同期されたマルチ視点動画を活用して行動中心の潜在行動を学習するための教師なしフレームワークである**マルチ視点潜在行動モデル（MVP-LAM）**を提案します。

核心的な目的

目標は、潜在行動 $Z_t$ と真の行動 $A_t$ の間の相互情報 $I(Z_t; A_t)$ を最大化しつつ、$Z_t$ が視点 $V_t$ について保持する情報を最小化することです。理論的には、固定容量のボトルネック（例：ベクトル量子化）の下では、視点情報を符号化することが、行動に関連するダイナミクスに利用可能な容量を減少させます。

構造と学習

MVP-LAMは、UniVLA などの先行研究と同様にベクトル量子化変分オートエンコーダ（VQ-VAE）の構造に基づいて構築されていますが、新しいクロス視点再構成目的を導入しています：

1. 入力： 時間同期されたマルチ視点動画ペア $(I^{v_1}_t, I^{v_2}_t)$。
2. 特徴抽出： 凍結されたエンコーダ（DINOv2）を用いて視覚特徴 $o^v_t$ を抽出します。
3. 潜在行動推論： エンコーダ $E_\theta$ が、特定の視点 $v$ の連続する特徴 $(o^v_t, o^v_{t+1})$ から連続的な潜在変数 $e^v_t$ を予測し、これをベクトル量子化して離散トークン $z^v_t$ に変換します。
4. 再構成損失： モデルは 2 つの相補的な目的で訓練されます：
   • 自己視点再構成（$L_{self}$）： 現在のフレームと同じ視点からの潜在トークン（$z^v_t$）を用いて、次のフレーム $o^v_{t+1}$ を再構成します。
   • クロス視点再構成（$L_{cross}$）： 現在のフレームと、異なる同期された視点からの潜在トークン（$v \neq \tilde{v}$ である $z^{\tilde{v}}_t$）を用いて、次のフレーム $o^v_{t+1}$ を再構成します。

行動中心性のメカニズム：
クロス視点目的は、潜在トークン $z^v_t$ が異なるカメラ視点の将来状態を説明することを強制します。視点固有の要因（例：カメラ $v$ に固有の背景運動など）は視点 $\tilde{v}$ における遷移を説明できないため、モデルはそれらを符号化しないように促されます。代わりに、$z^v_t$ は視点間で一貫した、共有された行動駆動型のダイナミクスを捉える必要があります。これにより、行動ラベルを必要とせずに外発的ノイズを効果的にフィルタリングします。

主要な貢献

1. MVP-LAM フレームワーク： マルチ視点動画とクロス視点再構成目的を活用し、真の行動と高度に一致する離散潜在行動を学習する教師なし学習フレームワークの導入。
2. 向上した行動中心性： Bridge V2 データセットにおいて、UniVLA、LAPA、Moto などの単一視点ベースラインと比較して、MVP-LAM が真の行動との相互情報と線形行動予測精度を大幅に向上させることの証明。
3. 視点摂動に対する頑健性： 視点摂動された遷移から推論された場合でも、MVP-LAM の潜在行動が遷移に関連する情報を保持し、視点間で一貫したダイナミクスを維持することを示す証拠。
4. 効率的な VLA 事前学習： MVP-LAM 潜在行動で事前学習された VLA が、SIMPLER および LIBERO などの操作ベンチマークにおいてベースラインを上回り、かつ大幅に少ない事前学習データ（例：OXE ベースのベースラインよりも 3 倍小さいデータセット）で済むことの検証。

実験結果

著者は、潜在行動学習に Bridge V2 データセットを、下流の VLA パフォーマンス評価に SIMPLER および LIBERO スイートを用いて MVP-LAM を評価しました。

• 行動中心性（Bridge V2）：
  • 相互情報（MI）： KSG、BA、MINE 推定器を用いた推定 MI（$I(Z; A)$）において、MVP-LAM は UniVLA、LAPA、Moto を上回り最高値を記録しました。
  • 線形プロービング： 潜在トークンから真の行動を予測するために訓練された単純な線形層において、MVP-LAM は正規化平均二乗誤差（NMSE）が最も低く、優れた行動情報の保持を示しました。
• 下流の操作タスク（SIMPLER & LIBERO）：
  • SIMPLER： MVP-LAM で事前学習された VLA は、4 つのタスク全体で 60.4% の平均成功率を達成し、UniVLA（39.6%）および他のベースラインを大幅に上回りました。
  • LIBERO： MVP-LAM は 94.1% の平均成功率を達成し、UniVLA（92.5%）を上回り、より小規模なデータセット（Bridge V2 のみ、$\le$60k 軌道 vs OXE の $\ge$970k）で事前学習されたにもかかわらず、$\pi_0$（94.2%）などの最先端モデルと競争力のある性能を示しました。
  • 分布外（OOD）： MVP-LAM は OOD タスク（Spatial、Object、Goal、Long）において頑健な性能を示し、特に困難な LIBERO-Long スイートで卓越した結果を収めました。
• 頑健性とスケーリング：
  • 視点摂動： 新規視点で合成された遷移でテストした際、MVP-LAM は高い MI と低い NMSE を維持しましたが、UniVLA などのベースラインは注意の焦点や予測精度で顕著な劣化を示しました。
  • 同期エラー： モデルは合成された同期ラグ（$\ell \in \{0, 2, 4\}$ フレーム）に対して頑健でした。
  • スケーリング： 視点数、データセット比率、モデルサイズの増加に伴い、性能は一貫して向上しました。

意義と主張

本論文は、行動の教師信号を必要とせずに動画ベースの事前学習における外発的ノイズの問題を解決することで、MVP-LAM が汎用的な潜在行動モデルへの一歩を表すと主張しています。

• データ効率性： 主な意義は、ウェブ規模のマルチ視点人間動画から高品質で行動中心の表現を学習できる点にあり、これにより大規模なロボットデータセットに依存する従来の方法に比べて桁違いに少ないデータで効果的な VLA 事前学習が可能になります。
• 汎化能力： 行動ダイナミクスを視点固有の手がかりから分離することで、MVP-LAM は新規の視点や環境に対してより汎化性の高い表現を生成します。
• 実用性： この手法は既存のマルチ視点データセット（例：EgoExo4D、Open X-Embodiment）を活用し、現在の具現化 AI パイプラインに自然に統合できるため、汎用ロボット学習へのスケーラブルな道筋を提供します。

著者は、同期されたマルチ視点データへの依存（単一視点よりも収集が困難）や、現在の評価がシミュレーションに限定されていることなどの限界を指摘していますが、SIMPLER が実世界の性能と相関することを強調しています。今後の研究として、弱く同期されたデータまたは疑似ペア化されたマルチ視点データを探索し、計測要件をさらに緩和することが提案されています。