技術的概要：残差潜在行動を介した視覚特徴ベースの世界モデルの学習

問題定義

世界モデルは、観測と行動から将来の状態遷移を予測し、方策学習や推論の基盤として機能することを目的としている。現在の支配的なパラダイムは、ピクセル整合的な潜在空間（例えば VAE）におけるビデオ生成に依存している。視覚的に魅力的である一方で、これらのアプローチは高い計算オーバーヘッドと、物理的に不可能な状態を生成するハルシネーションの傾向に苦しんでいる。

対照的に、視覚特徴ベースの世界モデル（例えば DINO-WM）は、生ピクセルではなく、将来の視覚特徴（DINO トークンのようなもの）を予測する。このアプローチはより効率的であり、ハルシネーションを起こしにくい。しかし、既存の特徴ベースの手法は、将来のトークンを予測するために直接回帰に依存している。複雑な 3 次元相互作用において、これは「平均への回帰」を引き起こし、ぼやけたまたは崩壊した予測をもたらす。一見実行可能な代替案として、特徴空間内で直接生成モデル（拡散モデルなど）を使用することは、次元の呪いによって阻害されている。DINO トークンは、標準的な VAE 潜在変数（約 1 万 6 千次元）と比較して、はるかに高い次元性（例えば 512×512 の画像で約 100 万次元）を持つため、生成モデルの構築は計算的に禁止的となり、特徴ベースモデルの効率性という目標を損なう。

本論文は、以下の 2 つの主要な問いに答えるものである：

1. 複雑な 3 次元操作に拡張可能な、視覚特徴空間における効率的かつ正確な世界モデルをどのように開発するか？
2. そのような世界モデルをどのように活用して、下流のロボット方策を改善するか？

手法

1. 残差潜在行動（RLA）

著者は、残差潜在行動（Residual Latent Action: RLA）と呼ばれる新しい潜在行動表現を提案する。絶対的な将来の状態 $s_{t+h}$ を予測するか、重厚な拡散モデルを通じて生成する代わりに、RLA は現在の DINO トークン（$s_t$）と将来の DINO トークン（$s_{t+h}$）の間の残差を、コンパクトな潜在ベクトル $z$ に符号化する。

• アーキテクチャ: オートエンコーダを訓練する。エンコーダ $f_{enc}$ は、学習可能なクエリとともに残差 $(s_{t+h} - s_t)$ を処理してコンパクトな潜在変数 $z$ を生成する。デコーダ $f_{dec}$ は、$s_t$ と $z$ を用いて $s_{t+h}$ を再構成する。
• 主要な特性:
  • 予測的充足性: 反復生成のための弱い条件付けとして使用された従来の潜在行動とは異なり、RLA は単一のフォワードパスで将来のトークンを正確に再構成することを可能にする。
  • 汎化性: RLA エンコーダは、限られたタスク非依存データで訓練された場合でも、新規のシーンや運動パターンに汎化する。
  • 時間的トポロジー: 潜在空間は時間的進行を自然に符号化する。ガウスノイズと RLA ベクトル間の線形補間は、中間の時間状態に対応する表現をもたらす。

2. RLA 世界モデル（RLA-WM）

RLA に基づき、著者はRLA-WMを提案する。これは、高次元の $s_{t+h}$ を直接予測するのではなく、コンパクトな RLA ベクトル $z$ を予測する世界モデルである。

• フローマッチング: モデルは、ガウスノイズをターゲットの RLA $z$ に変換するために必要な速度を予測するためにフローマッチングを使用する。
  • 入力: 現在の状態 $s_t$ と行動チャンク $a_{t:t+h}$。
  • プロセス: 条件付けネットワークが $s_t$ と行動を処理して条件トークンを生成する。これらはノイズの潜在変数 $z_\tau$ と連結される。フローネットワークは、ノイズを最終的な RLA $z_1$ に反復的に変換するための速度 $\hat{v}$ を予測する。
  • 出力: 予測された RLA $z_1$ は、$s_t$ と共にデコードされ、将来の状態 $s_{t+h}$ を再構成する。
• 効率性: 完全な DINO トークン空間ではなく、コンパクトな RLA 空間（例えば 2048 次元）でフローマッチングを実行することにより、モデルはビデオ拡散モデルと比較して、はるかに低い計算コスト（FLOPs）で高い忠実度を達成する。

3. ロボット学習への応用

本論文は、RLA および RLA-WM の 2 つの応用を実証する：

• アクションレス動画のためのミニマリスト世界行動モデル（WAM）:

  • 標準的な行動模倣（Behavior Cloning: BC）方策（ResNet-18）を拡張し、観測から RLA $z$ を予測するために単一の線形層を追加する。
  • アクションラベル付きおよびラベルなし動画の混合データで訓練される。アクションレス動画の場合、行動損失はマスクされ、ネットワークは方策を誘導するために RLA ターゲット（動画ペアから導出）を予測することを学習する。
  • これにより、重いビデオ生成バックボーンに方策を結合することなく、大規模なラベルなし動画から学習することが可能になる。

• RLA-WM 内での視覚強化学習（WMRL）:

  • オフライン動画のみから学習された世界モデル内で完全に訓練された視覚 RL の最初の実証。
  • RL 段階において、オンライン相互作用、手作りの報酬、補助的な BC 損失は一切使用されない。
  • ビデオ整合報酬（VAR）: 報酬は、モデルのロールアウトの DINO トークンと、時間同期された参照オフライン動画の真の DINO トークンの間の負の L1 距離として定義される。
  • 方策（BC から初期化）は、RLA-WM 内で完全に生成されたロールアウトを用いて PPO によって最適化される。

主要な貢献

1. 残差潜在行動（RLA）: DINO 残差から学習された、単純でコンパクトな潜在行動表現。予測的であり、汎化し、時間的トポロジーを符号化する。
2. RLA-WM: フローマッチングを通じて RLA を予測する、最先端の視覚特徴ベースの世界モデル。既存の特徴ベースモデルおよびビデオ拡散モデルよりも精度が高く、かつ桁違いに高速である。
3. 新規応用:
   • アクションレス動画からの模倣学習を改善するミニマリスト WAM。
   • オンライン相互作用や手動の報酬設計なしに、学習された世界モデル内でのロールアウトを通じて方策を最適化する視覚 RL フレームワーク（WMRL）。

実験結果

予測品質

ManiSkill（シミュレーション）およびIWS（実世界の両手操作）データセットで評価：

• 指標: RLA-WM は、DINO-WM（回帰）、RAE（特徴空間での拡散）、FM-WM（特徴空間でのフローマッチング）、Vid2World（ビデオ拡散）などのベースラインと比較して、LPIPS、SSIM、DINO L1 距離において優れた性能を達成した。
• 効率性: RLA-WM は推論あたり3.5T FLOPsを必要とし、Vid2World（1.1P FLOPs）および RAE/FM-WM（14.3T FLOPs）と比較して著しく低かった。
• 定性的評価: RLA-WM は、ハルシネーションを最小限に抑えた物理的に根拠のある予測を生成したのに対し、ビデオ拡散モデル（Vid2World）はしばしば鮮明だが物理的に一貫性のない軌道を生成した。

ロボット学習の性能

• アクションレス動画学習: アクションラベル付きデータの 5% のみを使用した模倣学習タスクにおいて、RLA ベースの WAM は**平均成功率 35.6%**を達成し、BC ベースライン（27.2%）および他の潜在行動手法（例えば AdaWorld の 33.7%）を上回った。改善は、挑戦的な Push-T タスクで最も顕著であった（ベースラインより +15.2%）。
• 視覚 RL（WMRL）: 1500 の評価シードにわたり、WMRL は初期 BC 方策と比較して、XArm および UR10e ロボットにおける方策性能を著しく向上させた。平均して、追加の実世界相互作用データを使用することなく、5 つのタスク全体で BC に対して**+1.1%**の改善を達成した。

意義と主張

本論文は、RLA-WM が視覚特徴ベースの世界モデルにとって大きな前進を表すと主張している。直接回帰や重厚な生成モデルから残差潜在行動モデルへとシフトすることにより、著者らは、高次元特徴空間において以前は達成不可能であった効率性、精度、スケーラビリティのバランスを達成した。

その意義は以下の点にある：

1. 次元の呪いの克服: ターゲットが完全な特徴ベクトルではなく、コンパクトな残差表現である場合、特徴空間における生成モデルの実現可能性を実証すること。
2. オフラインのみの RL の実現: 高品質な視覚 RL が、オフライン動画データと学習された世界モデルのみを使用して可能であることを証明し、高価なオンライン探索や手作りの報酬関数の必要性を排除すること。
3. ラベルなしデータへのスケーラビリティ: ミニマリスト WAM アプローチを通じて、ラベルなしロボット動画の膨大な量を方策改善に活用する道筋を提供すること。

著者は、タスク無関係な背景運動（例えばカメラの揺れ）や部分的な観測（遮蔽）の処理の難しさといった限界を認め、3 次元ビュー非依存の RLA や多フレーム条件付けに関する将来の作業を提案している。しかし、彼らは小規模データセットにおける結果が、単なるデータスケーリングから手法由来の利益を分離し、将来のオープンワールドアプリケーションのための堅固な基盤を確立していると強調している。