ViVa: ロボット強化学習のためのビデオ生成価値モデル

技術的サマリー（日本語）

1. 概要と背景

本論文は、物理世界におけるロボット操作タスク（特に長期的なタスク）における強化学習（RL）の課題を解決するため、**ViVa（Video-Generative Value Model）**という新しいアプローチを提案しています。

既存の Vision-Language-Action (VLA) モデルは大規模な事前学習により汎用性を獲得しましたが、実世界での展開には「部分的な観測性」と「遅延したフィードバック」という課題が残っています。強化学習では、方策の改善を導くために「価値関数（Value Function）」が不可欠ですが、従来の視覚言語モデル（VLM）に基づく価値推定は、静的な画像テキストデータに依存しており、時間的なダイナミクス（時間の経過に伴う変化）を捉えるのが苦手でした。これにより、長期的なタスクにおける信頼性の高い価値推定が困難でした。

ViVa は、この課題に対し、「価値推定は本質的に『未来の予測』である」という洞察に基づき、事前学習済みのビデオ生成モデルを価値関数として転用する革新的な手法を提案します。

2. 提案手法：ViVa のアーキテクチャ

ViVa は、Wan2.2（Diffusion Transformer ベースの事前学習済みビデオ生成モデル）を基盤として構築されています。従来の VLM が「現在の状態」を分類するのに対し、ViVa は「現在の状態」を入力とし、「未来の状態」と「現在の価値」を同時に生成します。

主要な技術的構成要素

1. 入力と出力の統合（Latent Injection）:

   • 入力: 現在のマルチビュー画像（RGB）とロボットの固有感覚（Proprioception: 関節角度やエンドエフェクタの位置など）。
   • 出力: 未来の固有感覚状態（Future Proprioception）と、タスク完了までの進捗を表すスカラー値（Value）。
   • 仕組み: 画像、固有感覚、スカラー値のすべてを潜在空間（Latent Space）の「フレーム」として扱います。固有感覚やスカラー値は、Repeat-padding や Broadcast 操作によって潜在フレームの形状に変換され、ビデオ生成モデルのシーケンスに注入されます。

2. 学習目標（フローマッチング）:

   • 現在の観測（クリーンな条件付きフレーム）を条件として、ノイズが加えられた未来のフレーム（未来の固有感覚と価値）を復元（Denoising）するタスクとして学習します。
   • 損失関数は、未来の固有感覚予測と価値予測の両方を最適化する重み付き組み合わせです。

3. 価値の定義:

   • 成功したエピソードでは、時間経過とともに価値が 0 から 1 へ漸増するように設計されます。
   • 失敗したエピソードにはペナルティが課され、成功と失敗を明確に区別できる値の範囲（成功：[0, 1)、失敗：[1, 2)）が設定されています。これにより、単なる進行度だけでなく、最終的な成否を考慮した価値推定が可能になります。

3. 主な貢献

1. 価値推定の本質的な再定義: ロボット強化学習における価値推定は「未来の予測」問題であり、静的データで訓練された VLM よりも、時空間的先験知識（Spatiotemporal Priors）を持つビデオ生成モデルの方が適していることを示しました。
2. ViVa モデルの提案: 現在の価値と未来の身体動態（Embodiment Dynamics）を同時に予測することで、価値推定に「先見性（Foresight）」を本質的に組み込んだモデルを開発しました。
3. 実世界タスクでの卓越した性能: 複雑な実世界タスク（箱の組み立てなど）において、既存の VLM ベースの価値関数や模倣学習のみの方策を大幅に凌駕する性能を示しました。
4. 未知の物体への汎化: 学習データに含まれていない新しい物体に対しても、タスクの物理的ダイナミクスを理解しているため、堅牢な価値推定が可能であることを実証しました。

4. 実験結果

実験は、シャツの折りたたみ、箱のパッケージング、トイレットペーパーの整理の 3 つの実世界タスクで行われました。

• 定性的分析（価値推定の信頼性）:

  • エラー検知: 従来の VLM ベースのモデルは、タスクの進行に合わせて価値が単調に増加する傾向があり、途中のミス（箱の角のズレなど）を検知できませんでした。一方、ViVa はミスが発生した瞬間に価値が急激に低下し、実行の質を正確に反映しました。
  • 進捗の追跡: ViVa はタスクの各マイルストーン（例：ロールの整列、ラベルの貼り付け）で明確な価値上昇を示し、滑らかな進行度を示しました。
  • 未知物体への汎化: 学習データにない「ズボンの折りたたみ」タスクにおいても、ViVa は重要な工程で価値が上昇する正しい挙動を示しましたが、VLM ベースのモデルは誤った判断や不安定な振る舞いを示しました。

• 実世界実験（箱の組み立て）:

  • 成功率: 既存の VLA モデル（42-53%）や VLM 価値関数を用いた RECAP パイプライン（58%）に対し、ViVa を採用した RECAP は**73%**の成功率を達成しました。
  • スループット: 時間あたりの成功タスク数も 14 件と最高記録を更新しました。
  • 計算効率: 学習時間と推論時間において、ViVa は VLM ベースの手法よりも高速で効率的でした（学習：4 GPU·日 vs 6 GPU·日、推論：0.18 秒 vs 0.32 秒）。

• アブレーション研究:

  • 未来の固有感覚予測の重要性: 未来の身体状態を予測するタスクを削除すると、ViVa の価値推定の感度が低下し、実行ミスを検知できなくなることが確認されました。
  • 予測ホライズン（K）: 適切な予測範囲（K=50）が、短期的なノイズと長期的な不確実性のバランスを取り、最も安定した価値信号を生み出すことが示されました。

5. 意義と結論

ViVa は、ビデオ生成モデルが持つ「時空間的な先験知識」をロボット強化学習の価値関数に活用する新たなパラダイムを示しました。従来の静的な認識に基づくアプローチではなく、「未来を想像する（Anticipate）」能力を通じて、ロボットの行動がタスクの成功に寄与しているかをより正確に評価することを可能にしました。

この手法は、長期的なタスクにおける信用割り当て（Credit Assignment）の問題を解決し、実世界でのロボット学習のスケーラビリティと信頼性を高める重要な一歩となります。特に、物理的なダイナミクスを内包した価値推定は、複雑な操作タスクにおけるエラー検知と方策改善に不可欠であることが実証されました。