テクニカルサマリー: WEAVER - ロボット操作のための効果的なワールドモデル

問題提起

ワールドモデル（WM）、すなわち学習されたシミュレータは、限られた実世界での相互作用を通じて、方策の評価、改善、およびテスト時のプランニングを可能にすることで、ロボティクスに大きな期待を集めています。しかし、これらのダウンストリーム能力を解き放つためには、ロボットのWMは、しばしば相反する以下の3つの要件を同時に満たす必要があります。

1. 忠実度 (Fidelity): 実世界の結末と相関する、物理的に正確な予測を生み出すこと。
2. 一貫性 (Consistency): 特に遮蔽（オクルージョン）や多段階の相互作用が存在する場合において、長い予測ホライゾンにわたって一貫した軌道を生成すること。
3. 効率性 (Efficiency): リアルタイムのプランニングや反復的な方策改善をサポートできるほど、迅速に予測を生成すること。

既存のアプローチは、これら3つの基準すべてを同時に満たすことができていません。ビデオ生成モデルは効率性に欠けることが多く、潜在空間モデル（JEPAスタイルのものなど）は、任意の視覚運動方策の評価に必要なデコーダブル性（復元可能性）を欠いている場合があります。また、従来の操作用WM（Ctrl-Worldなど）は、テスト時のプランニングを行うには動作が遅すぎます。さらに、ロボット操作は、マルチビューの観測、遮蔽された物体の推論、そして単なる視覚的な美しさではなく高精度な状態予測の必要性といった、特有の複雑さを伴います。

手法: WEAVER アーキテクチャ

著者らは、忠実度、一貫性、効率性の三要素（トリフェクタ）を実現するために設計されたマルチビュー・ワールドモデルである WEAVER (World Estimation Across Views for Embodied Reasoning) を提案しています。このアーキテクチャは、ビデオ生成、潜在空間ワールドモデル、およびJEPAスタイルのアーキテクチャの設計決定を統合しています。

コアアーキテクチャ

• マルチビュー・エンコーディング: WEAVERは、手首（リスト）カメラや外部カメラなどの複数のカメラビューを、自己受容感覚（プロプリオセプション）の状態とともに処理します。Stable Diffusion 3 VAEエンコーダを使用して、画像パッチと自己受容感覚トークンを潜在空間へとマッピングします。
• 潜在ダイナミクスモデル: コアとなる予測器は、以下の条件に基づき、将来の潜在状態 ($\hat{z}_t$) を予測する2Dトランスフォーマーです。
  • スパースメモリ (Sparse Memory): $k$ ステップごとに抽出された過去の潜在変数からなる長期的なコンテキスト ($z_{mem}$)。
  • 短期履歴 (Short-Term History): 直近の行動の結果を捉える最近の潜在変数 ($z_{hist}$)。
  • アクションプラン (Action Plan): 将来の行動のチャンク ($a_t$)。
• 予測目的関数:
  • 潜在予測: 将来の潜在変数を予測するために フローマッチング (Flow Matching) を用いて学習されます。長期ホライゾンの一貫性を高めるため、将来の各タイムステップに対して独立してノイズレベルをサンプリングする ディフュージョン・フォーシング (Diffusion Forcing) を採用しています。
  • 自己受容感覚予測: 従来の作品とは異なり、WEAVERは将来の自己受容感覚状態（関節位置やグリッパーの幅）を明示的に予測します。これは、変形物体操作において極めて重要です。
  • 報酬およびクリティック・ヘッド: 軽量な報酬ヘッド ($R$) とクリティック・ネットワーク ($V$) が、潜在状態と言語指示に直接作用します。これにより、画像をデコードしたり外部の視覚言語モデル (VLM) に問い合わせたりすることなく、アクションチャンクを効率的にスコアリングすることが可能になります。

学習および推論の最適化

• 学習: モデルはDROIDデータセットで事前学習され、特定のタスクデータでファインチューニングされます。効率を劇的に向上させるために、パッチトークンを積極的にドロップする SPRINTブロック を利用しています。
• 推論の加速:
  • KVキャッシュ: メモリおよび履歴トークンに対して適用され、デノイジング・ステップにおけるフォワードパスのコストを削減します。
  • 整流フロー (Rectified Flow): 数回のフォワードパス（低いNFE：関数評価回数）で高品質な生成を可能にするため、整流フロー目的関数を用いてポストトレーニングが行われます。
  • プログレッシブ・ノイズ: コサイン・ノイズ・スケジュールを使用し、低ノイズ領域により多くの予算を割り当てることで、忠実度を高めています。

ダウンストリーム・アプリケーション

WEAVERは、以下の3つの具体的なダウンストリーム・タスクをサポートするように設計されています。

1. 方策評価 (Policy Evaluation): 記録された実世界の軌跡を、WM内でオープンループで実行し、成功率を予測します。
2. 方策改善 (Policy-Improvement): アクションチャンクをサンプリングし、WM内でシミュレーションを行い、高アドバンテージな軌跡をフィルタリングしてベースの方策 ($\pi_{0.5}$) に蒸留します。
3. テスト時プランニング (Test-Time Planning): 「Best-of-N」アプローチを用い、複数のアクションチャンクをサンプリング・想像し、潜在的な報酬/クリティック・ヘッドを介して評価することで、実行すべき最適なアクションを選択します。

主な結果

著者らは、Franka Emika Pandaロボットを用い、5つのロボット操作タスク（Stack Bowls, PnP Bag, PnP Marker, PnP Towel, Pour Beans）でWEAVERを評価しています。

• 忠実度 vs 効率性: WEAVERは、主要なベースラインであるCtrl-Worldをパレート優位で上回っています。WEAVERは、より低いFIDおよびFVDスコア（高い視覚的忠実度を示す）を達成しながら、推論時間を大幅に短縮しています（例：10秒間のロールアウトに対し、Ctrl-Worldが30〜50秒であるのに対し、WEAVERは10〜30秒）。WEAVERは、低NFE（8〜16）においても高い品質を維持しますが、Ctrl-Worldの品質はNFEが減少するにつれて著しく低下します。
• 長期ホライゾンの一貫性: WEAVERは、最大10秒の長期ロールアウトにおいて優れた性能を示し、特に遮蔽や変形物体を伴うタスクにおいて、ベースラインよりも低いエラー率を維持しています。
• 方策評価: 方策を評価する際、WEAVER-FT（ファインチューニング済み）は、実世界の成功率に対して $\rho = 0.870$ のピアソン相関係数を達成し、事前学習済みのベースラインを大幅に上回りました。
• 方策改善: WEAVERによって生成された合成データを用いて基礎モデル $\pi_{0.5}$ をファインチューニングすると（実世界の相互作用なしで）、実世界の成功率が 38% 向上しました。合成データと実データを組み合わせることで、実データのみのファインチューニングに対してさらに11%の向上が見られました。
• テスト時プランニング: WEAVERは、Ctrl-Worldに対して 5〜10倍の高速化 を伴うテスト時プランニングを可能にします。このプランニング手法は、高アドバンテージなアクションチャンクを選択することにより、ベースの方策の実世界成功率を（特定のタスクでは最大20%）14% 向上させます。
• 分布外 (OOD) 堅牢性: 事前学習済みのエンコーダを使用しているため、WEAVERはOODタスクデータセットに対しても強いパフォーマンスを維持しています。

意義と主張

本論文は、WEAVERが高精度、長期一貫性、および推論効率を単一のロボット操作用ワールドモデルにおいて見事に統合したことを示す、重要な一歩であると主張しています。

• ダウンストリーム能力の解放: 著者らは、従来のWMはトレードオフ（例：高精度だが推論が遅い）によって制限されており、それがリアルタイムのプランニングや効率的な方策改善を妨げていたと述べています。3つの要件を同時に満たすWEAVERの能力は、これまでアクセス不可能であったこれらの機能を解放します。
• データ効率: 結果は、高精度なワールドモデルが、方策改善のために実世界のコストのかかるデータに匹敵するほど効果的な合成データを生成できることを示唆しており、広範な実世界での相互作用への依存を軽減できる可能性があります。
• 実用性: 整流フローとKVキャッシュにより、リアルタイムの制約に適合する推論速度を実現することで、WEAVERはワールドモデルベースのテスト時プランニングを、単なる理論的概念ではなく、物理ロボットにおける実用的な現実へと変えます。

著者らは、限界事項として、部分観測性（触覚センシングの欠如）、複雑な変形力学への課題、およびレイテンシによる短期ホライゾン・プランニングへの制限を認めています。しかし、WEAVERがロボティクスにおけるスケーラブルで効率的かつ効果的なワールドモデリングの新たな基準を確立するものと考えています。