論文「Policy-Guided World Model Planning for Language-Conditioned Visual Navigation (PiJEPA)」の技術的概要

本論文は、自然言語指示と視覚目標に基づいてロボットをナビゲーションさせるという課題に対し、学習された方策（Policy）と潜在空間の世界モデル（World Model）を統合した新しいフレームワーク**「PiJEPA」**を提案するものです。既存のアプローチが抱える「長期的な計画の欠如」や「高次元空間における行動初期化の難しさ」という課題を解決し、実世界でのナビゲーションタスクにおいて高い成功率と指示追従性を達成しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 問題定義 (Problem)

Embodied AI（具現化 AI）における視覚的ナビゲーションは、現在の自己中心視点の観測 $o_t$、目標画像 $o_g$、および自然言語指示 $\ell$（例：「階段の方へ進んでください」）を与えられたとき、ロボットが目標に到達する一連の行動シーケンスを生成する課題です。

既存のアプローチには以下の限界がありました：

• 反応型方策 (Reactive Policies): Octo や NoMaD などの VLA（Vision-Language-Action）モデルは、単一フォワードパスで行動を予測するため、長期的な帰結を推論する能力が不足しており、長距離タスクで失敗しやすい。
• 世界モデルに基づく計画 (World Model Planning): 潜在空間で未来を予測する JEPA などの世界モデルを用いた計画は有効ですが、高次元の行動空間において、無知なガウス分布（Uninformed Gaussian）からサンプリングを開始するため、収束が遅く、局所最適解に陥りやすいという問題があります。

2. 手法 (Methodology)

PiJEPA は、学習された方策の強みと潜在世界モデルの計画能力を組み合わせる2 段階のフレームワークです。

2.1 全体アーキテクチャ

1. 共有された凍結ビジョンエンコーダ: DINOv2（画像）または V-JEPA-2（動画）をベースとした事前学習済みエンコーダ $E_\phi$ を使用し、観測を潜在トークン $z_t$ に変換します。
2. 第 1 段階：方策による行動事前分布の生成 (Policy Prior)
   • 微調整されたOcto モデル（拡散ヘッド付き）に、現在の観測 $o_t$ と指示 $\ell$ を入力します。
   • 拡散モデルから $N_\pi$ 個の行動チャンクサンプルを生成し、これらを世界モデルのローカル座標系に変換します。
   • これらのサンプルから平均 $\mu_\pi$ と標準偏差 $\sigma_\pi$ を計算し、**「情報に富んだ行動事前分布」**を構築します。
3. 第 2 段階：方策誘導 MPPI 計画 (Policy-Guided MPPI)
   • JEPA 世界モデル: 同じ凍結エンコーダを用いて学習された予測器 $P_\psi$ が、行動条件付きで未来の潜在状態を予測します。
   • MPPI (Model Predictive Path Integral) 最適化: 従来の無知なガウス分布ではなく、上記で得られた $(\mu_\pi, \sigma_\pi)$ で MPPI をウォームスタート（初期化）します。
   • 世界モデルをアンロール（展開）し、目標の潜在表現 $z_g$ への距離をコスト関数として、行動シーケンスを反復的に最適化します。
   • 最適化されたシーケンスの最初の行動を実行し、次のステップで再計画を行います。

2.2 重要な設計思想

• 分離された設計: 言語指示は方策（Octo）を通じてのみ計画分布に影響を与え、世界モデル自体は言語非依存（視覚 - 行動ダイナミクスのみ）として保持されます。これにより、表現学習と指示の接地（Grounding）を適切に分離しています。
• ウォームスタートの利点: 方策が「目標に向かう可能性が高い」行動領域に確率質量を集中させるため、プランナーはゼロから探索するのではなく、有望な軌跡を微調整することにリソースを集中できます。

3. 主要な貢献 (Key Contributions)

1. PiJEPA フレームワークの提案: 微調整された Octo 方策と JEPA 世界モデル上の MPPI 計画を統合し、方策出力でプランナーをウォームスタートする統一フレームワークを提案しました。
2. ビジョンエンコーダの体系的比較: 画像ベース（DINOv2）と動画ベース（V-JEPA-2）の 2 つの現代的事前学習エンコーダを用いて、方策学習と世界モデル化の両面での表現特性を比較評価しました。
3. 実世界での性能向上: 実世界のナビゲーションタスク（CAST データセット）において、単独の方策実行や無知な世界モデル計画を大幅に上回る目標到達精度と指示追従性を実証しました。

4. 実験結果 (Results)

CAST データセットを用いた実世界ナビゲーションタスクで評価を行いました。

• 性能の比較:
  • PiJEPAは、DINOv2 と V-JEPA-2 の両方のエンコーダ設定において、絶対軌道誤差（ATE）の位置精度で最高性能を記録しました（例：V-JEPA-2 設定で RMSE 1.65m）。
  • Octo-WM（方策サンプルを世界モデルでスコアリングのみ）: 反復最適化を行わない場合でも、生の方策（Octo）よりも位置精度が向上しましたが、PiJEPA の反復最適化には及びませんでした。
  • 無知な MPPI: 位置精度は最も劣りましたが、方策の事前分布がない場合、サンプリング予算が浪費されることが示されました。一方で、埋め込み空間の目的関数により、方角（Heading）の精度は比較的高く保たれていました。
• エンコーダの影響:
  • V-JEPA-2（動画エンコーダ）は、より豊かな時間的構造を捉えており、PiJEPA と組み合わせることで最も高い全体的な位置精度を示しました。
  • 一方、無知な MPPI は V-JEPA-2 の複雑な潜在ダイナミクスにおいて最も性能が低下し、方策事前分布による初期化の重要性が浮き彫りになりました。
• 推論時間:
  • Octo による拡散サンプリング（約 2.13 秒）が全体の遅延の大部分を占めており、MPPI 計画のオーバーヘッド（約 0.35 秒）は軽微でした。
• 失敗ケース分析:
  • 指示が曖昧な場合（例：「建物の後ろへ」）や、世界モデルがロールアウト中に停滞（静的な潜在状態を予測）する場合、プランナーは機能しなくなります。PiJEPA は方策事前分布によってこの停滞を部分的に回避しますが、完全な解決には至っていません。

5. 意義と結論 (Significance & Conclusion)

PiJEPA は、**「反応型方策による高速な局所制御・行動提案」と「世界モデルによる長期的な軌道最適化」**という、一見相反するアプローチを効果的に融合させた点に意義があります。

• 役割分担の明確化: 反応型方策が「どこへ向かうべきか」の有力な候補を提供し、世界モデルが「その候補が長期的に有効か」を評価・微調整するという役割分担が機能しています。
• 実用性: 計画段階のオーバーヘッドが小さく、既存の VLA モデルを拡張する形で実装可能であるため、実ロボットへの適用が現実的です。
• 将来の課題: 世界モデルのロールアウト停滞（Stagnation）や、曖昧な指示への対応を改善するため、ダイナミクスアーキテクチャの改良や、多様性を促進するロールアウトメカニズム、中間経路点コストの導入などが今後の研究方向として示唆されています。

本論文は、言語条件付き視覚ナビゲーションにおいて、学習された方策を「事前知識」として世界モデル計画に活用するというパラダイムを確立し、長距離タスクにおける信頼性の高い自律移動の実現に向けた重要な一歩を示しています。