技術要約: 視覚言語ナビゲーションにおける意味論的探索のための $\Phi$-Nav

問題提起

視覚言語ナビゲーション（VLN）は、エージェントが自然言語の指示に基づいて3D環境を横断することを要求する。現代のVLNシステムは、露出バイアス（exposure bias）を軽減し堅牢性を向上させるために、オンポリシー探索（例：Scheduled Sampling, DAgger）にますます依存しているが、根本的な**意味論的な監督のギャップ（semantic supervision gap）**が依然として存在する。

標準的なオンポリシー学習において、エージェントがエキスパートの意図した経路から逸脱した場合、元の言語指示は実行された視覚ストリームと意味的に一致しなくなる。その結果、探索的な軌跡の大部分は、言語的に整合した監督を欠いた状態となる。従来の手法は、これらの逸脱をエキスパートのアクションによって修正されるべきエラーとして扱うが、探索中に生成された、整合性は低いものの豊かな「視覚と言語のデータ」を活用できていない。これは、オンポリシー手法のサンプル効率を制限し、エージェントが自身の多様な経験から学習する能力を制約している。

手法: $\Phi$-Nav

著者らは、パスレベルのヒンドサイト推論（path-level hindsight reasoning）を通じて、探索的なロールアウトを密で意味論的に裏付けられた学習信号へと変換することで、このギャップを埋める統一的なオンポリシーフレームワークである$\Phi$-Navを提案する。このフレームワークは、以下の3段階のデュアル・スーパービジョン・サイクルを通じて動作する。

ステージ1: オンポリシー軌跡サンプリング

エージェントは、標準的なオンポリシー戦略（例：エキスパートのアクションと自身のポリシー予測の混合）を用いて探索を行う。エージェントは、標準的なエキスパート模倣損失（$\mathcal{L}_{\text{expert}}$）を最小化するために、リアルタイムのエキスパートアクションのフィードバックを受け取りながら、軌跡 $\tau = \{v_0, a_0, \dots, v_T, a_T\}$ を収集する。

ステージ2: パスレベルのヒンドサイト指示生成

軌跡がバッファリングされると、**ヒンドサイト・スピーカー・エージェント（HSA）**が、エキスパートの経路ではなく、エージェントが実際に実行した経路を正確に記述する新しい指示（$I_H$）を合成する。

• LVLMバックボーン: HSAは、ゼロショットの時空間推論能力のために、事前学習済みの大型視覚言語モデル（LVLM）（具体的には Qwen2.5-VL-7B）を利用する。
• エキスパート・イン・コンテキスト学習: 言語スタイルの分布シフトを防ぎ、ハルシネーションを軽減するために、LVLMにはエキスパートの軌跡とその人間によるアノテーション付き指示からなる単一の例示（exemplar）がプロンプトとして与えられる。これにより、生成された指示が現在の軌跡の特定の視覚的観察に適応しつつ、訓練分布の構造的およびトーンの整合性を維持することを保証する。

ステージ3: アライメント重み付けを伴うヒンドサイト模倣学習

エージェントは、合成された軌跡と指示のペアを、追加のエキスパートデモンストレーションとして用いて、2回目の模倣パスを行う。

• 軌跡と指示のアライメント重み付け: LVLMによって生成された指示にはハルシネーションや弱い接地（grounding）が含まれる可能性があるため、フレームワークは、視覚的な軌跡と合成された指示の間の意味的な忠実度を評価する軽量なスコアリングモジュールを導入する。
  • このスコアは、粗いアライメント（グローバルなビデオ・文章間の類似性）と、微細なアライメント（指示から抽出されたランドマーク名詞とその視覚的アンカーに特化したもの）を組み合わせる。
  • これにより、ヒンドサイト損失の寄与を調整する適応的な重み $\lambda$ が算出される。
• 最適化: 全体の損失関数は、エキスパート損失と重み付けされたヒンドサイト損失を組み合わせる：
  $$\mathcal{L} = \mathcal{L}_{\text{expert}} + \lambda \mathcal{L}_{\text{hindsight}}$$
  ここで、$\mathcal{L}_{\text{hindsight}}$ は、合成された指示 $I_H$ の下で行われたアクションの尤度を最大化する。

主な貢献

1. 新規フレームワーク: 探索的な逸脱を密なパスレベルのヒンドサイト指示へと変換することで、意味論的な監督のギャップを埋める、初のオンポリシーVLNフレームワークである $\Phi$-Nav を導入した。
2. 拡張されたヒンドサイト・パラダイム: 本研究は、ヒンドサイト学習を、静的なゴール置換から時間的に連続した、微細なパスレベルの指示再ラベル付けへと拡張した。これは以下を通じて達成される：
   • エキスパート・イン・コンテキスト学習: 言語的スタイルにおける分布の整合性を確保する。
   • 軌跡と指示のアライメント重み付け: セマンティックな忠実度に基づいて監督を適応的にフィルタリングおよび重み付けするメカニズムであり、LVLMのハルシネーションを軽減する。
3. サンプル効率: $\Phi$-Nav が、意味的にラベル付けされていない動きを意味のある学習信号へと変換し、エキスパートのデモンストレーションが少なくてもエージェントが効果的に学習できることを示した。

実験結果

フレームワークは、R2R-CE および RxR-CE ベンチマークで評価された。

• 性能向上: $\Phi$-Nav は、異なるオンポリシー・ベースライン（CMA, ETPNav）において、ナビゲーション性能（成功率およびSPL）を一貫して向上させた。
  • R2R-CE (Val Unseen) において、$\Phi$-Nav を ETPNav ベースラインに統合することで、成功率（SR）を 5.37%、成功経路長加重成功率（SPL）を 3.59% 向上させ、g3D-LF のような最新の SOTA 手法を上回った。
  • RxR-CE においても、SR と SPL の安定した向上を達成したが、より長く言語的に高密度な軌跡に対して微細な指示を生成することの難易度の高さから、向上幅はやや小さくなった。
• サンプル効率: $\Phi$-Nav は優れたサンプル効率を示し、ベースラインが必要とするエキスパート・デモンストレーションのわずか 90% で競争力のある性能を達成した。すべての訓練イテレーションにおいて、ベースラインを一貫して上回った。
• アブレーション研究:
  • 重み付け: 適応的なアライメント重み付け（TIAW）は、固定の重み付けスキームよりも大幅に優れた結果を示し、ノイズの多い監督をフィルタリングする必要性を裏付けた。
  • バックボーン: より大きな LVLM バックボーン（7B/8B）は、より小さなもの（3B）よりも優れた結果をもたらし、正確なヒンドサイト指示を生成するためのモデル容量の重要性を浮き彫りにした。
  • コンテキスト: エキスパート・イン・コンテキスト学習は、ゼロショットやテンプレートベースのアプローチと比較して、グラウンドトゥルース（正解）に対して高い語彙的および構造的な類似性を持つ指示を生成した。

意義と主張

本論文は、**意味論的な探索（semantic exploration）**が、VLN訓練における重要かつ見落とされている要素であると断じている。ヒンドサイト推論を活用することで、$\Phi$-Nav は、探索的な軌跡がその言語的監督と整合しなくなるという固有の限界に対処している。

著者らは、$\Phi$-Nav が限られたデータでエンボディド・エージェントを訓練するための効果的なソリューションであると主張している。それは、「探索のノイズ」を「密な学習信号」へと変容させ、エージェントが、コストのかかる静的なエキスパート・デモンストレーションのみに頼ることなく、直接的な環境経験を通じて自己教師あり学習を行い、知能をスケールさせることを可能にする。本研究は、言語誘導型の自己教師あり学習がエンボディドAIを進展させる可能性を強調しており、探索と意味論的な接地（semantic grounding）の間の溝を埋める堅牢な手法として $\Phi$-Nav を位置づけている。