WorldMAP: 生成ワールドモデルを用いた視覚言語ナビゲーション軌道予測のブートストラップ

1. 研究の背景と課題

問題定義:
エモーティブド AI（具現化された AI）における視覚言語ナビゲーションは、自己中心視点（egocentric）の観測と自然言語指示から、物理的に実行可能で意味的に適切な経路を生成することを要求します。特に、事前の地図構築なしに、単一の観測画像から未見の環境へ移動するタスクは極めて困難です。

既存手法の限界:

• 視覚言語モデル（VLM）: 言語理解や意味的接地（grounding）には優れていますが、単一の観測から直接安定したナビゲーション軌道を予測するには不安定であり、空間的な整合性や障害物回避の面で誤りを犯しやすいです。
• 生成ワールドモデル: 未来の視点やシーンの進化を想像（シミュレート）することで先読み推論を支援できますが、生成された未来の画像そのものが、ナビゲーション学習に必要な「構造化された教師信号（grounded supervision）」を直接提供してくれるわけではありません。また、想像された視点が過剰であったり、整合性が取れていない場合、むしろ性能を低下させるリスクがあります。

核心的な問い:
「生成された未来の視点を、どのようにして接地された軌道予測のための教師信号に変換できるか？」

2. 提案手法：WorldMAP

WorldMAP は、「教師 - 学生（Teacher-Student）」ディストリビューション（蒸留）フレームワークを提案します。この手法は、生成ワールドモデルを直接の行動方策として使うのではなく、構造化された教師信号を生成するエンジンとして活用します。

アーキテクチャの概要

システムは「World（世界）- Memory（記憶）- Action（行動）- Perception（知覚）」という分解に基づいて設計されています。

A. 教師パイプライン（World-Model-Driven Teacher）

教師モデルは、生成された未来の動画から構造化された軌道ラベル（疑似ラベル）を生成します。

1. 世界構築（World Construction）:
   • 単一の観測画像から、ワールドモデルを用いて未来のショート動画（複数の視点）を生成します。
   • 各フレームに対して単眼深度推定（Depth Anything 3）を行い、3D 再構築と共通のシーン表現へマッピングします。
   • 視覚埋め込み、キャプション、カメラ姿勢を伴う「意味的・空間的メモリ（Semantic-Spatial Memory）」を構築します。
2. タスク意識型接地（Task-Aware Grounding）:
   • 目標の特定: 指示文とメモリに基づき、関連するフレームを检索し、VLM で目標の説明を生成。オープンボキャブラリセグメンテーションモデル（UniPixel）を用いて、3D 空間および BEV（Bird's Eye View）座標系で目標領域を特定します。
   • 障害物の特定: 同様に、経路を遮る可能性のある物体（壁、家具など）を特定し、BEV 座標系でマスキングします。
3. 幾何学的計画と教師信号生成（Geometric Planning）:
   • 接地された目標と障害物を、共通のナビゲーション平面（BEV グリッド）に投影し、コストマップを構築します。
   • 未観測領域は非通行可能として扱います。
   • FMM（Fast Marching Method） を用いて、コストマップ上でスタートからゴールまでの最小コスト経路を計算し、これを「教師軌道（Pseudo-label）」として生成します。

B. 学生モデル（Lightweight Student）

学生モデルは、教師から生成された教師信号を用いてトレーニングされます。

• 入力: 自己中心視点の RGB 画像と自然言語指示のみ（テスト時には教師パイプラインは実行されません）。
• アーキテクチャ: 軽量な VLM バックボーン（例：Qwen3-VL）と、マルチ仮説軌道デコーダー。
• 出力: 複数の軌道仮説（K 個）とそれぞれの信頼度スコア。
• 学習目的: 教師が生成した軌道への回帰損失と、軌道のセグメント方向の一貫性を促す損失を組み合わせます。

3. 主要な貢献

1. ナビゲーション軌道予測のための新しい教師 - 学生蒸留フレームワーク:
   視覚言語入力に直接作用する軽量予測器に対し、計画由来の軌道教師信号を蒸留する枠組みを提案しました。
2. 接地された軌道生成のためのワールドモデル駆動エンジン:
   生成された未来を、単なる証拠としてではなく、意味的・空間的記憶、タスク対応の接地、明示的な幾何学的計画信号に変換し、学習可能な教師信号として再利用するパイプラインを開発しました。
3. Target-Bench における高性能:
   未構造化の現実世界の環境におけるナビゲーションベンチマーク「Target-Bench」において、比較対象のすべての手法を上回る性能を達成しました。

4. 実験結果

評価指標:
Target-Bench 上の 2D 画像空間に投影された軌道誤差を評価しました。

• ADE (Average Displacement Error): 平均変位誤差
• FDE (Final Displacement Error): 最終変位誤差
• DTW (Dynamic Time Warping): 正規化された動的時間 warping

主要な結果:

• 性能向上: 既存の最良のベースライン（Gemini-3-Pro）と比較して、ADE を 18.0%、FDE を 42.1% 削減しました。
• オープンソースモデルの強化: 小規模なオープンソース VLM（Qwen3-VL-8B）を学生として使用しても、プロプライエタリな強力なモデルと競合する性能（特に正規化 DTW）を達成しました。
• 比較分析:
  • 直接 VLM に軌道を予測させる手法は不安定でした。
  • 生成された視点をテスト時に追加証拠として利用する手法（MindJourney など）は、必ずしも性能向上に寄与せず、場合によっては悪化しました。これは、生成された視点が幾何学的に整合性がない場合、誤った証拠となるためです。
  • WorldMAP のアプローチ（生成を教師信号として変換）が、生成モデルの価値を最大化する有効な手段であることを示しました。

5. 意義と結論

学術的意義:
この研究は、具現化されたナビゲーションにおいて、ワールドモデルの真の価値は「実行可能な想像された証拠」を直接供給することではなく、**「ナビゲーション学習のための構造化された教師信号を合成するエンジン」**として機能することにあることを示唆しています。

技術的インパクト:

• Fast-Slow 視点: 教師モデル（高コストな想像・計画）と学生モデル（高速な推論）の分離により、計算コストと性能のバランスを最適化しています。
• 汎用性: 生成モデルの不完全さ（ハルシネーションや整合性の欠如）を、多視点の接地と幾何学的投影によって補正し、安定したナビゲーション構造を抽出する手法を提示しました。

結論:
WorldMAP は、生成ワールドモデルを単なるシミュレーターとしてではなく、学習プロセスを強化するための「教師」として再定義し、小規模なモデルでも高精度なナビゲーションを実現する新たなパラダイムを示しました。これは、将来の自律移動システムにおいて、想像された観測を直接行動方策とするのではなく、学習のための構造化された教師信号として活用する方向性を示す重要な一歩です。