技術的概要：WorldVLN

問題定式化

本論文は、エージェントが自然言語の指示に従って、閉ループの知覚と動作を用いて 3 次元環境（屋内および屋外）をナビゲートする「航空ビジョン・ランゲージ・ナビゲーション（VLN）」という課題に取り組んでいます。著者らは、観測と指示を直接動作にマッピングする既存の「ビジョン・ランゲージ・アクション（VLA）」モデルは、汎化能力が限られていると主張しています。その理由は、標準的な VLA モデルが物体認識や指示解析のための事前知識を継承している一方で、エージェント自身の動きに対する環境の進化、すなわち「動作条件付きの世界ダイナミクス」を明示的にモデル化できていないからです。

本論文は、航空 VLN を「予測駆動型の世界 - 動作問題」として定式化します。直接的条件付けマッピングの代わりに、エージェントは潜在的な世界の進化を予期し、予測される結果に基づいて動作を選択すべきです。このアプローチは、ナビゲーションが本質的に予期的である生物学的な空間知能、および強力な予測能力を示す最近の動画生成モデルの進歩に動機付けられています。

手法：WorldVLN

著者らは、航空 VLN に特化した最初の自己回帰型世界動作モデル（WAM）である「WorldVLN」を提案します。このシステムは、特定のモデルアーキテクチャと 2 段階のトレーニングフレームワークで構成されています。

1. モデルアーキテクチャ

WorldVLN は、事前学習された「潜在自己回帰型動画トランスフォーマー」（具体的には InfinityStar）を世界バックボーンとして流用します。完全な視覚クリップをレンダリングする従来の動画生成モデルとは異なり、WorldVLN は予測された潜在表現を「短期間の世界状態遷移」として扱います。

• 入力: モデルは言語指示（$\ell$）と、符号化された潜在観測の履歴（$z_{\le t}$）を受け取ります。
• 予測: バックボーンは、将来の状態進化を表す次の潜在世界セグメント（$\hat{z}_{t+1:t+K}$）を予測します。
• 動作デコーディング: これらの潜在表現を RGB フレームにデコードするのではなく、専用の「動作デコーダー」（$D_\phi$）が、潜在遷移を直接実行可能なウェイポイント動作（$a_{t:t+K-1}$）にマッピングします。これらは相対的な 3 次元変換とヨー角の変化として定義されます。
• 閉ループ: 動作を実行した後、エージェントは実際の観測を受け取り、これを符号化して新しい潜在表現とし、自己回帰コンテキストにフィードバックします。これにより、継続的な「観測 - 動作 - 更新」ループが作成され、その後の予測は幻覚的な動画フレームではなく、実際の世界状態に基づいて接地されます。

2. 2 段階トレーニングフレームワーク

動画生成の事前知識をナビゲーションダイナミクスに整合させるため、WorldVLN は 2 段階のトレーニングプロセスを採用します。

• ステージ 1: 教師あり接地

  • バックボーン: 指示と過去の観測を条件とした将来の潜在セグメントを予測するために、指示 - 動画ペア上で教師あり微調整（SFT）により訓練されます。
  • 動作デコーダー: 潜在世界遷移から専門家のウェイポイント動作を復元するように訓練されます。これは動画デコーダーや視覚オドメトリバックボーンからの事前知識で初期化され、収束を加速します。
  • 目標: 潜在世界表現を「動作デコード可能」にし、指示条件付きのナビゲーションダイナミクスに接地させることです。

• ステージ 2: 動作認識型 GRPO

  • 著者らは、自己回帰型 WAM に特化した強化学習手法である「動作認識型グループ相対方策最適化（GRPO）」を導入します。
  • プロセス: モデルはシミュレーター内でオンラインの自己回帰ロールアウトを実行します。
  • 報酬: 複合報酬関数が使用されます。
    • 軌道報酬: 専門家の動作との幾何学的整合性を測定します。
    • タスク報酬: 最終目標への到達の成否を評価します。
    • 参照報酬: 元の動画生成の事前知識（「想像」能力の保持）からの逸脱を防ぐために方策を正則化します。
  • 時間的減衰: 報酬には減衰重み（$\gamma$）が適用され、将来の観測と動作のより長い連鎖に影響を与えるため、初期の決定を強調します。
  • 目標: 下流の結果に基づいてウェイポイントの決定を最適化し、現在の動作が将来のナビゲーションの成功にどのように影響するかをモデルに学習させることです。

主要な貢献

1. 航空 VLN における最初の自己回帰型 WAM: 本論文は、潜在的な世界表現を時間的に予測し、それを低レベルの動作にデコードし、実際の観測に基づいて決定を接地することでループを閉じるモデルを提案します。
2. 動作認識型 GRPO: オンラインロールアウトを通じて潜在世界 - 動作表現をナビゲーション結果に整合させる、自己回帰型 WAM 向けに設計された最初の RL 手法の導入。
3. 最先端のパフォーマンス: 屋外および屋内の両方のベンチマークにおいて、既存の VLA ベースラインを大幅に上回る性能を達成しました。
4. ゼロショット実世界転送: 追加の微調整なしに、シミュレーションから実世界のドローン展開へ転送する能力を実証しました。

実験結果

著者らは、WorldVLN を 2 つの公開ベンチマーク、「UAV-Flow」（屋外）と「IndoorUAV」（屋内）で評価しました。

• 定量的な向上:

  • UAV-Flow-Sim において、WorldVLN は固定テンプレート指示とオープンボキャブラリー指示に対して、それぞれ 79.12% および 78.02% の平均成功率（SR）を達成しました。これは、OpenVLA や $\pi_0$ などの最も強力な VLA ベースラインに対して 12% 以上 の改善を表します。
  • IndoorUAV-VLA において、完全なテストセットで 41.76% の SR を達成し、最良のベースラインを 14.60 パーセントポイント 上回りました。
  • このモデルは、困難なケース（例：屋内ナビゲーションの「Hard」スプリット）や空間的に精密なタスク（例：着陸、移動、上昇/下降）において、特に大きな向上を示しました。

• アブレーション研究:

  • WAM vs VLA: 一から訓練された OpenVLA と比較して、WorldVLN はより少ないトレーニングステップで高い成功率に達しました。これは、WAM 定式化が航空 VLN にとってより効果的な学習構造であることを示唆しています。
  • 自己回帰の必要性: 自己回帰更新を除去し（全シーケンス予測を使用）、意味的ドリフトやシーンの崩壊を招きました。これは、一貫した視覚空間表現を維持するために閉ループ更新が不可欠であることを確認しました。
  • 動作認識型 GRPO: SFT 飽和後に RL ステージを追加することで、10 ポイント以上の追加的な性能向上が得られ、複雑な機動（例：円形軌道）における幾何学的精度が向上しました。

• 実世界展開:

  • このモデルは、Jetson Orin NX と PX4 フライトコントローラーを搭載したカスタムクアッドコプター（250mm ホイールベース）に展開されました。
  • シミュレーターデータのみで訓練されたにもかかわらず、WorldVLN は屋内（モーションキャプチャ装備のアリーナ）および屋外（GPS/LiDAR）の両方の環境で言語指示に従って正常に動作し、ゼロショット汎化を実証しました。

意義と主張

本論文は、直接の観測から動作へのマッピングから「予測駆動型の世界 - 動作モデリング」へとパラダイムをシフトさせることで、WorldVLN が空間的動作タスクにとって有望な道筋を提供すると主張しています。

• 核心的な主張: 著者らは、生物学的なナビゲーションは予期的であり、動画ベースの世界モデルは、標準的な VLM ベースの VLA が欠いている必要な時空事前知識（運動、視点遷移、物理的進化）を備えていると断言しています。
• 控えめな主張: 著者らは限界を認め、実験は現在比較的短距離の航空ナビゲーションで検証されていると指摘しています。長距離の VLN や複雑な多段階指示の検討は残されていると述べています。
• 展開の実態: 実世界での結果は有望ですが、論文は明示的に、バックボーンの計算コストにより現在の展開はサーバーサイド推論に依存しており、完全なオンボード実行は制限されていると述べています。また、システムは人間の監督と安全制約なしに公共または安全上の重要な環境で非監督展開される準備ができていないことを強調しています。

要約すると、WorldVLN は、自己回帰型世界予測と強化学習を統合することが、航空ナビゲーションエージェントの汎化能力と空間推論能力を大幅に強化し、より複雑な具象化タスクの基盤を提供することを示しています。