💻 computer science

VEGA: Learning Navigation VLAs from In-the-Wild Egocentric Video with Geometric Trajectory Supervision

VEGAは、ラベルなしの一人称視点ビデオから、局所的なシーンの幾何学的構造を再構成することで障害物を回避する軌道を生成し、それによって教師信号を与える手法を導入することで、既存のベースラインと比較して衝突回避能力と成功率を大幅に向上させるナビゲーション用視覚言語行動モデルの学習を実現している。

原著者： Gershom Seneviratne, Yohan Abeysinghe, Jianyu An, Vaibhav Shende, Dinesh Manocha

公開日 2026-06-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Gershom Seneviratne, Yohan Abeysinghe, Jianyu An, Vaibhav Shende, Dinesh Manocha

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

例えば、ロボットに、椅子や人、テーブルにぶつからずに混雑した部屋を歩く方法を教えたいとしましょう。通常、ロボットにこれを教えるには、次のいずれかが必要です：

人間がその部屋の中を歩いている様子を、ロボットに観察させるために記録する。
特定の障害物を避けるように、手動でプログラムする。

これらは時間がかかり、コストも高く、拡張性にも欠けます。世界中のあらゆる可能性のある部屋について、人間が歩いている様子を記録することは不可能です。

そこで登場するのが、VEGAです。

この論文の研究者たちは、インターネット上にある何十億もの「自然界の（in-the-wild）」ビデオ（家の中を歩いている人々、ハイキングコース、賑やかな通りなど）を利用して、ロボットにナビゲーションを教える巧妙な方法を編み出しました。これらのビデオは、リアルで散らかった環境を見せてくれますが、大きな問題があります。それは、ロボットに対して「どこへ行くべきか」や「どのように家具を避けるべきか」を教えていないことです。これらは単なる「アクションのない（action-free）」ビデオなのです。

VEGAは、以下の独創的なステップを用いて、これらのランダムなビデオをナビゲーションの教師へと変貌させます。

1. 「メンタルマップ」のトリック

まず、VEGAはビデオの単一フレームを見て、特別なAIを使用して、その部屋の3Dメンタルマップを構築します。床がどこにあるか、壁がどこにあるか、そして障害物（コーヒーテーブルや犬など）がどこに立っているかを特定します。これにより、どの程度のスペースを使って歩けるのかを正確に把握する「セーフティマップ（安全マップ）」を作成します。

2. 「もしも？」ゲーム

マップが構築されると、VEGAは「もしも？」ゲームを開始します。

もし、あの赤い椅子に行きたいとしたら？
もし、入り口に向かいたいとしたら？
もし、ラグの上の空いている場所に歩いていきたいとしたら？

あらゆる可能な目的地に対して、VEGAは数学的なプランナーを使用して、何にもぶつかることなく目的地に到達するための完璧で安全な経路を計算します。これを何百万回も繰り返し、「ゴール＋安全な経路」の膨大なライブラリを作成します。

3. 「生徒」ロボット

ここで、VEGAはロボットの脳（VLA、すなわち視覚・言語・行動モデルと呼ばれます）を訓練します。この生徒ロボットは、元のビデオを観察しながら、VEGAが計算した「安全な経路」を見ます。

レッスン： 「これが君が見ているもの（ビデオ）であり、これが君が行きたい場所（ゴール）であり、これが君が取るべき安全な経路だ」
結果： ロボットは、シーンを観察し、ゴール（「キッチンへ行く」や「あの写真の方へ行く」など）を理解し、カメラ映像を見るだけで、瞬時に安全な経路を見つけ出す方法を学びます。訓練が終われば、もう3Dマップは必要ありません。ただ、目と脳を使うだけです。

なぜこれが大きな進歩なのか？

車の運転を学ぶことに例えてみましょう。

従来の方法： 特定の車に乗り、特定の通りで、いつ曲がるべきかを隣で指示してくれる教習所に座って、運転を学ぶ。
VEGAの方法： 世界中の何百万時間ものドライブレコーダーの映像を見る。コンピューターを使って、それらのビデオにおけるあらゆる目的地に対する「完璧な走行ライン」を導き出す。そして、その完璧なラインを模倣するように自分の脳を訓練する。

結果

研究者たちは、乱雑で散らかった部屋や動く障害物がある環境で、実機のロボットを用いてこのテストを行いました。他のトップクラスのナビゲーターと比較して、以下の結果が得られました。

成功率： ロボットは目的地に到達する確率が大幅に向上しました（少なくとも150%向上）。
安全性： 衝突が66%減少しました。
スペース： より多くのスペースを確保できるようになり、狭い場所での回避能力が60%向上しました。

彼らはまた、彼らの手法が衝突回避や特定のターゲットへの到達において、競合よりも優れていることを証明するために、巨大なテストであるVEGA-Bench（25万のシーンと500万のゴールを含む）を作成しました。

要約すると： VEGAは、インターネット上のビデオライブラリの混沌とした情報を、幾何学を用いた構造化された「安全マニュアル」へと変換し、高価な手動のトレーニングなしで、ロボットが現実世界をナビゲートできるように教えるのです。

テクニカル・サマリー：VEGA – 野生的な一人称視点ビデオからの幾何学的軌道監督による学習型ナビゲーションVLA

問題提起

Vision-Language-Action (VLA) モデルは、大規模で多様なデータセットを活用することで、ロボット操作において大きな有望性を示してきました。しかし、これらのモデルを地上移動ロボットのナビゲーションへとスケールアップさせることは、依然として重要なボトルネックとなっています。既存のナビゲーションデータセットは希薄であり、通常、一つのシーンに対して一つの暗黙的または明示的なゴールに向かう単一の軌道しか提供していません。このような密な監督（supervision）の欠如は、同一環境内であっても、異なるゴール、障害物の構成、および開始地点によって実行可能な軌道がどのように変化するかをポリシーに教えることができません。その結果、学習されたポリシーは、目標への接地（goal grounding）が弱く、近距離の障害物回避能力が低く、混雑したシーンにおいて安全性の低い挙動を示すことがよくあります。

自動運転のデータセットは規模こそ大きいものの、構造化された環境を対象としており、一般的な移動ロボットに特有の、近距離かつオブジェクト中心の散乱した環境（clutter）を捉えることはできません。逆に、あらゆる環境、ゴール、障害物レイアウトをカバーするのに十分なテレオペレーションによるロボットデータを収集することは、スケーラビリティに欠けます。大規模な一人称視点ビデオ（ウォーキングツアーや家庭内の記録など）は豊富に存在し、現実世界のナビゲーションに関する豊かな視覚的観察を含んでいますが、ポリシー学習に必要な明示的なロボットのアクション、ゴール条件付け、および障害物を考慮した軌道が欠落しています。

手法：VEGA

著者らは、ラベルのないアクションフリーの一人称視点ビデオを、ナビゲーションVLAの学習用スケーラブルな監督信号へと変換するフレームワークであるVEGA（Vision-language navigation from Egocentric Video with Geometric Action supervision）を提案します。核心となる革新性は、学習時のみ再構成されたシーン幾何学を使用して、障害物を考慮した軌道を生成し、それを、推論時にはRGB観測とゴールのみを必要とする視覚ベースのポリシーへと蒸留することにあります。

1. データ生成パイプライン

VEGAは、ラベルのない一人称視点ビデオを以下のステップで処理します。

単眼幾何再構成: 基盤モデルであるMoGe-2を使用し、各RGBフレームから高密度なメトリック3Dポイントマップ（ $P_t$ ）を再構成します。RANSACを用いてローカルな接地平面を適合させ、ロボットの座標系に合わせるためにポイントを回転させます。
可視性を考慮したESDF構築: レベル化されたポイントマップを鳥瞰図（BEV）ドメインに投影します。レイトレーシングを用いて、既知の自由空間（ $X_{free}$ ）、占有空間（ $X_{occ}$ ）、および未観測空間（ $X_{unk}$ ）を区別します。ユークリッド符号付き距離関数（ESDF）が計算され、正の値は安全なクリアランスを示し、負の値は障害物または未知の領域を示します。
マルチモーダル・ゴール・アンカリング:
- オブジェクト・ゴール: Florence-2がオブジェクトを検出し、バウンディングボックスを生成します。これらは接地平面上に投影され、テキストおよび画像領域のゴールと整合させた空間ウェイポイント（ $g_{wp}$ ）を作成します。
- 自由空間ゴール: 任意の通行可能な場所に対する監督を提供するために、観測された自由空間から補助的なウェイポイントをサンプリングします。
軌道生成: Model Predictive Path Integral (MPPI) プランナーが、ゴールに向かう障害物回避ウェイポイント軌道を生成します。プランナーは、ESDFを用いて、ゴール到達、衝突回避、クリアランス、制御努力量、および滑らかさを最適化します。ゴールに到達不可能な場合は、最善の部分的な軌道が選択されます。

2. モデルアーキテクチャと学習

VEGAは、局所的な2Dウェイポイントチャンクを予測するフローマッチングVLAを学習します。

アーキテクチャ: $\pi_0.5$ VLAアーキテクチャに基づいており、事前学習済みの視覚言語バックボーンと、フローマッチング・アクションエキスパートを組み合わせています。特定のエンコーダを介して、テキスト、画像、およびウェイポイントのゴールをサポートします。
学習目的: モデルは、ノイズサンプルをターゲットの軌道へと変換するベクトル場を予測することを学習します。単一の決定論的な出力を予測する手法とは異なり、フローマッチングにより、ポリシーはマルチモーダルなアクション分布をモデリングすることができ、同一の観測・ゴールのペアに対して複数の異なる経路が実行可能であるという事実を捉えることができます。
推論: デプロイ時、ポリシーはRGB観測とゴール指定のみを必要とします。幾何学的な推論は学習中にポリシーの重みへと蒸留されているため、オンラインの深度センサ、LiDAR、または明示的な幾図マップを必要としません。

主な貢献

幾何学的に監督されたVLA学習: 手動のアクションラベルやロボットのデモンストレーションなしに、野生的なアクションフリーの一人称視点ビデオから、障害物回避ナビゲーションの挙動を蒸留するパラダイム。
大規模マルチモーダル軌道データセット: テキスト、画像領域、および空間ウェイポイントのアノテーションと整合した、約500万個のゴール条件付き軌道を含む構築済みデータセット。これには再構成された3DポイントクラウドとESDFが伴います。
VEGA-Bench: ゴールの進行、衝突率、および障害物クリアランスを厳密に評価するために設計された、25万のシーンと500万のマルチモーダルターゲットからなる新しい評価スイート。
実世界での検証: 本アプローチの物理ロボットへの転移可能性を示す経験的証拠。

結果と評価

著者らは、VEGA-Benchおよび実世界での試行において、最新のベースライン（OmniVLA、NaVILA、および $\pi_0.5$ ）に対してVEGAを評価しました。

VEGA-Benchの性能: VEGAはベースラインと同等のゴール進行度を達成しましたが、衝突率を大幅に減少させ、障害物クリアランスを向上させました。具体的には、最強のベースラインと比較して、衝突を**33.0%減少させ、障害物クリアランスを17.9%**向上させました。
実世界ロボット試行: 静的および動的な障害物がある混雑した環境において、四足歩行ロボットに展開されたVEGAは、大幅な改善を示しました。
- 成功率: 少なくとも**150.0%**向上。
- 衝突回避: 衝突を少なくとも**66.7%**減少。
- 障害物クリアランス: 少なくとも**60.0%**向上。
ゴール接地: 定性的および定量的な分析により、VEGAが特定のゴール（テキスト、画像、またはウェイポイント）に正常に条件付けられていることが示されました。これにより、ポリシーがゴールに関わらず同様の経路を生成してしまうベースラインに見られる「モード崩壊」を回避しています。

意義と主張

本論文は、ビデオ由来の幾何学的監督が、障害物回避型のナビゲーションVLAを学習するための、スケーラブルかつ効果的な信号を提供すると主張しています。豊富な一人称視点ビデオを活用し、幾何学を学習時の教師としてのみ使用することで、VEGAはVLAのセマンティックな推論能力と、古典的なプランニングの幾何学的な安全性要件との間のギャップを埋めます。このアプローチは、高価で大規模なロボットデータ収集の必要性を排除しつつ、複雑で混雑した現実世界の環境に汎化できるポリシーを可能にします。

限界と今後の課題

著者らは、主に2つの制限事項を認めています。

無記憶性: 現在のポリシーは無記憶であり、現在のRGB観測とゴールのみに依存しています。これは、ゴールや障害物がカメラの視野から外れた場合に脆弱になる可能性があります。将来的には、時間的アテンションや潜在メモリを組み込むことが検討されます。
静的幾何学の仮定: ローカルなESDF監督は、動的な障害物の動きを明示的にモデル化していません。リプランニングによって新たに観測された障害物には対応できますが、プランナーは移動するオブジェクトの将来の動きを予測しません。将来のイテレーションでは、軌道予測や時間インデックス付きの距離関数を統合できる可能性があります。