技術的概要：NaviTrace 視覚言語モデルの具象化ナビゲーション評価

問題提起

視覚言語モデル（VLM）は多様なタスクにおいて前例のない汎化能力を示してきたが、ロボティクスナビゲーションシステムへの統合は、厳格でスケーラブルな評価手法の欠如により妨げられている。既存のアプローチには、主に以下の 3 つの限界がある：

1. 実世界での試行： 物理的ロボット上でのクローズドループ展開は、高コストで時間がかかり、多様な環境間での再現性が欠如している。
2. シミュレーション： 再現性は高いものの、シミュレーターはしばしば単純化された力学、静的なシーン、限定的な意味論に依存しており、ナビゲーションに影響を与える地形特性や社会的規範といった重要な要因を捉えきれていない。
3. 既存のベンチマーク： 現在のナビゲーション用視覚質問応答（VQA）データセットは、通常、実行可能な経路計画ではなくテキスト記述への出力を制限しており、人間のナビゲーションにのみ焦点を当てて（異なる身体性の課題を無視し）、あるいは複雑な実世界シナリオに対する高品質な人間によるアノテーションを欠いている。

その結果、実世界の設定において、異なるロボット身体性（例えば、歩行式対車輪式）が要求する特定の物理的制約とナビゲーション戦略を VLM がどの程度理解しているかを評価する標準化されたフレームワークは存在しない。

手法：NaviTrace ベンチマーク

これらのギャップに対処するため、著者は身体性固有のナビゲーション性能を評価するために設計された高品質な VQA ベンチマークであるNaviTraceを導入する。

データ収集と構造

• シナリオ： データセットは、1,000 の多様な実世界画像と高品質な言語指示で構成される。画像はクラウドソーシングされた消費者向けデバイスと GrandTour データセットから収集され、都市・農村環境、様々な照明条件、気象条件を網羅している。
• 指示： タスクは目標（例：「赤い車へ行って」）または方向指示として形式化され、特に異なる身体性が異なる挙動を示すシナリオを対象としている。
• 身体性： このベンチマークは、4 つの異なる身体性タイプに対するナビゲーションを評価する：
  1. 人間： 高い障害物を登ることができない歩行者。
  2. 歩行ロボット： 人間に似ているが背が低い四足歩行ロボット。
  3. 車輪ロボット： 傾斜路や歩道を好む車椅子型の配送ロボット。
  4. 自転車： 交通規則を遵守し、階段を避ける自転車乗り。
• アノテーション： 各シナリオには、人間専門家によって生成された 2 次元ナビゲーショントレース（画像座標の系列）が含まれる。代替案が存在する場合（例、障害物を左または右に通過するなど）、複数の有効なトレースが提供される。
• タスクカテゴリ： シナリオには、幾何学的地形、意味論的地形、アクセシビリティ、視認性、社会的規範、障害物回避など、ナビゲーションに関連する属性がタグ付けされている。

意味論的意識スコアリング指標

本論文は、予測されたトレースを正解と比較して評価するための新しいスコア関数を提案する。これは以下の 3 つの要素のバランスを取る：

1. トレース類似性： 速度や長さに関係なく系列を揃えるために、ユークリッド距離を用いた**動的時間 warping（DTW）**で測定される。
2. 目標到達： 予測された終点と正解の終点との間のユークリッド距離である**最終変位誤差（FDE）**で測定される。
3. 意味論的ペナルティ： 自動意味論的セグメンテーション（Mask2Former を使用）から導出されたペナルティ項。これは、身体性固有のペナルティマップに基づき、車輪ロボットの場合の芝生や自転車の階段など、安全でない領域または無関係な領域を横断するトレースにペナルティを課す。

生スコアは 0〜100 の範囲にスケーリングされ、100 は正解の性能を、0 は「まっすぐ前」のベースライン（画像中央を通る垂直線）を表す。著者は、この指標が人間のペアワイズランキングと強く相関している（スピアマン相関約 0.87）ことを検証した。

実験設定と結果

著者は、NaviTrace テストセットに対して 8 つの最先端 VLM（Gemini 2.5 Pro、GPT-5、o3、Qwen 3 VL などを含む）を評価した。

主要な知見

1. 顕著な性能ギャップ： 人間専門家は75.04のスコアを達成したが、最高性能の VLM である Gemini 2.5 Pro は34.55であった。すべてのモデルは人間の能力と比較して著しく劣っていた。
2. 主要な失敗モードとしての目標局所化： 除去実験により、モデルに正しい目標位置を与え、経路形状のみを予測させる場合、性能は大幅に向上し（56.55）、「オラクル目標直線」ベースラインの性能に近づいたことが明らかになった。しかし、目標位置をゼロから予測させると、性能は劇的に低下した。これは、目標の局所化が支配的な課題であることを示しており、経路の形状付けも人間の性能に比べて遅れている。
3. 身体性への頑健性： 4 つの身体性タイプ（人間、歩行、車輪、自転車）間の性能差は最小限であった。これは、現在の VLM が特定のロボット形態に関する特定の盲点ではなく、空間的グラウンディングにおける一般的な限界に苦しんでいることを示唆している。
4. 推論対実行： o3 などのモデルの定性的分析は、言語的推論と空間的実行の間に乖離があることを示した。モデルはテキストにおいて正しい経路について正しく推論できたが、この推論を正確な 2 次元画像座標に変換することができなかった。
5. ベースラインの競争力： 「まっすぐ前」のベースライン（垂直線を描画する）は、驚くほどよく機能し（いくつかのカテゴリで o3 や GPT-5 に近いスコアを記録）、タスクの難しさと複雑なナビゲーション計画における現在の VLM の限界を浮き彫りにした。

意義と貢献

本論文は、主に 3 つの貢献を主張する：

1. NaviTrace ベンチマーク： 1,000 の実世界シナリオと 4 つの身体性タイプにおける身体性固有のナビゲーションに対する VLM を評価するための新規かつ高品質なベンチマーク。これは、「ポインティング」タスクを逐次ナビゲーション予測に拡張することで、高レベルの VLM 推論と低レベルのロボット制御の間のギャップを埋める。
2. 意味論的意識スコア： DTW、終点誤差、身体性条件付き意味論的ペナルティを組み合わせた、2 次元トレースを評価するための新しい計算効率的な指標。著者は、これが人間の嗜好と強く一致することを示した。
3. 包括的評価： 最先端 VLM の体系的な評価により、これらのモデルが基本的なシーン理解を有している一方で、信頼性の高い具象化ナビゲーションに必要な空間的グラウンディングと目標局所化能力を欠いていることが明らかになった。

著者は、NaviTrace を、モデル開発を支援し、現在の基盤モデルの特定の限界を明らかにし、実世界ロボティクスナビゲーションにおけるアプローチの比較の標準を確立するためのスケーラブルで再現性のあるテストベッドとして位置づけている。ベンチマークとリーダーボードは、将来の研究を促進するために一般公開されている。

限界

著者は、いくつかの限界を認めている：

• 地理的バイアス： データセットはスイスに集中しており、異なるインフラを持つ地域への一般化が制限される可能性がある。
• 静的シナリオ： ベンチマークは単一画像を使用するため、動的環境における時間的推論や多段階計画の評価ができない。
• 身体性の範囲： 地上車両に限定され、航空ドローンは含まれていない。
• スコアリングのニュアンス： 意味論的スコアは人間の嗜好と一致するが、自動セグメンテーションに依存しており、人間の嗜好のすべてのニュアンスや正確なロボットの運動学的制約を捉えきれていない可能性がある。