技術要約：VISTA – 行動履歴条件付けによるスケール認識型視覚ナビゲーション

1. 問題の定式化

視覚ナビゲーション基盤モデル（VNMs）は、多様なロボットの形態や環境に対してゼロショット展開が可能な、エンドツーエンドの学習済みポリシーを提供することを目指している。この汎用性を実現するため、現在の最先端モデル（例：ViNT、NoMaD）は、2Dウェイポイントを訓練データセットで観察された平均ウェイポイント間隔で除算した「正規化されたアクション」を予測する。

しかし、この正規化は展開時における決定的な脆弱性、すなわち**メトリックの不整合（metric misalignment）**を導入する。

• 曖昧性： 意図された物理的なステップサイズに関する明示的な知識がない場合、モデルは逐次的な画像観察のみからスケールを推論しなければならない。
• 結果： 同じ正規化された軌道を、異なるスケーリング係数（ロボットの速度や制御周波数に基づく）に適用すると、その物理的な幾何学形状が変化してしまう。これにより、物理的な軌道が誤りとなり、ナビゲーション性能の低下や衝突リスクの増加を招く。これは特に、視覚的な反復性がある環境や特徴が乏しい環境において顕著である。
• エンコーダの限界： 純粋な視覚モデルは、明示的な幾何学的理解や脆弱な特徴抽出の欠如により、特徴の乏しい環境（例：均一な廊下、雪原）において苦戦することが多い。

2. 手法：VISTA アーキテクチャ

著者らは、物理的スケールにアクション予測を接地させつつ、クロスエンボディメント（異なるロボット形態間での汎用性）の汎用性を維持するように設計された新しいアーキテクチャである VISTA（Scale-Aware Visual Navigation via Action History Conditioning）を提案する。この手法は、主に2つの方法で従来のVNMsを修正している。

A. 行動履歴条件付け（Action History Conditioning）

VISTAは、視覚的な観察（$O_t$）とゴール画像（$o_g$）のみに依存するのではなく、正規化された行動履歴（$H_t$）に基づいてポリシーを条件付けを行う。

• 定義： $H_t = \{a_{t-k+1}, \dots, a_{t-1}\}$。ここで、各 $a_i$ はステップサイズによって正規化された過去のロボット変位を表す。
• メカニズム： MLPがこの履歴をトークンへとエンコードする。$H_t$ に基づいて条件付けを行うことで、モデルは観察された視覚的な変位と物理的なステップサイズとの関係を学習する。
• 利点： これにより、ロボットの最大速度（$v_{max}$）や制御周波数（$f_{ctrl}$）の変化に対して頑健な、メトリックに整合したウェイポイントを生成することが可能になり、スケール推論の曖昧さを効果的に解決する。

B. DINOv3 視覚エンコーダ

特徴の乏しい環境におけるエンコーダの脆弱性に対処するため、VISTAは標準的なエンコーダを DINOv3（大規模なキュレート済みデータで訓練された自己教師ありVision Transformer）に置き換える。

• 能力： DINOv3は、高レベルのセマンティックな理解と微細な空間的特徴の両方を捉える、より豊かな表現を提供する。
• トークン化： 観察およびゴール画像のシーケンスは、DINOv3 (ViT-S) によってパッチトークンへと処理され、その後、特徴次元を合わせるために投影およびダウンサンプリングされる。

C. 訓練戦略

• 正規化メトリック訓練： モデルは、正規化されたウェイポイントおよび正規化されたメトリック距離を予測するように訓練される。
• 多様な間隔： 固定された周波数（例：3Hz/4Hz）で訓練される先行研究とは異なり、VISTAは2Hzから12Hzまで変化させたサンプリング周波数を持つデータセットで訓練されており、異なる速度に対する頑健性を確保している。
• 損失関数： アクション予測（正規化されたウェイポイントに対するMSE）と距離予測（ゴールへの正規化されたメトリック距離に対するMSE）を組み合わせたマルチタスク損失を用い、係数 $\lambda$ によってバランスを取る。

3. 主な貢献

1. メトリック不整合の分析： 本論文は、視覚入力のみからのスケール推論が不十分であり、展開条件の変化によって軌道のドリフトを招くという、従来のVNMsの失敗モードを特定し分析した。
2. VISTA アーキテクチャ： 物理的スケールに予測を接地させるための行動履歴条件付けと、頑健な視覚表現のための DINOv3 を統合した新しいフレームワーク。
3. ゼロショット汎用性： 環境固有のキャリブレーションやファインチューニングを行うことなく、多様な環境において堅牢なゼロショット展開を実現する。

4. 実験結果

オフライン評価（スケールの一貫性）

• 設定： 過去の観察のテンポラルな間隔を変化させることで（異なるステップサイズをシミュレート）、同じ入力に対してモデルをテストした。
• 指標： 異なる間隔の下で予測された軌跡間のクロス・トラック誤差（Cross-track error）。
• 知見： VISTAは、ベースライン（ViNT、NoMaD）と比較して、大幅に低いクロス・トラック誤差を示した。行動履歴のないVISTA（VISTA w/o AH）も良好なスケール一貫性を示したが、フル機能のVISTAモデルが最も低い予測損失を達成しており、行動履歴がスケールの一貫性を維持しながら軌道の精度を向上させることが示された。

実世界でのゼロショット展開

3つの異なる環境（屋外：開けた野原、森林：視覚的に密集した場所、オフィスラボ：視覚的に反復的な廊下と狭い角）で実験を行った。

• 成功率：
  • 屋外（Outdoor）： VISTAは100%のゴール予測精度（3/3試行）と、95%のパス・トポロジカルマップ（PTN）横断を達成した。
  • 森林（Forest）： VISTAは100%のゴール予測（5/5試行）を達成し、ゴールの誤認に苦しんだベースラインを上回った。
  • オフィスラボ（Office-Lab）： VISTAは100%の成功（5/5試行）を達成し、狭いドアフレームを通り抜け、正しいターゲットのドアを特定することに成功した。対照的に、VISTA w/o AHおよび他のベースラインは、頻繁に衝突するか、正しいドアを識別できなかった。
• ステップサイズへの頑健性： 様々な制御周波数（1–4 Hz）および速度（0.1–0.4 m/s）を用いた急旋回実験において、VISTAはほとんどの設定で成功を維持した。ViNTのようなベースラインは、ステップサイズの変更に適応できないため、低速時に一貫して失敗した。
• 摂動への頑健性： VISTAは、動的な摂動（例：トポロジカルマップでは閉まっているが実際には開いているドア）に対処し、減速および停止を行うことで成功した。また、繰り返しのループ実験においても一貫性を維持した。

5. 意義と主張

本論文は、表現の質だけでは信頼性の高いエンドツーエンドのナビゲーションには不十分であると主張している。DINOv3のような高度なエンコーダは、知覚的な曖昧さ（perceptual aliasing）を扱うために必要であるが、それらは行動履歴によって提供されるメトリック・スケールの運動コンテキストと組み合わされる必要がある。

VISTAは、正規化された行動履歴を条件付けることで、基盤モデルが以下のことを可能にすることを実証している：

1. ゼロショット展開におけるスケール推論の曖昧さを解消する。
2. 様々な制御周波数およびロボット速度に対して頑健に汎用する。
3. 未知の複雑な環境（屋外、森林、オフィス）を、高い成功率と最小限の衝突でナビゲートする。これは、視覚入力のみに依存する現在の最先端のVNMsを凌駕している。

著者らは、このアプローチが、汎用的な視覚ポリシーとロボット展開の物理的な現実との間の溝を埋め、エンボディメント固有のキャリブレーションを必要としない信頼性の高いナビゲーションを可能にすると結論付けている。