技術要約：GroundControl – 軌跡の一貫性に基づく不確実性推定による、Vision-Language Agentにおけるナビゲーション失敗の予測

1. 問題提起

Vision-Language Navigation (VLN) エージェントは、言語理解と視覚的グラウンディングを組み合わせることで、ベンチマークにおいて競争力のある性能を達成してきた。しかし、ベンチマークの成功指標（例：Success Rate, Success weighted by Path Length または SPL）は、エピソードが終了した後にのみ評価される。これらは、失敗のダイナミクスが進行中に展開していく様子を検知するメカニズムを提供できていない。

実際、ナビゲーションの失敗は、以下のような特徴的な軌跡レベルの崩壊を通じて、徐々に顕在化することが多い：

• 振動 (Oscillation): 矛盾するアクションの間で、繰り返し行ったり来たりすること。
• 停滞 (Stagnation): 幾何学的な進展がないまま、ディストラクター（妨害要素）の付近で足踏みすること。
• 非効率な回り道 (Inefficient Detours): 目標までの距離減少に比例しない、パス長の蓄積。

既存の不確実性のプロキシ（例：アクション分布に対する予測エントロピー、トークンレベルの確信度）は、瞬間的な決定における曖昧さは捉えるが、結果として得られる軌跡が目標に向かう幾何学的な進展と一致し続けているかどうかまでは反映しない。エージェントは、一連のアクションを実行している間、ステップごとの確信度を高く維持しながらも、結果として失敗につながる挙動を示す可能性がある。本論文は、エンボディド・ナビゲーションにおける不確実性は、目標指向のダイナミクスに対する軌跡レベルの一貫性を反映すべきであると断じている。

2. 手法

A. GroundControl: 軌跡一貫性不確実性推定器

GroundControlは、目標までの距離信号 ($d_t$) の進化を確率的な動的プロセスとしてモデル化する、解釈可能な推定器である。これは、成功するナビゲーションは局所的に一貫した幾何学的進展を示す一方で、失敗モードは統計的に検出可能な不整合を生み出すという仮定に基づいている。

1. 定速カルマンフィルタ (Constant-Velocity Kalman Filter: KF):
GroundControlの中核は、距離信号を状態ベクトル $x_t = [d_t, \dot{d}_t]^\top$ （ここで $\dot{d}_t$ は瞬時変化率）を用いて動的信号としてモデル化することである。

• ダイナミクス: $x_{t+1} = Fx_t + w_t$ （定速仮定を用いた線形ガウス・ダイナミクス）。
• 観測: $d_t = Hx_t + v_t$。
• イノベーション (Innovation): フィルタは、観測された距離と予測された距離の乖離を表すイノベーション $\nu_t = d_t - H\hat{x}_{t|t-1}$ を計算する。
• 統計的テスト: 正規化されたイノベーションの二乗 ($\nu_t^2 / S_t$) は、正常条件下では $\chi^2$ 分布に従う。持続的に大きな値は、期待される目標指向の動きからの著しい逸脱を示唆する。

2. ステップごとの不確実性スコア ($H_t$):
GroundControlは、軌跡の不整合を示す3つの補完的な指標を、ステップごとのスコアへと集約する：
$$H_t \triangleq \lambda_1 \log \det(\Sigma_{t|t} + \epsilon I) + \lambda_2 H(\alpha_t) + \lambda_3 \frac{\nu_t^2}{S_t}$$

• 事後信念の分散 (Posterior Belief Dispersion): $\log \det(\Sigma_{t|t})$ は、フィルタによる状態推定の不確実性を測定する。
• アクションレベルの不安定性 (Action-Level Instability): $H(\alpha_t)$ は、実行されたアクションに対するポリシーの確信度のベルヌーイ・エントロピーである。
• 統計的偏差 (Statistical Deviation): 正規化されたイノベーションの二乗項。

3. エピソードレベルの不確実性スコア ($U_i$):
エピソードに対して単一のスコアを得るために、GroundControlは、ピーク時の動的不整合と4つのグローバルな軌跡特徴量を融合させる：

• ピーク動的不整合 (Peak Dynamical Inconsistency): $\tilde{s}_{skf}^i = \sigma(\max_t H_t)$ は、短期的だが重大な逸脱を捉える。
• 正規化された進捗 (Normalized Progress: $f_{prog}$): 目標までの距離の純減分が不十分であることを測定する。
• 単調性 (Monotonicity: $f_{mono}$): 頻繁な距離の増加（非単調な進化）に対してペナルティを与える。
• 経路効率 (Path Efficiency: $f_{eff}$): 累積移動量に対する非効率な回り道を検知する。
• 振動挙動 (Oscillatory Behavior: $f_{osc}$): 繰り返されるアクションの反転を捉える。

最終的なスコアは、固定された線形結合によって算出される：
$$U_i \triangleq w_{skf}\tilde{s}_{skf}^i + w_{prog}f_{prog}^i + w_{mono}f_{mono}^i + w_{eff}f_{eff}^i + w_{osc}f_{osc}^i$$
$U_i$ の値が低いほど、高い確信度（一貫した軌跡）であることを示す。

B. 評価プロトコル: 選択的リスク・カバレッジ・ナビゲーション (SRCN)

不確実性の質をタスクの成功そのものから独立して評価するために、著者らは選択的リスク・カバレッジ・ナビゲーション (Selective Risk–Coverage Navigation: SRCN) を定式化している。このプロトコルは、不確実性スコアがどれほど効果的にエピソードを失敗または非効率性によってランク付けできるかを測定する。

• メカニズム: エピソードは不確実性 $U_i$ の昇順にソートされる。閾値 $\tau$ が増加するにつれ、高不確実性のエピソードが段階的に除外（棄権）され、保持されたサブセットに対して性能が評価される。
• 指標:
  • 選択的リスク (Selective Risk): 保持されたエピソードにおける経験的な失敗率（または非効率率）。
  • リスク・カバレッジ曲線 (Risk–Coverage Curve): リスクを保持されたエピソードの割合（カバレッジ）に対してプロットしたもの。
  • AURC (Area Under the Risk-Coverage Curve): トレードオフを要約する指標。値が低いほど優れている。
  • E-AURC (Excess AURC): オラクル下限（真の損失によるソート）に対して正規化されたもの。$E\text{-}AURC = 0$ は完璧な順序付けを意味する。
• 損失の定義:
  • 成功ベース: $\ell_i = 1 - \text{Success}_i$。
  • SPLベース: $\ell_i = 1 - \text{SPL}_i$ （非効率な成功軌跡に対してペナルティを与える）。

3. 主な貢献

1. 軌跡の一貫性の定式化: 本論文は、VLNにおける不確実性推定の基礎として、瞬間的なアクションのエントロピーを超えた、目標への距離ダイナミクスの軌跡レベルの一貫性を確立した。
2. GroundControl フレームワーク: カルマンフィルタと軌跡記述子を用いて、標準的な目標指向の動きからの統計的に有意な逸脱を検知する、軽量で解釈可能な推定器を導入した。
3. SRCN プロトコル: 不確実性推定器のランキング品質を、基礎となるナビゲーション・ポリシーを変更することなく分離して評価できる、新しい評価フレームワークを提案した。これにより、異種混合の不確実性推定器間の公平な比較が可能になる。
4. 実証的検証: 3つのLLMバックボーン（GPT-4o, GPT-5-mini, Gemini-1.5-Flash）および300のエピソードを含む5つのEB-Navigationスプリットを用いて、エントロピー、コンフォーマル、およびヒューリスティックなベースラインを上回る性能を示すことを実証した。

4. 実験結果

手法は、3つのLLMバックボーン（GPT-4o, GPT-5-mini, Gemini-1.5-Flash）を用いた計300エピソードの5つのEB-Navigationスプリット（Base, Common Sense, Complex Instructions, Visual Appearance, Long Horizon）で評価された。

• 成功ベースのランキング (SRCN):

  • GroundControlは、成功ベースの選択的リスクにおいてオラクルに近い順序付けを達成した。
  • GPT-4oモデルにおいて、加重平均 E-AURC$_{SR}$ = 0.0024 を記録し、エントロピー、コンフォーマル、およびヒューリスティックなベースラインを大幅に上回った。
  • この優位性は、Long Horizon タスク（成功率が約16.7%まで低下するタスク）において最も顕著であった。このタスクでは、エントロピーやコンフォーマルな信号はランダムな順序付けに近い状態であったが、GroundControlはオラクルに近い状態を維持した。これは、深い時間的ホライゾンにおける失敗を検知するためには、幾何学的な進展のダイナミクスが支配的な信号であることを示唆している。

• SPLベースのランキング:

  • ナビゲーションの効率性（非効率性）を評価する際、すべてのモデルとスプリットにおいて、GroundControlは一貫して最も低いAURCおよびE-AURCを達成した。
  • 本手法は、終末的な失敗が発生する前に、非効率なパス（例：徘徊、振動）につながる軌跡を特定することに成功した。

• 診断分析:

  • 分布の分離 (Distributional Separation): GroundControlは、失敗する軌跡に対して不確実性スコアの明確な上昇を生じさせ、成功する軌跡との重なりが限定的であった。これに対し、ベースラインは大幅な重なりを示した。
  • リスク・カバレッジ曲線: 本手法はオラクル境界を密接に追跡し、高いカバレッジレベルにおいても低い失敗率を維持した。
  • 相関: 不確実性スコアとエピソードの効率性（SPL）との間に強い負の相関が観察され、推定器が実行品質の劣化を捉えていることが示された。

5. 意義と主張

本論文は、軌跡一貫性不確実性が、瞬間的な決定の曖昧さよりも、ナビゲーションの失敗を予測するための優れた信号であることを主張している。目標までの距離のダイナミクスからの逸脱をモデル化することで（定速カルマンフィルタを使用）、GroundControlは以下の特性を持つ、解釈可能で堅牢な信号を提供する：

• 失敗モード（振動、停滞、逸脱）を進行中に検知する。
• 実行時のイントロスペクション（内省）を可能にし、破滅的な失敗が発生する前に、能動的なリカバリや停止を可能にする可能性がある。
• 誤差が累積する困難なロングホライズン・シナリオを含む、異なるVLMバックボーンやナビゲーション・スプリットに対して汎用性を持つ。

著者らは、このアプローチが不確実性のランキングの質を基礎となるポリシーから分離していることを強調しており、幾何学的な観測量（目標までの距離の進化）が、信頼性の高いエンボディド・エージェントの展開のためのモデルに依存しない基盤を提供することを証明している。