ENCP: Episode-Normalized Conformal Prediction for Vision-and-Language Navigation

技術要約：Vision-and-Language Navigationのためのエピソード正規化共形予測（ENCP）

1. 問題提起

Vision-and-Language Navigation（VLN）は、自然言語の指示に従って物理環境をナビゲートするエンボディド・エージェントを可能にする。これらのエージェントを安全にデプロイする際の重要な課題は、不確実性の推定である。逐次的なナビゲーションは誤差が累積しやすい。一つの誤った行動がエージェントの状態とそれに続く観測を変化させ、タスクの失敗や物理的な衝突につながる可能性がある。

現代のVLVLポリシーは高い成功率を達成しているが、標準的な信頼度指標（例：ソフトマックス確率）は、特にデプロイ環境が訓練データと異なる場合、キャリブレーション（較正）が不十分で過剰に自信満々（overconfident）になることが多い。既存の自己監視メカニズムは、形式的な保証ではなく、経験的なヒューリスティックに依存している。

**共形予測（Conformal Prediction; CP）**は、保証された被覆率（すなわち、予測セットの中に真の行動が確率 $1-\alpha$ で含まれること）を持つ予測セットを生成するための統計的枠組みを提供する。しかし、標準的なCPは交換可能なデータポイントを前提としている。VLNにおいては、以下の理由によりこの仮定が成立しない：

1. ステップ間の依存性： 単一のエピソード内の行動は、共有された履歴や将来の観測への因果的影響により、統計的に依存している。
2. 可変長のエピソード： エピソードの長さはそれぞれ異なる。
3. ステップ集約型キャリブレーションの失敗： 個々のステップを（エピソード間でプールして）適用する標準的なCPでは、ルートの「すべての」ステップにおいて正しい行動が含まれるという保証を提供できない。これは、実際の誤差率が目標リスクレベル $\alpha$ を上回る、アンダーカバレッジ（被覆不足）の状態を招く。

2. 手法：エピソード正規化共形予測（ENCP）

著者らは、元のナビゲーション・ポリシーを変更することなく、事後学習フレームワークとしてENCPを提案している。ENCPは、キャリブレーションの単位を個々のステップから完全なエピソードへとシフトすることで、依存性と可変長の問題に対処する。

コアメカニズム：

1. エピソードレベルのキャリブレーション： 個々のステップのプールに対してキャリブレーションを行うのではなく、ENCPは単一のエピソード内のすべてのステップの非適合度スコアを、単一のスカラー値へと集約する。具体的には、エピソード全体における最大の正規化非適合度スコアを計算する。この単一の値は、その軌跡における「ワーストケース」の偏差を表す。
2. 信頼度調整によるスコア正規化： ポリシーの信頼度の変動を扱うため、ENCPはベースとなる非適合度スコア ($s_{base}$) を、ポリシーの残差信頼度によって再スケールする。
   • パラメータフリー・バリアント： 固定の重み $w(x_t) = 1 - p_{max}(x_t)$ を使用する（ここで $p_{max}$ はポリシーによって割り当てられた最高確率）。正規化されたスコアは以下の通りである：
     $$s_{norm}(x_t, a) = \frac{s_{base}(x_t, a)}{1 + (1 - p_{max}(x_t))} = \frac{s_{base}(x_t, a)}{2 - p_{max}(x_t)}$$
   • 学習ベース・バリアント： エントロピー、確率ギャップ、ステップインデックスなどの特徴量に基づき、ポリシーが自信を持っているが誤っているステップを特定するように訓練されたニューラルネットワークを使用して、重みを予測する。
3. 予測セットの生成：
   • 共形閾値 $\hat{q}(\alpha)$ は、キャリブレーションセットにおけるエピソードレベルの最大スコアの分布から算出される。
   • テスト時、各ステップ $t$ において、予測セット $C_\alpha(x_t)$ は、$s_{norm}(x_t, a) \le \hat{q}(\alpha)$ を満たすすべての行動 $a$ を含む。
   • 行動または質問ルール（Act-or-Ask Rule）： もし予測セットのサイズ $|C_\alpha(x_t)|$ がユーザー定義の予算 $\tau$ を超える場合、エージェントは人間の助けを求める（あるいはシミュレータに委ねる）。そうでなければ、自律的に進行する。

理論的保証：
キャリブレーション・エピソードとテスト・エピソードが交換可能である（例：同じ分布から抽出されている）という仮定の下で、ENCPはテスト・エピソードのすべてのステップにおいて、少なくとも確率 $1-\alpha$ で真の行動が予測セットに含まれることを保証する。これは、ステップごとの被覆よりも強力な**同時軌跡被覆（simultaneous trajectory coverage）**を提供する。

3. 主な貢献

1. 標準的なCPの失敗の特定： 本論文は、VLNにおけるステップ間の依存性のために、標準的なステップ集約型CPが被覆保証を満たせないことを示し、しばしば深刻なアンダーカバレッジを引き起こすことを実証した。
2. ENCPの開発： 著者らは、スコアをポリシーの信頼度で再スケールし、最大演算子を用いて集約するエピソードレベルのキャリブレーション手法を導入した。この構成により、全軌跡にわたる同時被覆が確保される。
3. 実証的検証： 本手法は、2つのデータセット（R2RおよびREVERIE）において4つのVLNポリシー（DUET, HAMT, R-prev, R-osc）に対して評価された。研究には以下が含まれる：
   • Seen-to-Unseen分割におけるステップ被覆ターゲットの検証。
   • パラメータフリーの重み付けスキームと学習ベースのスキームの比較。
   • 予測セットのサイズによって介入をトリガーする、ヘルプシーキング（助けを求める）シミュレーションのデモンストレーション。

4. 結果

• 被覆ターゲット： R2RおよびREVERIEのval-unseen分割におけるすべてのテストされたポリシーおよび非適合度スコア（THR, APS, RAPS）において、ENCPは交換可能な分割条件下で、経験的なステップ被覆ターゲット（例：$\alpha=0.10$ に対して $\ge 90\%$ の被覆）を正常に達成した。対照的に、標準的なスプリットCPは一貫してアンダーカバレッジとなった。
• 分布シフト： 本論文は、ENCPが交換可能な分割下ではターゲットを満たすものの、「seen-to-unseen」設定（キャリブレーションは既知の建物で行い、テストは未知の建物で行う設定）では被覆率が低下することを明記している。このシナリオでは、エピソードの交換可能性は仮定されておらず、形式的な被覆保証は厳密には成立しないが、ENCPは依然として標準的なCPを上回る性能を示した。
• 重み付けのバリアント： パラメータフリーの重み付けスキーム（$1-p_{max}$ を使用）は、学習ベースのバリアントと同等の被覆率を達成したが、より小さな予測セットをもたらし、追加のモデル適合を必要としなかった。
• ヘルプシーキングの有用性： 予測セットのサイズが閾値 $\tau$ を超えたときにエージェントがグラウンドトゥルースの「オラクル」に委ねるシミュレーションにおいて、成功率が大幅に向上した。例えば、DUETモデルにおいて、より多くのクエリをトリガーするように閾値を下げると、成功率は71.2%（助けなし）から98.8%（非シングルトン集合ごとにクエリを実行）へと上昇した（ただし、クエリの発生率も高まった）。

5. 意義と主張

本論文は、ENCPが、依存性があり可変長の軌跡に対して形式的な有限サンプル被覆保証を提供する、VLNにおける不確実性定量化のための**モデルに依存しない（model-agnostic）**手法であることを主張している。

• 安全性と信頼性： 統計的に妥当な予測セットを提供することで、ENCPはエージェントが誤差が蓄積する前に信頼できないステップを特定し、人間の支援を求めることを可能にし、自律ナビゲーションにおける決定的な安全性のギャップに対処する。
• 実用的なデプロイ： 予測セットのサイズは、介入のための実用的な信号として機能する。著者らは、これにより自律性と安全性のトレードオフを調整可能になり、エージェントが「自分が何を知らないかを知る」ことを可能にすると主張している。
• 限界： 著者らは、クローズドループの評価が人間による操作ではなくシミュレートされたオラクルに依存していることを謙虚に述べている。さらに、本手法は有限のアクション空間を前提としており、被覆保証はエピソード分布に対する周辺的なものであるため、（観察されたseen-to-unseen設定での被覆率の低下が示すように）再キャリブレーションなしでは、重大な分布シフト（例：未知の建物）の下で完全に成立しない可能性がある。

要約すると、ENCPは理論的な不確実性の保証と、VLNの実際的な逐次的性質との間の溝を埋め、安全なエージェントのデプロイのための堅牢なメカニズムを提供するものである。