InFeR: Informed Failure Resilience in Learned Visual Navigation Control

技術的概要：InFeR – 学習型視覚ナビゲーション制御における情報に基づく失敗耐性

問題定義
模倣学習（IL）は視覚ナビゲーションにおいて大きな成功を収めていますが、トレーニングデータへの依存という本質的な限界に直面しています。成功したデモンストレーションでトレーニングされた方策は、分布外（OOD）のシナリオ（例：センサー故障、動的障害物、または通行不能な経路）に遭遇すると、予測不能に失敗することがよくあります。失敗処理に関する既存のアプローチには、主に 2 つの限界があります。第一に、検出のみに焦点を当て、自律的な回復ではなく人間の介入をトリガーしてしまう点です。第二に、方策の内部表現にアクセスできない外部検出器に依存することが多く、真の失敗モードを捉えたり、回復のための実行可能な洞察を提供したりできない点です。本論文は、真の失敗耐性には、単に失敗を検出するだけでなく、その原因を自律的に認識し、追加の失敗または回復デモンストレーションなしでそれらから回復することが必要であると主張しています。

手法：InFeR フレームワーク
InFeR は、成功したデモンストレーションの単一の静的データセットのみを使用して、標準的な IL 方策に「情報に基づく失敗耐性」を付与するように設計された汎用フレームワークです。これは主に 2 つのフェーズで動作します。

1. OOD 認識型方策トレーニング（$\pi_{IL-OOD}$）:

   • 変分情報ボトルネック（VIB）: 核心的な革新は、IL 方策を VIB 損失で再トレーニングすることです。これにより、視覚エンコーダと行動デコーダの間の潜在空間が正則化されます。目的は、入力観測を圧縮しつつ、行動予測に不可欠な情報の保持を最大化することです。
   • 潜在空間の構造化: 潜在表現を事前分布（単位ガウス分布）に近づけるように強制することで、エンコードされた潜在特徴と事前分布との間の KL 発散をスカラーの OOD スコアとして機能させます。高い発散は OOD 入力を示します。
   • コンフォーマル予測（CP）: 時間変化するダイナミクスに対処し、恣意的な閾値設定を回避するため、InFeR は軌道の較正セットに対して機能的なコンフォーマル予測を適用します。これにより、KL スコアに対する時間変化する上限が生成され、二値 OOD 検出（$b_t$）のための統計的に原理的な方法が提供されます。
   • 認識のための Grad-CAM: 失敗の原因を特定するために、InFeR は KL ベースの OOD スコアの勾配を用いて視覚エンコーダの機能マップに Grad-CAM を適用します。これにより、OOD 検出に責任がある画像領域を局所化するヒートマップ（$M_t$）が生成されます。

2. ヒューリスティック回復方策（$\pi_{Rec}$）:

   • 失敗および回復データが存在しないため、InFeR は OOD 認識ヒートマップによって導かれるヒューリスティックな回復方策を採用します。
   • この方策は、後退、左回転、右回転、または助けを求めるという離散的なマクロ行動のセットから選択します。
   • 意思決定ロジック: ヒートマップは水平方向のビンに離散化されます。左または右のビンで OOD 特徴が検出された場合、ロボットはそれらから離れるように回転します。ロボットがブロックされている場合、または OOD 領域が中央にある場合は、後退します（過去の一連の行動のキャッシュを逆再生します）。回復試行が最大試行回数（$t_{max}$）後に失敗した場合、ロボットは停止し、人間の支援を要求します。

主要な貢献

• 情報に基づく失敗耐性: 本論文は、単純な失敗検出を超えて、原因認識と自律的回復を含み、方策の内部潜在表現に基づいたフレームワークを定義し実装しました。
• データ効率の高いトレーニング: InFeR は、追加の失敗または回復デモンストレーションを必要とせず、元の成功デモンストレーションデータセットのみに依存して、OOD 認識と回復能力を達成します。
• アーキテクチャ非依存性: このフレームワークは汎用的に設計されており、コア構造を変更することなく、異なる IL 方策アーキテクチャ（例：CNN ベースの画像ゴール方策や再帰的経路追従方策）を拡張可能です。
• 検出と認識の統合: 外部検出器とは異なり、InFeR は検出と認識の両方を方策に直接埋め込み、潜在空間を利用して分布内入力と OOD 入力を区別し、異常を引き起こす特定の視覚特徴を局所化します。

実験結果
著者らは、Boston Dynamics Spot ロボットを用いて、屋内および屋外のリアルワールド環境で InFeR を評価し、4 つの失敗タイプ（センサー故障、通行不能な経路（行き止まりと局所最小値）、至近距離の動的障害物、および非現実的な画像ゴール）に対してテストしました。

• 検出および認識性能: InFeR は、OOD 検出および認識の両方において、密度ベースの手法、ワンクラス識別器、再構成ベースのオートエンコーダを含む最先端のベースラインを上回りました。潜在ベクトルに対する KL スコアと Grad-CAM の使用は、高次元画像に対する再構成誤差指標よりも著しく効果的で、ノイズが少ないことが証明されました。
• 回復成功率: InFeR 対応の方策は、多様な失敗を検出し、回復することに成功しました。例えば、DECISION 方策に基づく InFeR-DEC は、複雑な地形を含む 300m のルートを自律的に完了し、局所最小値や動的障害物から回復しました。
• 認識の重要性: ヒートマップを無視し、ランダムな修正行動を選択する「盲目」変種との比較により、情報に基づく回復が特に動的なシナリオにおいて、はるかに効率的かつ効果的であることが示されました。InFeR-DEC は、盲目変種に比べて最大 2 倍速く回復しました。
• 汎用性: このフレームワークは、GNM と DECISION という 2 つの異なる方策アーキテクチャ全体で一貫した性能を示し、異なる視覚ナビゲーションパラダイムへの適用性を検証しました。

重要性
本論文は、InFeR が模倣学習を用いた安全で堅牢な視覚ナビゲーションに向けた重要な一歩を表すと主張しています。外部監督や追加のトレーニングデータなしで、方策が自律的に失敗を検出、認識、回復することを可能にすることで、InFeR はオープンワールドの非構造化環境における学習型ナビゲーションシステムの展開における重要なギャップを埋めます。著者らは、このアプローチにより、従来の IL 方策が予測不能に失敗してしまうような複雑なシナリオにおける長距離ナビゲーションを、学習されたコントローラが処理可能になると述べています。