技術的概要：信頼度ゲート型ロボット自律性

1. 問題定式化

ロボットシステムはしばしば信頼度ゲート型自律性に依存しており、ここで知覚モデルは行動または活動ラベルを予測し、関連する不確実性スコアが、ロボットが自律的に実行するかフォールバック方針に委ねるかを決定する。このメカニズムは、選択的予測に固有のリスクとカバレッジのトレードオフを形式化する。

扱われる核心的な問題は、この特定の文脈における予測的不確実性の評価である。期待較正誤差（ECE）や受信者動作特性曲線下面積（AUROC）といった標準的な指標は、確率的な較正またはグローバルなランキングを評価するが、不確実性スコアが実質的に異なる実行/委譲決定を誘発するかどうかを直接測定するものではない。著者らは、不確実性の主な役割が較正された確率の提供ではなく、実行のゲート役である場合、特にモデルの能力と分布シフトの条件下において、不確実性をどのように評価すべきかを問うている。

2. 手法

評価フレームワーク

著者らは、不確実性を確率的な量ではなく決定変数として扱う決定中心の評価プロトコルを提案する。このフレームワークは、以下の 3 つの主要な構成要素に依存する：

1. スピアマン順位相関係数（$\rho$）： 不確実性スコアと二値誤差インジケータとの相関を測定する。これは、より高い不確実性が誤った予測に一貫して割り当てられるかどうかを評価するものであり、効果的なゲート役のための基本的な要件である。
2. ペアドブートストラップ同等性検定： 実用的に意味のあるかどうかを判断するために、ノンパラメトリックなリサンプリング（$B=1000$）を用いて、異なる不確実性推定量間の差異を評価する。実用的な同等性を定義するために、$\delta = 0.01$という保守的なマージンが用いられる。
3. 実行/委譲の合意： 閾値がスコアの生値ではなくカバレッジによって一致させられた場合、異なる推定量間で自律実行のために選択されたサンプルの集合を比較する。

実験設定

• ベンチマーク： 異なる精度レジームを持つ 3 つの時系列活動認識データセット：
  • EGO4D： 自己中心視点の行動認識（7 クラス、約 63.5% の精度）。
  • iAssist： IMU/視線からの補助的活動認識（8 クラス、約 96.5% の精度）。
  • GTEA： 視線プラス活動認識（20 クラス、約 46% の精度）。
• 不確実性推定量： 7 つの方法が評価された：
  • ソフトマックス由来のヒューリスティック（エントロピー、マージン、バリエーション比、最小信頼度）。
  • MC ドロップアウト（$T=30$回のパスからの予測エントロピー、認識論的分散）。
  • ディープアンサンブル（3 メンバーのエントロピー）。
• ロバストネスプロトコル：
  • 能力分析： 不確実性が決定に有用となる精度閾値を特定するために、モデルをトレーニングデータのサブセット（5%–70%）でトレーニングした。
  • 時系列共変量シフト： テストセットを、フレームドロップアウト、ガウシアンノイズ、および 5 つの重大度レベルでの時間的ジッターによって汚染した。
  • 意味的 OOD 検出： 保持されたクラス（ランダムおよび稀）を用いて評価し、微細な新規性検出をテストした。
• 具現化シミュレーション： 最小限の PyBullet シミュレーションが、7 つの活動クラスを 3 つのナビゲーションプリミティブ（左、直進、右）にマッピングした。異なる自律レベルと推定量の選択の下での衝突率と総コストを測定した。

3. 主要な結果

能力レジーム

不確実性は、ベースモデルがデータセット依存の能力レジームに入った後にのみ、信頼できる誤りランキングを提供する。

• 特定の精度閾値（例えば、GTEA では約 33%、EGO4D では約 58%、iAssist では約 70%）以下では、不確実性スコアは弱く不安定なランキングをもたらし、トレーニングシード間で高い変動を示す。
• このレジーム以上では、不確実性スコアは誤りを一貫してランク付けし、効果的なゲート役を可能にする。

推定量の同等性

モデルが能力を持つようになると、不確実性推定量の選択は実行結果にほとんど影響を与えない：

• 類似したゲート挙動： ソフトマックスヒューリスティック、MC ドロップアウト、アンサンブルは、ほぼ同一のスピアマン $\rho$ 値と実行/委譲の合意（>97–99%）を生み出す。
• 閾値の支配性： 実行閾値（$\tau$）の選択は、推定量の選択よりも結果に著しく大きな影響を与える。例えば、EGO4D においてトップ 10% の最も信頼できる予測に実行を制限することで実行誤差が 46% 減少したのに対し、ソフトマックスエントロピーからマージンに切り替えても精度の変化は 0.5% 未満であった。
• 具現化検証： ナビゲーションシミュレーションにおいて、実現された自律性が一致した場合、異なる推定量は統計的に区別できない衝突率とコストをもたらした。

シフトへのロバストネス

• 時系列共変量シフト： 時間的汚染（例えば、フレームドロップアウト）の下では、ランキングの質（$\rho$）は安定しており、ゲート役は実行誤差を効果的に低減した（例えば、EGO4D で 3.4 倍の減少）。システムは優雅な劣化を示した。
• 意味的 OOD 検出： 対照的に、微細な意味的分布外（OOD）検出は偶然に近い状態にとどまった（AUROC $\approx$ 0.35–0.49）。モデルは、しばしば保持されたクラスにおいて分布内クラスよりも高い自信を示した。これは、見えないクラスが見えるクラスと特徴を共有する際に、ソフトマックスベースの検出が陥る既知の失敗モードである。

4. 貢献

本論文は、以下の貢献を主張する：

1. 決定中心プロトコル： 標準的な較正指標を超えて、順位相関、ブートストラップ同等性検定、および実行/委譲の合意に基づく評価フレームワークの導入。
2. 能力レジームの特定： 不確実性が特定のデータセット依存の精度閾値以上でのみ決定に有用であるという実証的証拠。
3. 推定量の相互交換性： 能力レジームにおいて、軽量なソフトマックスヒューリスティックが、計算コストの高い手法（MC ドロップアウト、アンサンブル）と閾値ゲート型自律性において実質的に同等であることを示す。
4. 閾値対推定量： 実行結果の主要な駆動力は不確実性推定量の選択ではなく、閾値の選択であることを示す証拠。
5. シフトの非対称性： 不確実性プロキシは時系列共変量シフトには十分であるが、微細な意味的新規性検出には失敗することを明確化する。

5. 意義と含意

本論文は、ロボット自律性の展開と評価のあり方の変化を主張する。主な含意は、タスクレベルの能力が確立されて初めて、不確実性ゲートが有効になるということである。モデルが能力を持つようになれば、実務家は複雑な不確実性推定手法に投資するのではなく、アプリケーション固有のコスト比率（誤りと委譲のコストのバランス）に基づいて閾値のチューニングを優先すべきである。

著者らは、以下の実用的な展開順序を提案する：

1. タスクレベルの能力を確立する。
2. 望ましいリスクとカバレッジのトレードオフのために実行閾値をチューニングする。
3. 時系列共変量シフトの処理のために、単純な不確実性プロキシ（例えば、ソフトマックスエントロピー）を展開する。
4. 意味的新規性が予想される場合は、標準的な不確実性スコアはこのタスクには不十分であるため、専用のオープンセットメカニズムを実装する。

本研究は、具現化された結果がフォールバック方針に大きく依存し、シミュレーションは単純化された行動マッピングを使用していることを指摘し、限界を認めている。しかし、閾値ゲート型設定において、不確実性推定の「方法」は、その適用の「時期」（能力）と「場所」（閾値）よりも重要度が低いという主張に対して、結果レベルの根拠を提供している。