技術的概要：表現と学習パラダイムの転換における分布外検出の体系的分析

問題定義

深層ニューラルネットワークは頻繁に「沈黙する失敗」を発生させ、高い確信度で誤った予測を行う。分布外（OOD）検出は、信頼できる予測と信頼できない予測を区別する確信度スコアを割り当てることで、これらの失敗を検知することを目的としている。数多くの確信度スコアリング関数（CSF）が存在するが、それらの性能順位は、異なるデータセット、アーキテクチャ、学習パイプラインにおいて極めて不安定であることで知られている。本研究が取り組む中心的な問いは、「特定の検出器ファミリーが機能するのはいつであり、学習済みモデルのどの特性がその有効性を決定するか？」である。

著者らは、OOD 検出が単なるスコアリング規則間の競争であると見る見方に異議を唱える。代わりに、彼らは性能が主にアーキテクチャ、学習パラダイム、およびラベル空間の複雑性によって形成される「学習された表現の幾何学」によって支配され、その上に適用されるスコアの設計によるものではないと仮定している。

手法

1. 表現中心のベンチマーク

著者らは、4 つの主要な次元を階乗的に変化する体系的ベンチマークを提示する。

• バックボーン: CNN（VGG-13、ResNet-18）とビジョントランスフォーマー（ViT）。
• 学習パラダイム: バニラ交差エントロピー（ConfidNet）、DeVries（補間された確信度）、および Deep Gamblers（留保付きギャンブル損失）。
• ソースデータセット: CIFAR-10、CIFAR-100、SuperCIFAR-100、および TinyImageNet。
• OOD 領域: データセットは、CLIP に由来する意味的距離に基づいて、標準的な二値の近/遠グループ化を超えて、近・中・遠の領域に分類される。

2. 統計的順位付けパイプライン

順位付けの不安定性に対処するため、本論文は単一の勝者要約を、多重比較制御付き順位付けパイプラインに置き換える。

• 指標: 閾値フリー指標である AURC（リスク・カバレッジ曲線下面積）および AUGRC（一般化リスク・カバレッジ曲線下面積）。
• 手順: フリードマン検定が順位付けにおける有意な差異を特定する。Holm 補正を伴う事後検定 Conover–Holm 検定により、統計的に区別できない勝者同士のクラシック（同順位グループ）を特定する。これにより、単一の最良選択を強制するのではなく、競合する CSF のグループを同定することが可能になる。

3. 射影フィルタリング

本研究は、表現幾何学に対する制御された介入として射影フィルタリングを導入する。最終層の機能に対する主成分分析（PCA）を用いて、著者らは低ランク部分空間から機能を再構成する。彼らは 3 つの変種を評価する。

• グローバル射影: 全クラスに共通する単一の部分空間。
• クラス射影: 各クラスに固有の部分空間。
• クラス予測射影（CPP）: モデルが予測したクラスの部分空間を使用する。

4. ニューラルクラッシュ（NC）分析

著者らは、最終層機能の幾何学を定量化するために**ニューラルクラッシュ（NC）**指標を利用する。これらの指標は、変動のクラッシュ、単体等角緊密枠（ETF）への収束、およびクラス平均と分類器重み間の双対性といった現象を測定する。

• 相関: マンテル検定を用いて、NC 幾何学的距離と CSF 順位付け距離との相関を分析する。
• 予測: NC ベースの予測フレームワークが提案される。学習済み分類器から計算された NC 特徴量に基づいて、各 CSF に対する L2 ロジスティック回帰モデルを学習させ、OOD 検証データを一切必要とせずに、新しいモデルに対する競合する検出器の短縮リストを予測する。

主要な貢献

1. 表現認識型ベンチマーク: CNN、ViT、複数の学習パラダイム、および詳細な 3 段階の OOD 領域（近/中/遠）にわたる包括的な評価。
2. 統計的クラシックパイプライン: 統計的に区別できないトップパフォーマンスの CSF を同定するための堅牢な手法であり、集計平均よりも競争力のある性能に対するよりニュアンスのある視点を提供する。
3. CLIP に基づく層別化: OOD データセットのデータ駆動型グループ化により、マージンベースのスコア（近 OOD）から幾何学認識スコア（中/遠 OOD）への検出器有効性の体系的な遷移を明らかにする。
4. 射影フィルタリングの知見: 最適なフィルタリング粒度がアーキテクチャに依存することを示す。すなわち、グローバル射影は CNN 上の CSF を広範に改善する一方、**クラス予測射影（CPP）**は微調整された ViT にとって決定的な介入である。
5. NC ベースの予測器: モデルの NC プロファイルのみを使用して、未見のモデルに対する競合する検出器の短縮リストを推奨する手法であり、OOD 検証データの必要性を排除する。

結果

検出器ファミリーに関する実証的知見

競合する検出器ファミリーは、転換の深刻度とアーキテクチャに応じて体系的に変化する。

• CNN:
  • 在分布/誤分類: 単純な確率的スコア（例：GEN、MSR）が支配的。
  • 近 OOD: マージンベースのスコア（Energy、MLS）および NNGuide が最強。
  • 中/遠 OOD: 幾何学認識スコア（CTM、fDBD、NNGuide）が支配的になる。
• ViT（微調整済み）:
  • 遷移はより急激である。近 OOD は不均質である。
  • 中 OOD は再構成ベースのスコア（KPCA 再構成誤差）が支配的。
  • 遠 OOD は残差ベースのスコア（Residual、ViM、pNML）へ移行する。

射影フィルタリングの影響

• CNN: グローバル射影は、不要な変動を除去することで距離ベースのスコア（例：マハラノビス、CTM）を大幅に改善する一方、クラス条件付き変種はしばしば性能を低下させる。
• ViT: クラス予測射影（CPP）が最大の改善をもたらす（例：GradNorm において）、タスク固有の幾何学を曖昧にする事前学習残差を効果的に除去する。グローバル射影は、ログイットベースのスコアに対して modest な改善を提供する。

NC 幾何学と予測

• 相関: マンテル検定は、すべての学習パラダイムにおいて、NC 幾何学と CSF 順位付けの間に有意な相関（$r = 0.31\text{--}0.68, p \le 0.004$）があることを確認した。
• アーキテクチャ間転移: VGG-13 で学習された NC ベースの予測器は、再学習なしで ResNet-18 の競合する短縮リストを成功裡に予測する。
  • 性能: 予測された短縮リストは、近・中・遠の OOD 領域全体で、最強の固定 CSF ベースラインに対する平均セット回帰を**51% から 84%**削減する。
  • 有意性: Holm 補正された 54 組のウィルコクソン対比較のうち 49 件で、予測器はベースラインを有意に上回った。

意義と主張

本論文は、OOD 検出の性能は、スコア設計のみではなく、主に表現レジームによって支配されると主張する。

• メカニズム: 学習された表現の幾何学（特にニューラルクラッシュの度合いと分類器重みとの整合性）が、どのスコアリング規則が有効かを決定する。プロトタイプおよび境界認識スコアは、表現がクラッシュし整合している場合に好調に機能する。一方、クラッシュが弱い場合は、勾配および多様体ベースのスコアが好まれる。
• 実用性: 著者らは、モデルの内部幾何学（NC 指標）を分析するだけで、与えられたモデルに対してどの OOD 検出器が機能するかを予測でき、高価な OOD 検証データの必要性を排除できることを実証した。
• 方法論的転換: この研究は、分野を「どの CSF が平均的に勝つか？」という問いから、「どのファミリーがどの表現レジーム下で統計的に競合し、なぜそうなのか？」という問いへと移行させる。

著者らは範囲に関して謙虚であり、結果は特定データセットおよびバックボーン上の画像分類に限定されており、アーキテクチャ間転移は単一の CNN から CNN へのペアでテストされたことに言及している。彼らは、NC 予測器が単一の決定論的選択ではなく、候補の短縮リストを提供するものであり、展開においてはさらに同順位を破る必要がある可能性を認めていることを強調している。