技術要約：効率的な分布外検知のための局所的な平坦性の活用

問題定義

信頼性の高い機械学習のデプロイメントには、訓練セットとは異なる分布から抽出されたサンプルである分布外（OOD）データを検知する能力が必要です。現代のディープニューラルネットワークは、このような入力に対して過剰に自信を持った誤った予測を行うことがよくあります。学習済みのモデルに対して事後的に適用される手法（再学習なしで動作する手法）は、その効率性の観点から魅力的ですが、既存の曲率ベースのアプローチには重大な限界があります。損失ランドスケープの曲率（ラプラス近似などを利用）を用いてモデルの不確実性を推定する手法は、ヘッセ行列の二次的なスケーリングにより、大規模なネットワークにおいては計算コストが極めて高くなります。さらに、これらの手法は、ID（分布内）データとOODデータの間のランドスケープの平坦性の違いに関する暗黙の仮定に依存していますが、これについては体系的な調査が行われていません。

手法

1. 曲率の相違に関する経験的観察

著者らはまず、IDおよびOODサンプルによって誘発される損失ランドスケープの曲率に関する体系的な経験的分析を行っています。フル行列を構築することなくヘッセ統計量（最大固有値 $\lambda_{max}$ およびトレース $tr(H)$）を推定するためにハッチンソン法（Hutchinson's method）を用いることで、以下の現象を観察しました：

• ID vs. OOD の曲率: IDサンプルは、OODサンプルと比較して一貫して低い曲率（より小さい $\lambda_{max}$ およびトレース）を示します。
• シフトの深刻度: 分布のシフトが深刻になるにつれて（near-OODからfar-OODの領域へ移動するにつれて）、曲率のギャップは拡大します。
• サンプルレベルの分離可能性: ヘッセ・トレースのサンプルごとの分布は明確な分離を示しており、IDサンプルは低い値に集中し、OODサンプルはより高い値へと広範な分布を持ってシフトします。

2. FOLD: 平坦性変調型OOD検知

IDサンプルが損失ランドスケープのより平坦な領域に存在するという観察に基づき、本論文では、パラメータ空間の曲率近似に伴う膨大なコストを回避する軽量な検知器である FOLD を提案しています。

• 特徴量ヘッセ（Feature Hessian）: フルパラメータのヘッセ行列を計算する代わりに、FOLDはロジット空間の曲率を潜在特徴空間へと転送します。ネットワークを特徴エンコーダ $h(\cdot)$ と線形分類器 $g(\cdot)$ に分解した場合、特徴量ヘッセは以下の二次の連鎖律を通じて導出されます：
  $$\nabla_{\mathbf{h}}^2 \mathcal{L} = (\nabla_{\mathbf{h}} g) (\nabla_{\mathbf{z}}^2 \mathcal{L}) (\nabla_{\mathbf{h}} g)^{\top}$$
  このオペレータは、予測の不確実性を分類器によって誘導される特徴多様体へと投影し、OOD検知に不可欠な幾何学的構造を捉えます。
• 部分的特徴量正規化: 特徴量の大きさがソフトマックスを飽和させ（これにより損失ランドスケープが平坦化し、ヘッセが消失する）、問題となる現象に対処するため、FOLDは以下の部分的特徴量正規化を導入します：
  $$\tilde{\mathbf{h}} = \frac{\mathbf{h}}{\|\mathbf{h}\|^{\alpha}}, \quad 0 < \alpha \leq 1$$
  検知スコアは、この正規化された空間におけるヘッセのトレースとして定義されます：$S_{fold}(\mathbf{x}) = \text{tr}(\nabla_{\tilde{\mathbf{h}}}^2 \mathcal{L})$。
  • データセットへの依存性: 最適な $\alpha$ はデータセットの複雑さによって異なります。単純なデータセット（例：CIFAR）は、ほぼ完全な正規化（$\alpha \approx 1$）の恩恵を受けますが、複雑なデータセット（例：ImageNet）では、情報量のある大きさのキューを保持するために、より緩やかな抑制（$\alpha \approx 0.2$）が必要です。

3. AUTOFOLD: 自己教師ありキャリブレーション

$\alpha$ を調整するための外部のOOD検証セットの必要性を排除するために、著者らは AUTOFOLD を導入しています。この自己教師ありスキームは以下の通りです：

• IDサンプルの支配的なロジットをマスクする（真のクラスのロジットを $-\infty$ に設定する）ことで、未知のクラスのシナリオをシミュレートし、疑似OODサンプルを生成します。
• 元のID検証サンプルとそのロジットがマスクされたカウンターパートの間のAUROCを最大化することにより、最適な $\alpha^*$ を自動的に選択します。
• 推論時に完全に動作し、オーバーヘッドは無視できるほど小さく、再学習や外部データを必要としません。

主な貢献

1. 体系的な曲率分析: OOD入力がIDデータよりも大きなヘッセ曲率を示すこと、およびその差異がより強い分布シフトの下で増大することを確認した、最初の体系的な調査。
2. 効率的な検知アルゴリズム (FOLD): ベイズ的な曲率近似のオーバーヘッドなしに、特徴量ヘッセと部分的特徴量正規化を活用してID-OODの分離性を高める軽量な手法。
3. 自動ハイパーパラメータチューニング (AUTOFOLD): 外部のOODデータを使用せずに、ロジット・マスキングを用いて正規化パラメータをキャリブレーションする自己教師あり戦略。
4. 理論的および経験的検証: 簡略化された二値分類の仮定の下での理論的分析（定理1）は、特徴量ヘッセの期待値がOODデータにおいて大きくなるという主張を支持しています。多様なアーキテクチャとデータセットにわたる広範な実験がこれらの知見を検証しています。

実験結果

著者らは、標準的なOODベンチマーク（CIFAR-10, CIFAR-100, ImageNet-200, ImageNet-1K）において、包括的なポストホック・ベースライン（例：MSP, ODIN, ReAct, VIM, KNN）に対してFOLDおよびAUTOFOLDを評価しました。

• 性能: FOLDとその変種は、先行手法を一貫して上回っています。
  • FOLD-R（FOLDとReActの活性化閾値処理を組み合わせたもの）は、強力なベースラインと比較して、平均AUROCを 1.63% 向上させ、FPR95を 2.30% 低減させるという、最高の平均性能を達成しました。
  • AUTOFOLD の変種は、固定-$\alpha$のFOLDと同等の競争力のある性能を達成し、自動キャリブレーションが手動チューニングなしで有効であることを示しました。
• 効率性: FOLDは標準的なフォワードパスと同等の計算効率を維持しています。高価なセットアップ（例：KNN, MDS）や推論（例：RMDS）を必要とする手法とは異なり、FOLDによるオーバーヘッドは最小限です。
• 汎用性: 本手法は、多様なバックボーンアーキテクチャ（RegNet, DenseNet, WRN, ResNeXt）にわたって安定した性能を示しており、曲率ベースのスコアリングの幾何学的な利点がアーキテクチャに依存しないことを示しています。
• アブレーション研究:
  • 正規化: 複雑なデータセット（ImageNet）においては、完全な正規化が情報量のある大きさのキューを破棄し、IDとOODのスペクトルギャップを崩壊させてしまうため、部分的正規化の方が優れていることが判明しました。
  • 特徴量ヘッセ: 特徴量ヘッセを使用することで、特に複雑なドメインにおいて、ロジットヘッセのみを使用する場合よりも高いAUROCが得られました。これは、分類器によって誘導される幾何学を組み込むことの価値を裏付けています。

意義と主張

本論文は、堅牢な実世界のOOD検知のための原理的かつ実用的な解決策を提供すると主張しています。IDデータがOODデータよりも平坦な損失領域に存在するという構造的特性を利用することで、FOLDは、曲率ベースの不確実性推定の理論的な有望性と、計算効率の実際的な制約との間の溝を埋めます。

著者らは、彼らのアプローチが以下の特性を持つことを強調しています：

• ベイズ的な曲率近似に典型的な「膨大な計算オーバーヘッド」を回避する。
• AUTOFOLDにより、ハイパーパラメータのチューニングのための外部OOD検証セットへの依存を排除する。
• 既存の検知フレームワークを強化する「プラグアンドプレイ」のコンポーネント（部分的正規化）を提供する。
• 特徴量ヘッセのトレースと分布シフトを結びつける理論的基礎（定理1）を提供し、観察された経験的な成功に対する直感的な説明を与える。

結論として、FOLDは検知精度と計算効率の好ましいバランスを実現しており、OOD検証のためのデータが利用できないシナリオや、リアルタイムの推論が求められるシナリオへのデプロイに適しています。