An Information-Theoretic Framework for Feature Construction in Out-of-Distribution Detection

技術要約：分布外検知における特徴量構成のための情報理論的フレームワーク

問題提起
機械学習システムは、分布外（OOD）データに遭遇した際、高い確信度で誤った予測を行うことがよくあります。多くの事後的なOOD検知手法が存在しますが、それらは主に経験的な駆動に基づくルールベースのアプローチ（例：ReAct, FS-OPT, VRA, ASH）であり、統一された理論的基盤を欠いています。その結果、これらの手法は異なるデータセットや、異なる種類の分布シフト（意味的シフトおよび共変量シフト）に対して汎化するのに苦慮することが多いです。したがって、基礎となる統計的仮定に基づいてOOD特徴量を導出し、既存手法の特性を説明し、より堅牢な新しい特徴量を体系的に生成できる理論的フレームワークが必要です。

手法
著者らは、OOD特徴量の構成を変分最適化問題として定式化した、新しい情報理論的フレームワークを提案しています。

1. ランダム特徴量定式化: 既存の決定論的な特徴量整形関数とは異なり、著者らはOOD特徴量（$\tilde{Z}$）を、ネットワーク特徴量（$Z$）から条件付き分布 $p(\tilde{z}|z)$ を介して導かれる確率変数としてモデル化します。この分布の平均は、文献に見られる決定論的な整形関数に対応します。
2. 損失汎関数: 最適化は、複合的な損失汎関数 $L$ を最小化する条件付き分布を探索します。
   • KLダイバージェンス項: 対称化されたカルバック・ライブラー（KL）ダイバージェスを用いて、結果として得られるID（分布内）特徴量分布とOOD特徴量分布の間の分離を最大化します。
   • 情報ボトルネック（IB）正則化: 入力特徴量 $Z$ とOOD特徴量 $\tilde{Z}$ の間の相互情報量を最小化すると同時に、$\tilde{Z}$ とOODラベル $Y$ の間の相互情報を最大化します。これにより、特徴量は圧縮されつつも、OOD検知に特に関連する情報を保持し、余分な変動を排除することを保証します。
3. 最適化: 問題は無限次元の確率測度の空間で定義されているため、著者らは変分法を用いて勾配を導出します。彼らは、条件付き分布 $p(\tilde{z}|z) \sim \mathcal{N}(\mu(z), \sigma_c(z))$ が要素ごとの独立性とガウス性を仮定しており、これにより、最適な平均 $\mu(z)$ と標準偏差 $\sigma_c(z)$ を解くための計算可能な勾配降下アルゴリズムが可能になります。
4. 分布分析: フレームワークは、想定される様々なOOD分布（ガウス分布、ラプラス分布、および提案された逆ガウス分布のバリアント）の下での最適特徴量を分析します。この研究により、異なる分布の仮定が異なる整形挙動をもたらすことが明らかになりました。
   • ガウス型OOD: IB正則化の重みに応じて、小さな値に対しては正の傾きを持ち、大きな値に対しては負の傾き（またはクリッピング）を持つ特徴量をもたらします。
   • ヘビーテイル型OOD（ラプラス/逆ガウス）: 小さな値を抑制（ゼロ化）し、大きな値をクリップする特徴量をもたらし、中間値には線形領域を持ちます。
5. 提案される整形関数（PLF）: 様々な分布における最適形状が、区分線形関数によって近似できるという観察に基づき、著者らは**区分線形関数（PLF）**を導入します。これは、アーキテクチャやデータセットを越えた適応性を確保するために、ID特徴量の大きさの分位数を用いてパラメータ化された7つのパラメータを持つ関数です。

主な貢献

1. 理論的フレームワーク: OOD特徴量を確率変数として導出するために、変分的かつ情報理論的な損失汎関数を導入し、分布の分離と情報の圧縮を統合しました。
2. 既存手法の理論的説明: 本フレームワークは、既存の最先端（SoA）のルールベース手法（例：ReAct, VRA, ASH）が、特定の基礎となるOOD分布の仮定および正則化強度に暗黙的に対応していることを示しています。例えば、クリッピングは高いIB正則化に関連しており、小さな値の抑制はヘビーテイル型のOOD仮定に関連しています。
3. 新しい整形関数（PLF）: 単一の分布仮定に事前にコミットすることなく、既存の手法の特性を一般化する、理論的に裏付けられた新しい区分線形整形関数を導出しました。
4. 分位数に基づくパラメータ化: PLFのブレークポイントに関する新しい定式化により、パラメータ数を増やすことなく、異なる特徴量の範囲にわたって汎用性を持たせることが可能になりました。

結果
著者らは、広範なベンチマークにおいてPLF手法をSoAの事後的OOD検知器と比較検証しました。

• 意味的シフト: OpenOODベンチマーク（CIFAR-10, CIFAR-100, ImageNet-200, ImageNet-1Kをカバー）において、PLFは評価された21の手法の中で、すべてのデータセットとアーキテクチャにわたってトップ3に入りました。難易度の高いImageNet-1Kベンチマークにおいて最高の総合ランキングを獲得し、他の特徴量整形手法（Energy, ReAct, VRA-P, FS-OPT）を一貫して上回りました。
• 共変量シフト: BROADデータセットおよびOpenOOD共変量シフトベンチマーク（ImageNet-C, ImageNet-R, ImageNet-V2、およびAutoAttackやPGDなどの敵対的攻撃を含む）において、PLFは特徴量整形手法の中で最高の平均AUROCを達成し、全21手法の中で第2位となりました。これは、他の手法が特定のサブセットにのみ特化しがちな多様なシフトに対しても、高い堅牢性を示すことを示しています。特に、本研究はOpenOODフレームワーク内で共変量シフトに特化した事後的OOD検知器の最初の包括的なベンチマーキングを提供しています。
• 効率性: 推論コストは既存の区分線形手法と同等です（A100 GPU上で画像あたりマイクロ秒単位）。

意義
本論文は、統計分布に基づくOOD特徴量を構築するための最初の一般的な理論的フレームワークを提供すると主張しています。その意義は、経験的なルールベースのヒューリスティックを超えて、なぜ既存の手法が機能するのか、そしてどのようにしてより優れた手法を構築できるのかを説明する、原理的なアプローチにある点にあります。単一の理論的に導出された関数（PLF）が、意味的シフトと共変量シフトの両方において特化した手法を凌駕できることを示すことで、本研究は、統一された分布非依存の特徴量整形戦略が可能であることを示唆しています。著者らは、これがOpenOODフレームワーク内における共変量シフトに対する事後的OOD検知器の最初の包括的なベンチマーキングであると述べており、手法の幅広い汎化能力を強調しています。今後の課題として、完全なランダム特徴量分布（単なる平均ではないもの）の探索、スコア関数の理論への統合、および一般的なベクトル整形関数への拡張が挙げられています。