技術的概要：多エンコーダー外れ値検出のための表現空間拡散モデルのティペット最小値融合

問題定義

外れ値（OOD）検出は、テストサンプルが学習データ（在分布、ID）と同じプロセスから生成されたものであるかどうかを識別することを目的とする。深層生成モデル、特に拡散モデルは密度推定において有望であることが示されているが、これらを直接ピクセル空間で動作させることは計算コストが高く、信頼性の低い OOD スコアをもたらすことが多い。一方、事前学習済みエンコーダーから得られた圧縮特徴量上で動作する表現空間拡散モデル（RDM）は、実行可能な代替手段を提供する。しかし、根本的な課題が残っている：異なる事前学習済みエンコーダー（例：CLIP、DINOv2、ResNet-50）は、画像構造の異なる側面（大域的な整合性、微細なセマンティクス、テクスチャ）を捉え、したがって異なる種類の分布シフト（大域的ドメイン変化、セマンティックな乖離、共変量汚損）に対して異なる感度を示す。単一のエンコーダーがすべてのシフトタイプにおいて優位に立つことはない。本稿で扱われる核心的な問題は、テスト時に分布シフトの特定の種類が不明であり、かつ OOD ラベルに依存して較正を行わない条件下で、複数の専門化されたエンコーダーを効果的に組み合わせて OOD サンプルを検出する方法である。

手法：EncMin2L

本論文は、統計的に裏付けられた 2 段階の最小値ゲートを用いて、エンコーダーごとの表現空間拡散モデルを融合するフレームワーク EncMin2L を提案する。

1. エンコーダー専門化の診断

学習前に、著者らはエンコーダーの感度を特徴づけるために、完全に ID データから計算される 2 つの診断指標を導入する：

• $\eta^2$（クラス条件付き F 検定）： クラス同一性によって説明される対数尤度分散の割合を測定する。高い $\eta^2$ は微細なセマンティックシフト（例：CIFAR-100）への感度を示し、低い $\eta^2$ は大域的ドメインシフト（例：SVHN）への感度を示唆する。
• $\Delta\mu$（合成汚損下での対数尤度シフト）： ID 画像が合成汚損（例：ガウシアンブラー、ノイズ）にさらされた際の平均対数尤度の変化を定量化する。大きな $\Delta\mu$ は共変量シフト（例：CIFAR-10C）への高い感度を予測する。
• クロスエンコーダー相関（$\rho$）： エンコーダーの対数尤度間のスピアマン順位相関を用いて冗長性をスクリーニングする。低い相関は補完的な情報を示唆する。

2. 2 段階最小値ゲートアーキテクチャ

融合メカニズム EncMin2L は OOD ラベルを必要とせず、2 段階の統計的集約から構成される：

• レベル 1（エンコーダー内最小値ゲート）： 各エンコーダー $k$ に対して、2 つの「フォーク」が利用される：正規化フォーク（Z スコア正規化）と非正規化フォークである。各フォークは、独立した分散保存型確率微分方程式（VP-SDE）スコアネットワークによってモデル化される。対数尤度は、ID 検証サンプルの実験的累積分布関数（CDF）を介して p 値に変換される。2 つのフォークにわたる最小値操作（$\min(\cdot)$）により、これらは単一のエンコーダーごとのスコアに集約される。

  • 較正： 2 つの一様変数の最小値は Beta(1, 2) 分布に従うため、2 番目の実験的 CDF 再マッピングを適用して一様性を回復させ、スコアが次のレベルで有効であることを保証する。

• レベル 2（クロスエンコーダー最小値ゲート）： すべての $K$ 個のエンコーダーから得られた較正済みスコアは、ティペットの最小 p 値検定を用いて集約される。最終的な OOD スコア $s(x)$ は、すべてのエンコーダーごとのスコアの最小値である：$s(x) = \min_k \hat{e}_k(x)$。

  • 決定則： $s(x) < \tau$ である場合、サンプルは OOD としてフラグ付けされる。ここで $\tau$ は、偽陽性率（FPR）を制御するために保持された ID データ上で較正された閾値である。

このアプローチは、任意のテストポイントに対して、システムが最も強い警報を鳴らす特定のエンコーダー（およびフォーク）に委譲し、シフトタイプの事前知識なしに入力に適応することを保証する。

主要な貢献

1. エンコーダー選択のための ID データ診断： 本論文は、エンコーダーの専門化が $\eta^2$ と $\Delta\mu$ を用いて厳密に ID データから定量化可能であることを実証する。これらの指標は、いかなる OOD サンプルも観察することなく、どのエンコーダーが特定の OOD ベンチマーク（セマンティック対共変量シフト）で最良のパフォーマンスを発揮するかを正確に予測する。
2. EncMin2L フレームワーク： エンコーダーごとの拡散尤度を 2 段階の最小値ゲートを通じて結合する、新規かつエンコーダーに依存しない融合戦略。単一の多エンコーダーモデル（はるかに多くのパラメータを必要とし、個々のエンコーダーの幾何学を捉えることに失敗することが多い）の落とし穴を回避し、専門化された検出器を統計的に集約する。
3. 統計的較正： 本手法は、統計的に妥当な多重検定手順を提供する。スコアを p 値にマッピングし、ティペットの検定を適用することで、フレームワークは較正の安定性を保証し、再学習なしに所望の FPR レベルに基づいて直接閾値調整を可能にする。

実験結果

本フレームワークは、異なるシフトタイプを表す 4 つの OOD ベンチマークで評価された：

• SVHN： 大域的ドメインシフト。
• CIFAR-100： 微細なセマンティックシフト。
• CIFAR-10C： 共変量シフト（汚損）。
• DTD/CelebA： テクスチャおよび顔ドメインシフト（遠方 OOD）。

性能：

• EncMin2L は、CIFAR-10 を ID 分布とした場合、すべての 4 つのシフトタイプにおいて同時に $\ge 0.94$ AUROC を達成した。
• 最先端の単一モデル型多エンコーダーベースラインおよび単一エンコーダー検出器を上回った。
• 効率性： EncMin2L は、性能を一致させるためにはるかに大きな隠れ次元を必要とした最良の単一モデル型ベースラインと比較して、2.3$\times$少ないパラメータでこれらの結果を達成した。
• アブレーション： 留め置き実験（leave-one-out experiments）は、特定のエンコーダー（例：CLIP）を除去することが、その診断プロファイルによって予測されたシフトタイプ（例：SVHN）において性能の大幅な低下を引き起こすことを確認し、専門化仮説を検証した。

比較：

• ピクセル空間拡散との比較： EncMin2L は、ピクセル空間手法（例：DiffPath、LMD、Projection Regret）がクラス条件付き密度構造を捉えることに失敗したセマンティックシフト（CIFAR-100）において、ピクセル空間手法を大幅に上回った。
• 特徴空間手法との比較： 特定のエンコーダー上の k-NN 手法は特定のシフトにおいて良好な性能を示したが、すべてのシフトタイプを同時に処理する堅牢性 lacked。EncMin2L は統合された解決策を提供した。
• 分類器ベース手法との比較： EncMin2L は、クラス境界が曖昧であったり ID 分布が複雑であったりする場合（例：CIFAR-100）に特に、MSP、マハラノビス、エネルギースコアを上回った。

意義と主張

本論文は、EncMin2L が以下の点で OOD 検出における重要な進歩を表すと主張する：

1. 「未知のシフト」問題の解決： 事前にシフトタイプを知る必要も、学習に OOD データを必要とすることもなく、分布シフトの全スペクトルにわたって OOD サンプルを検出するメカニズムを提供する。
2. エンコーダー多様性の活用： 異なるエンコーダーが補完的な強みを持つという観察を形式化する。単一のモデルにすべての特徴を学習させるのではなく、専門化されたモデルを集約することで、より低い計算コストでより高い精度を達成する。
3. 実用的な設計ツール： 診断パイプライン（$\eta^2$、$\Delta\mu$）により、実務者は設計段階において ID データのみに基づいてエンコーダーを選択・組み合わせることができ、OOD サンプルを必要とせずにさまざまな展開シナリオに適応可能なフレームワークを実現する。

著者らは、本手法がティペットの検定の統計的妥当性と表現空間拡散の性質に依存しており、入力の特異な分布特性に適応する堅牢で較正安定性の高いシグナルを提供することを強調している。