技術的概要：密度に基づく幾何学：少数ショット・クロスドメイン OOD 検出

問題定義

分布外（OOD）検出は、自動運転や医療診断などの高リスクシナリオにおける機械学習の安全な展開に不可欠であり、モデルが訓練分布から逸脱した入力を入力として認識することを要求する。既存の OOD 検出手法は通常、分類器ベース、密度ベース、距離ベースの 3 つのカテゴリに分類される。しかし、これらの手法には 2 つの主要な限界がある：

1. ドメイン特異性：これらは特定の訓練分布に密接に結合している。新しいドメインに検出器を展開するには、大規模な分布内（ID）データ（通常 5 万〜20 万サンプル）を収集し、専用のモデルを再訓練する必要がある。
2. 密度推定への依存：ほとんどの手法は ID データの確率密度 $p(x)$ をモデル化しようとする。本論文は、この分布統計への依存がクロスドメインの汎化を制限すると主張する。なぜなら、密度推定はドメインシフトに対して極めて敏感であるためである。

著者らは、少数ショット・クロスドメイン OOD 検出という課題を提起する：単一の事前学習済みモデルが、推論時にわずかなラベルなし ID サンプル（例：約 100 個）のみを使用して、任意の新しい ID-OOD タスクペアに対して OOD 検出を実行できるか？さらに、追加の訓練や微調整なしに可能か？

手法：UFCOD

著者らは、密度推定から拡散軌道の情報幾何学的分析へとパラダイムをシフトさせる、訓練不要なフレームワークUFCOD（Unified Few-shot Cross-domain OOD Detection）を提案する。

1. 核心的洞察：拡散モデルを汎用特徴抽出器として

各ドメインごとに新しい検出器を訓練するのではなく、UFCOD は単一の事前学習済み拡散モデル（ソースデータセット、例：CelebA で訓練済み）を汎用特徴抽出器として利用する。理論的な核心的洞察は、拡散モデルにおけるノイズ予測 $\epsilon_\theta(x_t, t)$ が、スコア関数（対数密度の勾配、$\nabla \log p(x_t)$）に直接比例するという点である。

• ID サンプルの場合、学習されたスコア関数は正確なガイダンスを提供し、滑らかで低エネルギーの軌道をもたらす。
• OOD サンプルの場合、スコア関数は信頼性が低く、ノイズ除去プロセスが振動し、高エネルギーを示す。

2. エネルギーベースの特徴抽出

この手法は、入力画像 $x$ の拡散軌道からコンパクトな 2 次元特徴ベクトルを抽出する：

• 経路エネルギー（$f_1$）：軌道に沿ったノイズ予測の累積二乗大きさ。積分されたスコア関数の大きさを測定する。
  $$f_1 = \sum_{t,c,h,w} \epsilon_{t,c,h,w}^2$$
• ダイナミクスエネルギー（$f_2$）：ノイズ予測の累積二乗変化率（時間微分）。スコア空間における軌道の滑らかさを測定する。
  $$f_2 = \sum_{t,c,h,w} (\Delta \epsilon_{t,c,h,w})^2$$

これら 2 つの特徴は、スコア関数の離散的なソボレフノルムを形成し、大きさおよび滑らかさの両方を捉える。著者らは、1 次モーメントはガウスノイズに対してほぼゼロの期待値を持ち、高次モーメントは外れ値に対して敏感すぎるため、2 次統計量（エネルギー）が少数ショット検出にとって最適であると主張する。

3. 少数ショット参照集合の構築

限られたデータで検出を行うため、UFCOD は少量の ID サンプル（例：100 個）から参照集合を構築する。

• Facility Location 選択：ランダムサンプリングの代わりに、この手法は 2 次元特徴空間内の任意の ID 点までの最大距離を collectively 最小化するようにサンプルを選択する Facility Location 目的関数を使用する。これにより、参照集合は境界外れ値を選択するのではなく、ID 分布の中核構造を忠実に表現することが保証される。
• 理論的正当性：特徴空間を高次元ピクセル空間（$d \approx 3072$）から 2 次元エネルギー空間へ縮小することにより、分布を特徴づけるために必要なサンプル複雑性は $O(1/\epsilon^d)$ から $O(1/\epsilon^2)$ に低下し、約 100 サンプルでの効果的な検出を可能にする。

4. 最適輸送による OOD スコアリング

OOD スコアは、テストサンプルの特徴から参照集合へのエントロピー正則化された Wasserstein-1 距離として計算される。これはソフト最小距離として実装される：
$$s_T(f) = -T \log \sum_{i=1}^m \exp\left(-\frac{\|f - f_i\|^2}{T}\right)$$
ここで、$T$ は温度パラメータ（0.5 に設定）である。このアプローチは、単一の最隣接点に依存するのではなく、複数の近傍に質量を広げることで、参照集合のノイズに対する頑健性を提供する。最後に、Z スコア較正を適用して異なるドメイン間でのスコアを正規化し、統一された決定閾値を可能にする。

主要な貢献

1. 情報幾何学的フレームワーク：本論文は、拡散ベースの OOD 検出と情報幾何学の間の理論的つながりを確立する。経路エネルギーとダイナミクスエネルギーを離散的ソボレフノルムとして定義し、クラメール・ラオ不等式を通じて、2 次統計量が少数ショット検出にとって最適であることを証明する。
2. 訓練不要なクロスドメイン検出：UFCOD は、単一の事前学習済み拡散モデルが、再訓練や微調整なしに、意味的に無関係なドメイン（例：顔、数字、テクスチャ）にわたる OOD 検出のための汎用特徴抽出器として機能しうることを実証する。
3. サンプル効率：この手法は、タスクあたり約 100 個の ID サンプルのみを使用して高い性能を達成する。理論的分析は、これがフルデータ手法と比較して約 500 倍のサンプル要件の削減を実現することを示している。

実験結果

著者らは、CIFAR-10、SVHN、CelebA、CIFAR-100、および Textures を含む 12 の ID-OOD ベンチマークペアで UFCOD を評価した。

• 性能：80〜150 個の ID サンプルのみを使用して、UFCOD は平均**AUROC 93.7%**を達成した。この性能は、5 万〜16 万 3 千サンプルで訓練された最先端のベースライン（例：IGEBM、VAEBM、DiffPath）と競争力があり、しばしばそれらを上回る。
• クロスドメイン汎化：CelebA のみで訓練されたモデルは、CIFAR-10 および SVHN の OOD サンプルを高い精度で検出することに成功したが、あるドメインで訓練されたベースライン手法は、別のドメインに適用された際に著しく失敗した（例：特定のクロスドメイン設定において DoS ベースラインで 91.5% の性能低下）。
• アブレーション研究：
  • 特徴選択：2 次エネルギー特徴（2 次元）は、6 次元特徴セットおよび 1 次・3 次モーメントよりも優れていた。
  • コアセット選択：Facility Location 選択は、ランダムサンプリングおよび K-Center Greedy を上回り、少数ショット領域において多様性よりも代表性が重要であることを確認した。
  • スコアリング：$T=0.5$ のソフト重み付き近接スコアリングは、重み付けなしおよび密度ベースのスコアリング手法を上回った。

意義と主張

本論文は、現在の OOD 検出の限界が、ドメイン固有の密度統計のモデル化への依存にあると主張する。ドメイン固有の分布統計のモデル化への依存から、拡散軌道の幾何学的性質（特にスコア関数の信頼性と滑らかさ）への焦点のシフトにより、著者らは OOD 検出がドメイン固有の訓練から切り離されうることを実証する。

この研究の意義は以下の 3 点である：

1. 実用的展開：大規模な ID データセットの収集が不可能なシナリオでの OOD 検出を可能にし、較正には少数のサンプルのみを必要とする。
2. 理論的洞察：拡散モデルがドメイン間で異常検出においてよく汎化する理由について、密度推定ではなくスコア関数の幾何学的構造に起因するものとして、原理的な説明を提供する。
3. 効率性：サンプル効率を約 500 倍改善し、リソース制約のある環境や急速に変化する展開環境において、高性能な OOD 検出をアクセス可能にする。

著者らは限界を認め、この手法はニア OOD 検出（例：CIFAR-10 対 CIFAR-100）において困難を抱えると指摘している。これは、エネルギー特徴が微細なカテゴリ境界ではなく、粗い分布の違いを捉えるため、意味的な区別が微妙な場合に機能しないからである。