GEPC: Group-Equivariant Posterior Consistency for Out-of-Distribution Detection in Diffusion Models

この論文は、拡散モデルの学習済みスコア場がデータ分布の対称性（等変性）をどのように維持しているかを測定するトレーニング不要な手法「GEPC」を提案し、分布外（OOD）検出において既存手法と同等かそれ以上の性能を達成しつつ、対称性の破れを視覚的に解釈可能にすることを示しています。

要約

この論文は、**「AI が『知らないもの』をどうやって見分けるか」**という難しい問題を、新しい視点から解決しようとするものです。

タイトルにある「GEPC」という名前が少し難しそうですが、実はとても直感的なアイデアに基づいています。これを**「AI の『直感』の揺らぎ」**という物語で説明してみましょう。

1. 背景：AI は「慣れ」を信じている

まず、現代の AI（特に「拡散モデル」と呼ばれる画像生成 AI）は、大量の「普通の写真（例えば猫や車）」を見て学習します。学習すると、AI は「猫の絵はこうあるべきだ」という**直感（スコア）**を身につけます。

• 猫の絵を少しノイズ（砂嵐）まみれにしても、AI は「あ、これは猫だ」と直感でわかります。
• さらに重要なのは、**「猫の絵を裏返したり、回転させたりしても、AI の直感は変わらない」**ということです。これは AI が猫の形の本質を理解している証拠です。

2. 問題：変なものが混ざったとき

では、AI が「猫」しか知らない状態で、**「宇宙船」や「変な絵」**を見せたらどうなるでしょうか？

従来の方法では、AI が「これは猫じゃないから、自信がない（スコアが低い）」と判断して「知らないもの（OOD）」だと見分けました。
しかし、「自信がない」だけでは不十分な場合があります。
例えば、AI が「宇宙船」を見ても、ノイズのせいで「もしかしたら猫かもしれない」と誤って自信を持ってしまうこともあります。従来の方法は、この「誤った自信」を見抜くのが苦手でした。

3. 解決策：GEPC（グループ等価性事後一貫性）のアイデア

ここで登場するのが、この論文が提案するGEPCという新しい検査方法です。

【アナロジー：鏡と回転】
AI の直感を「鏡に映った自分の顔」だと想像してください。

1. 普通の顔（猫の絵）の場合：

   • 鏡に映った顔を左右反転したり、90 度回転したりしても、鏡の中の顔は「自分」のままです。
   • 「回転させた顔」を元の位置に戻して、元の顔と比べると、ピタリと一致します。
   • 「あ、これは回転させても変わらないね。これは『猫』という正解の形だ」と AI は安心します。

2. 変な顔（宇宙船やノイズ）の場合：

   • 鏡に映った「宇宙船」を回転させてみます。
   • 回転させたものを元の位置に戻して、元の「宇宙船」と比べてみます。
   • ズレが生じます！ 「回転させた宇宙船」と「元の宇宙船」の直感が、ピタリと合いません。
   • 「あれ？回転させても同じはずなのに、ズレている。これは『猫』のルールに合わない何かだ！」と AI は警報を鳴らします。

GEPC の正体：
この**「回転や反転をさせても、AI の直感がズレないか（一貫しているか）」**をチェックするテストです。

• ズレが小さい ＝ 学習した「猫」の世界に属するもの（正常）。
• ズレが大きい ＝ 学習した世界から外れたもの（異常・未知）。

4. なぜこれがすごいのか？

• 追加の学習がいらない：
  既存の AI を改造したり、新しいデータで教え直したりする必要がありません。すでに完成した AI に「ちょっと回転させてみて」というテストをかけるだけなので、コストが安く、すぐに使えます。
• どこが変なのか見える：
  単に「変です」と言うだけでなく、「画像のどこがズレたか」を熱マップ（色のついた地図）で示してくれます。
  • 例：レーダー画像で「船」が写っている場合、その船の部分が赤く光って「ここが回転しても一致しないよ！」と教えてくれます。これは、海に浮かぶ船（異常）を背景（正常）から見分けるのに非常に役立ちます。

5. 具体的な成果

論文では、この方法が以下の点で優れていることを示しました。

• 一般的な画像認識（CIFAR データセットなど）： 既存の最高レベルの方法と比べて、同等かそれ以上の性能を出しました。
• 特殊な画像（レーダー画像）： 海に浮かぶ船や、砂漠の異常な物体を見つけるタスクで、非常に高い精度を達成しました。特に、「どこに異常があるか」を視覚的に特定できるのが強みです。

まとめ

この論文は、**「AI に『回転させても同じはずなのに、ズレる』という矛盾を見つけさせ、それを『未知のもの』のサインにする」**という、シンプルながら賢いアイデアを提案しました。

まるで、「この料理は『塩』の味だ」と知っている料理人が、回転させたお皿を戻した時に味が変だと気づくようなものです。AI が「学習した世界のルール（対称性）」を破るものだけを、素早く見つけ出すための新しい「直感の検査」なのです。

技術概要

GEPC: 拡散モデルにおけるアウト・オブ・ディストリビューション検出のための群共変事後一貫性

1. 背景と課題

機械学習モデルの信頼性を確保する上で、アウト・オブ・ディストリビューション（OOD）入力の検出は重要な課題です。近年、拡散モデル（Diffusion Models）は OOD 検出や異常検知のための強力な事前分布として注目されています。

既存の拡散モデルベースの OOD 検出手法は、主に以下のいずれかに依存しています：

• スコア場の大きさ（Magnitude）: 学習されたスコア関数 $s_\theta(x_t, t)$ のノルムやエネルギー。
• 局所的な幾何学構造: 曲率、共分散スペクトル、または逆過程における軌道のエネルギー。

しかし、これらの手法は**共変性（Equivariance）**をほとんど無視しています。拡散モデルは、トレーニングデータ（ID データ）の対称性（反転、回転、円形シフトなど）や畳み込みバックボーンの性質から、近似的な共変性を学習しています。OOD データはこの学習された対称性を破る傾向があるため、この「共変性の破れ」を検出することで、より強力な OOD 検出が可能になるはずです。

2. 提案手法：GEPC (Group-Equivariant Posterior Consistency)

著者らは、トレーニング不要（training-free）なプローブとしてGEPCを提案しました。これは、事前学習済みの拡散モデルのスコア場が、有限群 $G$ に対してどの程度一貫して変換されるかを測定する手法です。

核心的なアイデア

• 仮説: ID データでは、ノイズが加えられた入力 $x_t$ に対して、学習されたスコア場 $s_\theta$ は群変換 $P_g$ に対して近似的に共変的（$s_\theta(P_g x_t) \approx P_g s_\theta(x_t)$）であるべきです。一方、OOD データではこの事後一貫性が崩れます。
• 残差の定義: 入力 $x_t$ を群要素 $g$ で変換し、予測されたスコアを逆変換して戻したとき、元のスコア場との差分（残差）を計算します。
  $$\Delta_g s_\theta(x, t) := P_g^{-1} s_\theta(P_g x, t) - s_\theta(x, t)$$
• スコアの算出: この残差の二乗ノルムを群 $G$ と時間ステップ $t$ 全体で集約し、ID データのみでキャリブレーションすることで OOD スコアを生成します。

特徴

• トレーニング不要: 既存の事前学習済みモデル（DDPM や Improved Diffusion など）をそのまま使用し、微調整やアーキテクチャ変更は不要です。
• 計算効率: 逆過程（生成プロセス）の実行やヤコビアン計算を必要とせず、スコア関数の評価のみで完結します。
• 解釈可能性: 空間的な「共変性破れマップ」を生成でき、画像のどの部分が OOD であるか（例：SAR 画像の船や異常）を可視化できます。

3. 理論的基盤

論文では、GEPC の統計的性質について以下の理論的保証を提供しています。

• 理想的な残差の分解: 理想的なスコア場と学習されたスコア場の誤差、および分布の共変性の破れ（invariance breaking）に分解されます。
• ID 上界と OOD 下界: mild な仮定の下で、ID データにおける期待残差の上界と、OOD データにおける期待残差の下界を導出しました。
  • ID データでは、バックボーンが学習分布の高密度領域でよく訓練されており、共変性が保たれているため、残差は小さくなります。
  • OOD データでは、対称性の仮定が破れるか、マンホールドからの距離が大きくなるため、残差が有意に増加します。
• クロス・バックボーン設定: 異なるソース分布で訓練されたモデルを別のドメイン（例：LSUN で訓練し SAR 画像に適用）で使用する際にも、マンホールドからの距離に比例して残差が増加することを示しました。

4. 実験結果

4.1 低解像度画像ベンチマーク (CIFAR-10, SVHN, CelebA)

• 設定: CelebA で訓練された単一の拡散モデルをベースに、CIFAR-10 や SVHN などの ID データと、C100 などの OOD データを検出します。
• 結果:
  • GEPC は、既存の拡散モデルベースの手法（SCOPED, DiffPath, LMD など）と比較して、競合する、あるいはそれ以上の AUROCを達成しました。
  • 特に、軌道エネルギーや曲率ベースの手法は多くの逆ステップやヤコビアン計算を必要としますが、GEPC はそれらよりも計算コストが低く（NFE: 16 回程度）、効率的です。
  • 従来の「スコアノルム」ベースの手法よりも、平均シフトや対称性の破れに対して敏感であることが示されました。

4.2 高解像度 SAR 画像におけるクロスドメイン検出

• 設定: 256x256 の LSUN で訓練された拡散モデルを、SAR（合成開口レーダー）画像にそのまま適用し、海雑音（ID）と船・航跡（OOD）を区別します。
• 結果:
  • SAR 画像に特化した微調整を行わなかったにもかかわらず、高い検出性能を示しました。
  • 可視化: 生成される「共変性破れマップ」は、均一な海雑音では低く、船や航跡の位置に明確に高値を示し、解釈可能な局所化を実現しました。これは、従来のスコアノルムベースの手法では得られない洞察です。

5. 主要な貢献

1. GEPC の提案: 拡散モデルのスコア場の群一貫性をテストする、トレーニング不要な OOD スコアの導入。
2. 実用的なレシピ: 群プーリング、安定性に基づく時間ステップ選択、ID みのキャリブレーション（KDE や z-score）、および確率的サンプリングを組み合わせた効率的な実装手法の提示。
3. 理論的解析: 理想的な残差と共変性破れ関数の関係、および ID/OOD における期待残差の上下界の導出。
4. 実証的検証: 標準的な画像ベンチマークでの競争力のある性能と、SAR 画像のような高解像度・クロスドメイン設定での強力な検出能力と解釈可能性の証明。

6. 意義と結論

GEPC は、拡散モデルの「対称性」という性質を、OOD 検出のための新しい信号として活用するパラダイムシフトをもたらします。

• 計算効率: 重み付け逆過程やヤコビアン計算を不要とし、軽量な OOD 検出を実現します。
• 解釈性: 単なるスコア値だけでなく、画像のどの領域で対称性が破れているかを可視化し、異常検知の信頼性を高めます。
• 汎用性: 特定のドメインに特化せず、事前学習済みモデルをそのまま転用できるため、SAR 画像のようなラベル不足の分野や、安全クリティカルなセンサー応用において大きな可能性を秘めています。

この手法は、従来の幾何学的アプローチや軌道ベースのアプローチと相補的であり、拡散モデルを基盤とした OOD 検出の新たな基準となる可能性があります。