🤖 machine learning

GEODE: Angle-Adaptive OOD Detection with Universal Scorer Compatibility

GEODE は、角度適応型ノルム損失を用いてアウトライア露出の境界較正の利点を合成的に再現する幾何学的保存 OOD 検出手法であり、手動で選定された補助データを必要とすることなく、7 つの標準的なスコアリング手法すべてにおいて堅牢な性能を達成する。

原著者： Bruno Abrahao

公開日 2026-05-05

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Bruno Abrahao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが、特定の人物（友人や家族など）を認識するように訓練された非常に賢い警備員（コンピュータプログラム）を持っていると想像してください。これらは「分布内（In-Distribution）」または ID データと呼ばれます。問題が生じるのは、見知らぬ人がゲートに近づいてきたときです。中には明らかに異なる国からの見知らぬ人（Far-OOD）もいますが、他の人々は友人に疑わしく似ています。彼らは似たような服を着ていたり、似たような髪型をしていたりするかもしれません（Near-OOD）。

OOD（Out-of-Distribution）検出の目的は、その警備員が、いかなる外見であっても、承認リストに載っていない人物を誰でも見つけられるようにすることです。

問題点：「万能型」の失敗

長らく、研究者たちは主に 2 つのトリックを使って、警備員に見知らぬ人を発見させるよう訓練しようとしました。

「Logit」警備員：警備員の内部の信頼度スコアを確認します。「これは私の友人だと、どのくらい確信していますか？」
「特徴量」警備員：特徴量の地図上の物理的な距離を確認します。「この人は、私の友人のグループからどのくらい離れていますか？」

この論文は、苛立たしいトレードオフを指摘しています。警備員を信頼度スコアのチェックに優れさせるように訓練すると、彼らはしばしば物理的距離のチェックが著しく劣るようになり、その逆もまた然りです。まるで、警備員を ID カードの読み取りの専門家にする一方で、顔の特徴を認識できないように盲目にしてしまうようなものです。

従来の解決策：「外れ値曝露（Outlier Exposure: OE）」

以前までの最良の方法は、**外れ値曝露（OE）**と呼ばれていました。これは、警備員に（異なる都市からの人々などの）ランダムな見知らぬ人の写真を示すトレーナーを雇い、「私の友人ではない」ものがどのようなものかを学習させるというものです。

難点：これらの「見知らぬ人」の写真の、巨大で慎重に選別されたアルバムが必要です。もし、見せられた見知らぬ人が、実際にゲートに現れる見知らぬ人と一致しなければ、訓練は失敗します。
秘密：著者たちは、OE がなぜ機能するのかを突き止めました。それは警備員がすべての見知らぬ人を暗記したからではありません。訓練が偶然、見知らぬ人の写真を「友人」と「見知らぬ人」の境界線上に位置させるように押しやったからです。まるで「立入禁止」の線を、友人の領域の端に直接描くようなものです。

新しい解決策：GEODE

著者たちはGEODE（GEOmetry-preserving DEtection）を作成しました。これは、見知らぬ人の実際のアルバムを必要とするのではなく、その場で偽物の見知らぬ人を作成し、賢く適応的なルールを用いて警備員を訓練します。

GEODE がどのように機能するかのアナロジーは以下の通りです。

1. 「変形する」見知らぬ人

単にランダムな写真を警備員に見せるのではなく、GEODE はあなたの友人の特徴量をシャッフルします（顔のピクセルを混ぜ合わせるようなものです）。これにより、奇妙に見えるが実在しない人物である「偽物の見知らぬ人」が作成されます。

2. 「賢い定規」（角度適応型ノルム）

これが中核的な革新です。警備員が、ある人物が友人グループの中心からどのくらい「外れている」かを測定するための定規を持っていると想像してください。

旧来の方法：「すべての見知らぬ人を宇宙の端まで押しやれ！」（これにより、信頼度ベースでは発見しやすくなりますが、距離ベースのチェックのための地図を破壊してしまいます）。
GEODE の方法：「賢い定規を使用する」。
- 偽物の見知らぬ人が特定の友人グループの近くに立っている場合（高い類似性）、定規はこう言います：「少し離れてはいるが、行きすぎないように」。これにより、地図の局所的な形状が保持され、距離ベースの検出器（KNN など）が依然として機能します。
- 偽物の見知らぬ人がどの友人グループからも遠くに立っている場合（低い類似性）、定規はこう言います：「中心まで全力で走れ！」。これにより、彼らは信頼度ベースの検出器にとって非常に発見しやすくなります。

この「賢い定規」は、それぞれの偽物の見知らぬ人がどこに立っているかに基づいて、その一人ひとりの訓練ターゲットを調整します。まるで、中心に近いダンサーにはグループの近くに留まるよう指示し、後方にいるダンサーには前方へ移動するよう指示するダンスのインストラクターのようであり、全員があらゆる角度から監視しやすい隊形を保つようにします。

なぜこれが重要なのか

普遍的な互換性：ほとんどの方法は、ある種の検出器を修正するために別の検出器を壊してしまいます。GEODE は初めて、「信頼度スコアの読み取りと、物理的距離のチェックの両方で警備員を優れさせることができる」と宣言します。これは、いずれの検出器も破損させることなく、見知らぬ人をチェックする 7 つの標準的な方法すべてと機能します。
追加データ不要：訓練のために「見知らぬ人」のデータセットを見つける必要はありません。GEODE は、すでに持っているデータをシャッフルすることで、訓練信号自体を生成します。
「ヌル空間」の罠：この論文は、見知らぬ人を警備員が見えない「盲点（ヌル空間）」に押しやろうとする他の手法（PFS など）を警告しています。これは警備員を信頼度スコアのチェックでは優れさせますが、距離ベースのチェック（ID カードは読めるが、目隠しをしているような警備員）に対しては完全に盲目にしてしまいます。GEODE は、見知らぬ人を適切な場所に可視的に保つことで、この罠を回避します。

結論

GEODE は、その場で賢く適応的な偽物の見知らぬ人を作成することで、コンピュータモデルに見知らぬ人を発見させるよう教える新しい訓練技術です。すべての見知らぬ人を単一の「悪い」領域に強制するのではなく、あらゆる種類の検出方法に対して「友人」と「見知らぬ人」の境界を明確に保つ幾何学的なパターンに配置します。

これは追加データを必要とせず、ある問題を修正する際に別の問題を壊すという一般的な落とし穴を回避します。つまり、それは警備員を堅牢で多用途にし、現れる可能性のあるあらゆる種類の見知らぬ人に対応できる状態にするのです。

技術的サマリー：GEODE - 汎用スコアラー互換性を備えた角度適応型 OOD 検出

1. 問題定義

分布外（OOD）検出は、展開された分類器が学習していない入力に対してフラグを立てることを目指す。現在の手法は、事後スコアリング（凍結モデルに適用）と学習ベースの手法（特徴量やロジットを再構築するもの）の間に根本的な緊張関係に直面している。

トレードオフ: ロジットベースのスコアラー（例：MSP、Energy）を改善する学習手法は、しばしば特徴空間ベースのスコアラー（例：KNN）を劣化させ、その逆もまた然りである。既存のどの手法も、すべての標準的なスコアラーにわたって、かつ近接 OOD と遠隔 OOD の両領域で同時に強力な検出性能を達成していない。
Outlier Exposure (OE) の限界: OE は実在の補助 OOD データを用いる支配的な学習ベース手法であるが、2 つの問題に悩まされている。
1. スコアラー依存性: 一部のスコアラーでは強力だが、他では弱いというトレードオフを示す。
2. データ依存性: 真のテスト時 OOD 分布と一致するよう調整された補助データが必要であり、この要件は労働集約的で脆弱である。
Null-Space の失敗: PFS などの最近の手法は、OOD 特徴量を分類器の零空間へ押しやることでロジットスコアを向上させようとする。しかし、これは特徴空間の幾何学構造を壊滅的に破壊し、KNN ベースの検出を失敗させる（ランダムより悪い性能になる）。

ここで扱われる核心的な問いは、「OE を有効にする幾何学的性質は何であり、これを実在の OOD データなしに合成的に再現して、汎用的なスコアラー互換性を達成できるか？」である。

2. 手法：GEODE

著者は、決定境界を較正しつつ特徴量の幾何学構造を保持するために OOD シグナルを合成する学習ベース手法であるGEODE (GEOmetry-preserving DEtection) を提案する。

2.1 OE の幾何学的分析

学習済みバックボーン（ResNet-18）の最終層における幾何学的分析を通じて、著者は以下のことを発見した。

OE はカバレッジではなく境界較正である: OE 特徴量は、実在の近接 OOD データと幾何学的に区別がつかない。具体的には、ノルム比、クラス平均への最大コサイン類似度、部分空間射影において一致する。
四分位効果: OE データの「境界隣接四分位」（ID クラス平均へのコサイン類似度が高いサンプル、 $>0.85$ ）が、OE の性能向上のほぼすべてを牽引する。境界から遠いサンプルはほとんど寄与しない。
結論: 有効なメカニズムは、OOD 空間全体をカバレッジすることではなく、境界領域を較正することである。

2.2 GEODE のメカニズム

GEODE は、特徴量シャッフル（バッチ内の次元を順列する）と角度適応型ノルム損失を用いて、この較正を合成的に再現する。

合成 OOD 生成: 補助データを使用する代わりに、GEODE は ID 特徴量のバッチに対して次元を独立に順列することで、合成 OOD 特徴量 ( $h_{ood}$ ) を作成する。これにより次元間相関は破壊されるが、周辺統計量は保持される。
角度適応型ターゲット: 中核的な革新は、合成特徴量と最寄りのクラス平均 ( $\mu_c$ $μ_{c}$ ) とのコサイン類似度 ( $s$ $s$ ) に基づいてサンプルごとにスケーリングされるターゲットノルム $t$ $t$ である。
$s = \max_c \cos(h_{ood}, \mu_c)$
$t = s^2 \cdot \alpha \cdot r_{id}$
ここで $r_{id}$ $r_{i d}$ は平均 ID 特徴量ノルム、 $\alpha$ $α$ は緩和パラメータである。
- クラス平均に近い場合 ( $s \approx 1$ ): ターゲットノルムは大きくなる ( $t \approx \alpha \cdot r_{id}$ )。これにより、KNN などの距離ベーススコアラーに必要な局所的な特徴量幾何学が保持される。
- クラスから遠い場合 ( $s \approx 0$ ): ターゲットノルムは小さくなる ( $t \approx 0$ )。これにより特徴量が原点へ押しやられ、MSP や Energy などのロジットベーススコアラーのための分離が鋭化される。
コントラスト ID マージン: 両側からマージンを広げるため、コントラスト項が ID 特徴量のノルムを $r_{id}$ よりわずかに大きくすることを促す（ $\|h\| < r_{id}$ の場合のみ ID 特徴量を罰する）。
損失関数: 総損失は、クロスエントロピー、適応型 OOD ノルムペナルティ、コントラスト ID マージンを組み合わせる。

2.3 理論的正当性

この設計は、クラス平均が単純形等角緊密枠（ETF）に収束するNeural Collapse (NC) 理論に基づいている。

定理 1: シャッフルされた特徴量はグローバル平均に集中するため、個々のサンプルの角度に基づく適応型ターゲティングが必要であることが正当化される。
定理 2 & 3: 適応型ターゲットは、一様なノルムペナルティよりも、クラス境界付近の局所的なペアワイズ距離を保持する（KNN に不可欠）。
定理 4: OOD 特徴量を PFS が行うように零空間へ押しやることは、条件付き距離変動を排除し、KNN の失敗を招く。GEODE は OOD 特徴量を分類器部分空間内に保持することでこれを回避する。

3. 主要な貢献

幾何学的枠組み: OE が機能する理由（境界較正）の幾何学的特徴付けを初めて提供し、KNN に対する Null-Space 手法（PFS）の壊滅的失敗を診断した。
手法設計: 補助データなしで OOD シグナルを合成し、ロジットベースおよび特徴空間ベースのスコアラーの両方に必要な幾何学を保持する、角度適応型ノルム損失を導入した。
経験的普遍性: GEODE は CIFAR-10 および CIFAR-100 において、すべての 7 つの標準スコアラー（MSP, Energy, ODIN, ReAct, Scale, ASH, KNN）で競争力のある AUROC を達成し、単一のスコアラーにおける壊滅的失敗を回避した。
構成性: GEODE は OE と直交する。これらを組み合わせることで最先端の結果（例：CIFAR-10 で MSP 95.0 / KNN 94.8）が得られ、OE 単体よりもすべてのスコアラーで上回った。

4. 実験結果

ResNet-18 および WRN-28-10 を用いて OpenOOD v1.5 ベンチマーク（CIFAR-10, CIFAR-100, ImageNet-200）で評価された。

CIFAR-10 (近接 OOD): GEODE は 92.30 AUROC (EBO) を達成し、すべての 7 つのスコアラーで 89.0 から 92.3 の範囲にある。他の手法で見られる「壊滅的失敗」を回避する（例：PFS は KNN を 14.38 まで低下させるが、GEODE は 89.04 を維持する。これは巨大なロジット向上のための意図的な 1.6 ポイントのトレードオフである）。
CIFAR-100: GEODE は一致したエポック数でバニラ CE を上回り、組み合わせるとすべての 3 つのスコアラー（MSP, Energy, KNN）で OE を凌駕する。
ImageNet-200: GEODE はスコアラー間で壊滅的失敗を示さない（範囲 77.93–83.48）のに対し、LogitNorm は Energy (29.67) および ReAct (26.53) で壊滅的に失敗する。
学習ダイナミクス: GEODE は学習が進むにつれて（最大 400 エポックまで）バニラ CE を上回り、Neural Collapse 収束の恩恵を受ける。対照的に、LogitNorm は NC 収束を妨げるため、より長い学習では劣化する。

5. 意義と主張

本論文は、GEODE がロジットベースと特徴空間ベースの OOD 検出間の長年のトレードオフを解決すると主張する。効果的な OOD 検出は、完全な OOD カバレッジではなく境界較正に依存するという認識に基づき、GEODE は決定境界の幾何学的軌跡を尊重する学習シグナルを合成する。

汎用互換性: 特定のスコアラーファミリーを最適化して他を犠牲にする以前の手法とは異なり、GEODE は壊滅的失敗なくすべての標準スコアラーで機能する。
データ効率: 調整された補助 OOD データセットを必要とせず、合成的な特徴量シャッフルに依存することでこれらの結果を達成する。
理論的整合性: この手法は、この収束を乱すロジット修正手法とは異なり、Neural Collapse の自然な収束と互換性があるように設計されている。

著者は謙虚に限界を指摘する。コントラストマージン成分は、100 クラスの ETF 幾何学の脆弱さにより CIFAR-100 にはうまく一般化せず、GEODE は小規模データセットにおいてバニラ ViT-B/16 を上回らない（LayerNorm がノルム変動を消去し、モデルが NC 領域に到達していないためと思われる）。今後の課題として、Transformer 対応のバリエーションや大規模ベンチマークが提案されている。