🤖 machine learning

Testing the Test: Score-Direction Instability in Class-Split Anomaly Detection

本論文は、異常検知におけるデータセット内でのクラス分割評価において、保持された異常クラスが表現空間内で正常データと重複する場合、問題が不良設定となり、不安定または逆転したスコアを生じさせる可能性があることを示し、様々なデータセットや特徴空間にわたってこのような失敗を予測するための、学習を必要としない診断手法である「近傍クラス漏洩（neighborhood class leakage）」を提案するものである。

原著者： Alejandro Ascarate, Leo Lebrat, Rodrigo Santa Cruz, Clinton Fookes, Olivier Salvado

公開日 2026-06-03

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Alejandro Ascarate, Leo Lebrat, Rodrigo Santa Cruz, Clinton Fookes, Olivier Salvado

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

ビッグアイデア：「テストをテストする」

あなたが、生徒が「偽物の」リンゴをどれだけ上手く見分けられるかをテストしようとしている教師だと想像してください。手元には10種類の本物のリンゴ（レッドデリシャス、グラニースミス、ガラなど）が入ったバスケットがあります。

標準的なテスト（クラス分割法）：
テストを行うために、9種類を「正常」、残りの1種類を「異常（偽物）」とすることに決めました。あなたは生徒に対し、9種類の正常なリンゴについてのみ学習させます。その後、9種類の正常なリンゴと、その10種類目のリンゴを混ぜたものを見せ、「どれが偽物か」を指摘するように求めます。

この論文は、多くの場合、このテストは壊れていると主張しています。場合によっては、「偽物」のリンゴ（10種類目）が本物のリンゴにあまりにも似すぎているため、生徒が混乱してしまうことがあります。さらに悪いことに、どのリンゴを「偽物」として選ぶかによって、生徒は「本物」を「偽物」だと指してしまったり、あるいは単にランダムに推測したりすることになります。

コアとなる問題：「重なり合う群衆」

著者たちは、多くの画像データセット（CIFAR-10やImagenetteなど）において、コンピュータの思考内では「異常」クラスが「正常」クラスから決して遠くに離れていないことを発見しました。

メタファー： 混み合ったパーティーを想像してください。
- 正常グループ： 赤、青、緑のシャツを着た人々の集まり。
  - 異常グループ： 黄色のシャツを着た人々。
- 問題点： この特定のパーティーでは、黄色のシャツを着た人々が、青や緑のシャツを着た人々の真ん中に立っています。彼らはあまりにも混ざり合っているため、隣に誰が立っているかを見るだけでは、彼らを見分けることができません。

コンピュータが「異質なもの」を見つけようとすると、混乱が生じます。

崩壊（Collapse）： コンピュータの「これはどれくらい奇妙か」というスコアが、偶然レベル（50/50の推測）まで低下します。
反転（Inversion）： 時には、コンピュータが逆転してしまうことがあります。コンピュータは「奇妙な」黄色のシャツを着た人々を実は「正常」であると考え、逆に「正常な」青いシャツを着た人々を「奇妙」であると判断してしまいます。

「方向」の混乱

この問題の中で最も危険なのは、**方向の不安定性（Direction Instability）**です。

シナリオA： 「イエロー」を異常として選んだ場合、コンピュータは「高いスコア＝奇妙である」と学習します。
シナリオB： 「パープル」を異常として選んだ場合、コンピュータは「低いスコア＝奇妙である」と学習します。

もし、どのクラスが異常であるかを事前に知らない場合（現実の世界ではそれが普通です）、コンピュータには一貫したルールが存在しません。それは、ニューヨークにいるときは北を指すが、ロンドンにいるときは南を指すコンパスのようなものです。それをガイドとして信頼することはできません。

新しいツール：「近傍リーク（Neighborhood Leakage）」

著者たちは、異常検知器を実行する前に、テストが壊れているかどうかを確認するための、シンプルで無料の方法を考案しました。彼らはこれを**近傍リーク（Neighborhood Leakage）**と呼んでいます。

アナロジー： 群衆の中にいる一人の人物を見ていると想像してください。その人の最も近い隣人10人を確認します。
- リークが低い場合： 10人の隣人全員が、その人物と同じ色のシャツを着ています。グループは明確に分かれており、分離されています。この場合、テストは有効である可能性が高いです。
- リークが高い場合： その人は赤いシャツを着ていますが、最も近い隣人10人のうち8人が、青、緑、または黄色を着ています。グループは混ざり合っています。

論文は、リークが高い場合、テスト結果が不安定になったり、反転したり、あるいはランダムになったりすることを示しています。これは、「ストップ！このデータの幾何学的な形状は、この特定のテストを行うにはあまりにも乱雑すぎる」という「レッドフラッグ（警告）」なのです。

彼らが発見したこと

彼らはこれを3つの有名な画像データセットでテストしました。

Fashion-MNIST（単純）： 服のデザインは明確に区別できます。リークは低いです。テストは概ね機能します。
CIFAR-10 & Imagenette（複雑）： これらには車、動物、鳥などが含まれています。「異常」クラスが「正常」クラスと激しく重なり合うことがよくあります。
- 結果： 高いリーク。
- 結果としての影響： テストは極めて不安定な結果を示しました。時には、「異常」とされるクラスが、その部屋で最も「正常」なものとしてランク付けされてしまうこともありました。

まとめ

この論文は、「クラス分割」テスト（一つのカテゴリーを隠して異常として扱う方法）を、AIが異常を見つけることに長けている証拠として盲信すべきではないと結論付けています。

古い見方： 「AIが高いスコアを出せば、それは異常を見つけるのが賢いということだ。」
新しい見方： 「AIが高いスコアを出したとしても、それは単にその特定のテストの特異な性質を利用することに長けているだけかもしれない。まず『リーク』を確認する必要がある。もしグループが混ざり合っているなら、そのテストはデータの形状に対する『ストレス・テスト』であって、AIのスキルの証明にはならない。」

要約すると： 「このAIは異質なものを見つけることができる」というテストを信じる前に、その「異質なもの」が他のものの間に隠れていないかを確認してください。もし隠れているのであれば、そのテスト結果には意味がありません。

技術要約：テストの検証：クラス分割型異常検知におけるスコア方向の不安定性

1. 問題提起

データセット内でのクラス分割評価は、異常検知（AD）における標準的なプロトコルである。これは、特定の意味的クラスを「正常」とし、他のクラスを「異常」と指定することで、分布外（OOD）検知をシミュレートする手法である。この手法は外部データソースを必要としないという点で魅力的であるが、本論文は、選択された「異常」クラスが表現空間における「正常」混合分布と大きく重なっている場合、このプロトコルが厳密な運用上の意味において**不良設定（ill-posed）**になり得ると主張している。

特定された核心的な失敗モードは、**クラス依存的なスコア方向の不安定性（class-dependent score-direction instability）**である。保持された異常クラスが正常混合分布の高密度領域内または近傍に存在する場合、異常スコアは偶然レベルへと崩壊（AUROC $\approx$ 0.5）、あるいはより深刻なことに、反転（AUROC < 0.5）することがある。このようなレジームでは、「異常性」の方向（高いスコアが異常を示すのか、低いスコアが示すのか）は、未知の特定の異常クラスに依存してしまう。その結果、ベンチマークの結論は脆弱になり、堅牢で無条件なOOD検知能力を示すのではなく、データセット固有の癖を利用した手法を誤って高く評価してしまう可能性がある。

2. 手法

著者らは、追加の学習を必要とせずにこの不安定性を診断および定量化するためのフレームワークを提案している。

診断：近傍クラス・リーケージ（Neighborhood Class Leakage）
本論文では、固定された表現空間 $r(x)$ におけるクラス条件付き多様体間の重なりを定量化するために、近傍クラス・リーケージ（ $L_k$ ）と呼ばれる、学習を必要としない単純な指標を導入している。

定義: サンプル $x_i$ について、リーケージ $\ell_k(i)$ は、その $k$ 近傍（表現空間内）のうち、異なる意味的クラスに属するサンプルの割合である。
集計: データセットレベルの指標 $L_k$ は、全サンプルにおける平均リーケージである。
根拠: 高いリーケージは、局所的な幾何構造が意味的なクラス構造と一致していないことを示している。もし異常クラスが正常サンプルが密集する領域を占有している場合、標準的なADスコア（距離に基づくものや局所密度に基づくもの）は、それらを一貫して分離できない。

不安定性指標
ベンチマークの信頼性を特徴付けるために、著者らは「K-1 vs 1」プロトコル（各クラスを保持された異常クラスとして反復する手法）に基づいたいくつかの統計量を定義している。

AUROC 分散: 保持された異なるクラス間での AUROC スコアの分散。
ランダム近傍率（ $\rho_{rnd}$ ）: AUROC スコアが 0.5 付近に落ち込む頻度。
反転率（ $\rho_{inv}$ ）: AUROC スコアが 0.5 を下回る頻度。
方向不安定性率（ $\rho_{dir}$ ）: 好ましいスコアの方向（偶然からの正または負の偏差）が、異常クラスに応じてどの程度反転するかを示す尺度。

実験設定
本研究では、複雑さが段階的に増す3つのデータセットを評価している。

Fashion-MNIST: ネガティブコントロールとして使用（低重なり）。
CIFAR-10: 中程度の複雑さ。
Imagenette: 高い複雑さ。

これらは2つの表現空間でテストされる。

ピクセル空間: ベクトル化された生の入力。
VAE 潜在空間: 正常プールのみで学習された変分オートエンコーダ（VAE）からエンコードされた特徴量。

3つの標準的な無条件ADスコアラー（k-Nearest Neighbors, Isolation Forest, Local Outlier Factor）が適用される。

3. 主な結果

実証結果は、高い近傍リーケージとベンチマークの不安定性の間の強い相関関係を示している。

Fashion-MNIST: 低いリーケージ（ $L_k \approx 0.24$ ）と安定した挙動を示し、反転率および方向不安定性率は低い。
CIFAR-10 および Imagenette: ピクセル空間および潜在空間の両方において、高いリーケージ（ $L_k > 0.76$ ）を示す。これらのデータセットは、大幅な反転率（最大50%）と方向不安定性率（最大63%）を示している。
一貫性: 不安定性は異なるスコアリング・ファミリー（kNN, Isolation Forest, LOF）および表現空間にわたって持続しており、この失敗が特定の検出器の欠陥ではなく、データの幾何学的な重なりに起因する固有の性質であることを示唆している。
クラスごとの分散: CIFAR-10 のピクセル空間において、特定の異常クラスは、同じスコアリング規則を用いているにもかかわらず、偶然を大幅に下回る AUROC スコアを示す一方で、他のクラスは偶然を大きく上回るスコアを示す。

4. 貢献

本論文の主な貢献は以下の3点である。

失敗モードの定式化: クラス分割評価における、正常・異常の重なりに起因するクラス依存的なスコア方向の不安定性を特定し、定式化した。
学習フリーの診断法: クラス分割ベンチマークが信頼できない、あるいは反転したランキングを生む可能性が高いかを予測するための、単純な事前評価チェックとして近傍リーケージ指数（ $L_k$ ）を提案した。
実証的検証: 制御された行列（データセット、表現、スコアラー）を用いてこの現象を検証し、高いリーケージが特定のAD手法に関わらず不安定性を予測することを証明した。

5. 意義と主張

本論文は、クラス分割ベンチマークを、無条件の異常検知能力の決定的な証拠として扱うべきではないと主張している。むしろ、それらは幾何学依存的なストレス・テストとして捉えられるべきである。

「再反転」の否定: 著者らは、「より優れた」AD手法が単にランキングを「再反転」させて低いAUROCを修正できるという考えを否定している。もし異常性の方向が未知の異常タイプに依存するのであれば、特定の分割において高いAUROCを達成する手法は、クラスラベルと幾何学の間の特異な相関関係を利用しているだけであり、クラスに依存しない「非定型的であること」の概念を学習しているわけではない。
ベンチマークの解釈: リーケージ指数は事前条件チェックとして機能する。低いリーケージは、AUROC が正常混合分布からの分離を測定しているという解釈を支持する。高いリーケージは、高い反転率や方向不安定性と相まって、ベンチマークが一貫した意味的な異常ではなく、重なり合った幾何学を調査していることを示している。
推奨事項: 著者らは、クラス分割ベンチマークの結果が無条件のOOD検知能力を主張するために使用される前に、リーケージおよび方向不安定性の診断結果を報告すべきであると提案している。