An Insight on Evaluation Metrics Under the Imbalanced Case of Anomaly Detection

タイトル：異常検知における不均衡なケース下での評価指標に関する洞察

問題提起
異常検知は本質的に、正常データに対して異常が極めて稀であるという、深刻なクラス不均衡を特徴としている。この不均衡は、標準的な評価指標の解釈を複雑にする。AUROC、AUPR、F1スコア、およびマシューズ相関係数（MCC）といった指標は広く用いられているが、その数値的意味合いは異常比率によって変化する。単一のスカラー値は、モデルの挙動に関する情報を切り捨ててしまうことがあり、同一のスコアであっても、不均衡の度合いが異なれば全く異なる分類器の挙動を示すことがある。さらに、正常データのみで学習が行われる教師なし設定では、評価は極端に偏ったテスト分布の下で行われるため、性能評価は繊細なものとなる。標準的な指標の加重バリアントも存在するが、評価を運用上のクラス分布から切り離さないために、異常検知においては避けられることが多い。その結果、これらの標準的な指標を異なる不均衡レジーム下でどのように解釈すべきかについて、コンセンサスが得られていない。

手法
著者らは、4つの一般的な異常検知指標（AUROC、AUPR、F1、MCC）を、幅広いクラス不均衡比率にわたって系統的に分析することを提案している。核心となる手法論的貢献は、真陽性率（TPR/再現率）と真陰性率（TNR/特異度）の空間上に指標スコアをマッピングする可視化フレームワークである「メトリック・ランドスケープ（指標の景観）」の導入である。

本研究では以下を用いる：

1. データセット： 時系列異常検知（TSAD）、一クラス分類（OCC）、画像異常検知（IAD）を表す多様なベンチマーク。これには、異常比率0.19%から90%をカバーするUCR、WaDi、PUMP、SWaT、PSM、CIFAR-10、ViSA、MVTecが含まれる。
2. Null解析： 不均衡比率（99:1から1:99まで）にわたるランダムな予測の100回の試行から、平均、標準偏差、および平均正偏差を算出することでベースラインを確立する。
3. ランドスケープの進化： バランス型（50:50）と不均衡型（例：5:95）の設定におけるメトリック・ランドスケープの差を可視化し、指標の好みがどのようにシフトするかを観察する。
4. 因子分析： 3つの不均衡グループ（低、中、高）における、タッカーの合致係数（Tucker's congruence coefficients）およびピアソンの相関を用いた、指標間の潜在的な関係性の調査。

主な結果

• 指標の安定性とベースライン：
  • AUROCとMCCは、ランダムな予測下ではすべての不均衡比率において0.5を中心としているが、AUROCはより高い変動性（平均正偏差は約0.25に達する）を示す。
  • F1とMCCは、ランダムな挙動下で低い分散を示し、偽の高スコアを生じさせにくい。
  • AUPRのベースラインは異常の割合に応じて線形に変化するため、ランダムな性能からの偏差を定量化しやすいが、特定のレジームでは無視できない上昇偏差を示す。
• ランドスケープの挙動：
  • AUROCはクラス不均衡に対して不変であり、そのランドスケープ構造は比率に関わらず変化しない。
  • AUPRとF1は不均衡に対して非常に敏感である。負のクラスが支配的になるにつれ、AUPRのランドスケープは大幅に減少し（多くの領域で0.2〜0.4減少）、負のクラスの性能の影響力の低下を反映する。F1は、異常比率が減少するにつれて、同じスコアを得るためにより高いTNRを必要とする。
  • MCCは、極端なTNRの値は安定しているものの、中間値付近に分布が圧縮されるという複雑なパターンを示し、深刻な不均衡下での平均スコアの解釈を直接的にできなくさせる。
• 最小検出要件：
  • AUROCについては、0.5のスコアを得るために陽性サンプルを検出する必要はない。
  • AUPRについては、バランスの取れたデータセットで高スコアを得るためには、陽性の検出が最小限であっても負のクラスを100%正しく分類する必要がある。
  • F1については、スコアを上げるには常に、より多くの正しく分類された陽性を必要とするが、負のクラスを正しく分類するための要件は、異常比率が減少するにつれて増大する。
  • MCCについては、高度に不均衡なデータセット（例：UCR）において、陽性を全く検出せず、負のクラスを約10%しか正しく分類していなくても、~0.4のスコアを得ることが可能であるが、これは依然としてランダムなベースラインを下回っている。
• 指標の関係性：
  • 中程度の不均衡レジームでは、すべての指標が同様のローディング・プロファイルを示し、高い相関を示す。これは、それらが関連する構造を捉えていることを示唆している。
  • **低（高度に不均衡）**レジームでは、指標はより相補的になる。AUROCとMCCは密接に関連し続ける一方で、F1とAUROCは最も一致が低い。
  • **高（陽性クラスが支配的）**レジームでは、指標はさらにデコレーション（脱相関）する。特に、AUROCとMCCは完全な類似性を維持する（タッカーの合致度は0.997）が、AUPRとAUROCは一致度の低下が見られる。

意義と貢献
本論文は、既存の指標は、指標の値、予測の質、およびクラス不均衡の間の依存関係を明示的に考慮した上で提供される限り、有用であり続けると主張している。主要な貢献は、異なる指標が感度（Sensitivity）と特異度（Specificity）の間の異なるトレードオフをどのように強調し、その好みが不均衡の増大に伴いどのように変化するかを可視化するための直感的なフレームワークとして、メトリック・ランドスケープを導入したことである。

本研究は、異なる不均衡比率を持つデータセット間で異常検知の結果を解釈し比較するための実用的なガイダンスを提供する。これは、あらゆるシナリオに対して単一の「最良」の指標を提案するものではなく、むしろ現実的な条件下での指標の挙動を理解するための参照点を提供するものである。著者らは、同一のスコアが異なる分類器の挙動に対応し得ることを指摘しており、その分析はこれらの区別を明確にするのに役立つ。今後の課題として、産業モニタリング、IoT、サイバーセキュリティ、自動運転などの他のドメインへのこの分析の拡張が挙げられている。