テクニカル・サマリー：異常検知アルゴリズムのランキングが予想ほど信頼できない理由

問題提起

異常検知（AD）は、不正検知、故障防止、ネットワーク侵入検知などの用途を持つ、安全性に直結する機械学習領域である。古典的な統計的手法からディープラーニングや基盤モデルに至るまで、多くの新しい手法が提案され、最先端（SOTA）の性能を謳っている。しかし、これらの主張は多くの場合、研究間で整合性が取れていないベンチマーク設定に基づいている。このような比較可能性の欠如は、ADベンチマークの再現性と信頼性に重大な懸念を抱かせる。本稿が取り組む核心的な問題は、アルゴリズムのランキングの不安定性である。すなわち、「最良」のアルゴリズムという結果が堅牢な発見なのか、それとも特定の実験設計の選択による副産物（アーティファクト）なのかという点である。

手法

ADランキングの安定性を調査するため、著者らは以下のフレームワークを用いた体系的な分析を行った。

• アルゴリズム: 広範な反復評価を可能にするため、代表的かつ計算負荷の低い7つのADアルゴリズムを選定した：KNN、LOF、Isolation Forest (IFOR)、HBOS、PCA、CBLOF、およびSEAN。
• データセット: 研究ではOddBenchベンチマークスイートから690個のデータセットを利用した。計算コスト（特に距離ベースの手法）を管理するため、データセットは5,000インスタンスにランダムサンプリングして制限した。
• ランキング不安定性指標: ランキングの安定性を定量化するために、新しい指標 $\sigma_{rank}$ を導入した。これは、変化するベンチマーク設定における各アルゴリズムのランクの平均標準偏差として定義される：
  $$\sigma_{rank} = \text{mean}_{algo} \left( \text{std}_{setting} \left( \text{Rank}(algo, setting) \right) \right)$$
  値が低いことはランキングが安定していることを示し、値が高いことはランキングが実験設計に強く依存していることを示唆する。
• 変動要因: 特定の要因を一つずつ変化させ、他の要因を一定に保つことで、以下の4つの要因の影響を分離・シミュレーションした：
  1. データセットの選択: データセットの数と構成のバリエーション（25、100、400のサブセット）。
  2. 評価指標: ROC-AUC と AUCPR の比較。
  3. ハイパーパラメータの選択: ハイパーパラメータ構成のランダムサンプリング。
  4. 乱数シードの選択: データサンプリングおよび初期化のための乱数シードの変動。

主な結果

分析の結果、異常検知におけるアルゴリズムのランキングは極めて不安定であり、実験的な選択に敏感であることが明らかになった。

• ランキングの揮発性: ランキングは異なる構成間で大幅に変化する。驚くべきことに、調査対象となった7つのアルゴリズムのうち5つが、評価された全設定の10%以上でトップのランクを獲得した。逆に、HBOSとCBLOFが最良の性能を示すことは稀であった（HBOSは1,016の設定のうち一度のみ、CBLOFは一度もなかった）。
• 「SOTA」の主張の実現可能性: 結果は、特定のアルゴリズムが最先端であるように見えるベンチマーク設定を構築することは比較的容易であることを示唆している。実験では、わずか8つのランダムな設定をサンプリングするだけで、特定のアルゴリズムが他のすべてのアルゴリズムを上回る構成を見つけることができた。
• 不安定性の支配的な要因:
  • データセットの選択とハイパーパラメータ: これらがランキングの不確実性の主要な要因である。ハイパーパラメータの選択は大幅な不確実性を導入しており、著者らは、この要因は古典的な手法において過小評価されている可能性が高く、より大きなハイパーパラメータ空間を持つ現代のディープラーニング手法においてはさらに顕著になるであろうと指摘している。
  • データセットの量: データセットの数を増やすことで不安定性は減少するが、その効果は飽和する。本研究は、総ランク不安定性を信頼できるレベル（$\sigma_{rank} \approx 0.2$）まで下げるには、約200個のデータセットが必要であることを示唆している。
  • 軽微な要因: 乱数シードの選択は無視できる程度の影響しかなく、一般的な評価指標（ROC-AUC vs. AUCPR）の選択は、データセットやハイパーパラメータの選択と比較すると小さいものの、顕著な影響がある。
• 不確実性の大きさ: 観察された不安定性（$\sigma_{rank} \approx 0.34$）は、最良と最悪のアルゴリズム間の平均ランキング差がわずか1.51ポジションであったことを考えると、非常に大きい。0.34ランクの不確実性は、全パフォーマンス・ギャップの大きな割合を占めている。

意義と推奨事項

本論文は、普遍的に「最良」の異常検知アルゴリズムという概念は、多くの場合堅牢ではなく、ベンチマーク構築の選択に大きく依存すると主張している。したがって、ベンチマークのランキングにおけるわずかな改善は、慎重に解釈されるべきである。

これらの知見に基づき、著者らは将来の研究に向けて以下の推奨事項を提示する：

1. 評価の規模: 将来のベンチマーク研究は、ランキングの安定性を確保するために、少なくとも200個のデータセットを活用すべきである。
2. ハイパーパラメータの感度: ベンチマークでは、単一の手動選択された設定に頼るのではなく、様々なハイパーパラメータ構成の下でアルゴリズムを明示的に評価すべきである。
3. 不安定性の報告: 研究には、結論の信頼性を定量化するために、不安定性スコア（提案された $\sigma_{rank}$ など）を含めるべきである。
4. 焦点の転換: 研究コミュニティは、ベンチマークのランキングにおける僅かな改善に注力するのではなく、堅牢性、再現性、およびアルゴリズムが良好に機能する具体的な条件の理解を優先すべきである。

著者らは、異常検知における実質的な進歩は、大量のデータセットにわたって顕著な改善が見られ、かつ設計の選択に依存しない不変性が確認された場合にのみ、達成されたとみなすことができると結論づけている。