技术摘要：为什么异常检测算法的排名并不像你想象中那样可靠

问题陈述

异常检测（AD）是一个对安全性至关重要的机器学习领域，广泛应用于欺诈检测、故障预防和网络入侵等场景。尽管各种算法层出不穷——从经典的统计方法到深度学习和基础模型——许多新方法都声称达到了最先进（SOTA）的性能。然而，这些声称往往依赖于在研究之间并不一致的基准测试设置。这种缺乏可比性的现象引发了对异常检测基准测试的可复现性和可靠性的重大担忧。核心问题在于算法排名的不稳定性：即所谓的“最佳”算法究竟是一个稳健的发现，还是特定实验设计选择下的产物。

研究方法

为了调查异常检测排名的稳定性，作者使用以下框架进行了系统性分析：

• 算法： 选择了七种具有代表性且计算量较轻的异常检测算法，以便进行大量的重复评估：KNN、LOF、孤立森林（IFOR）、HBOS、PCA、CBLOF 和 SEAN。
• 数据集： 本研究利用了来自 OddBench 基准测试集的 690 个数据集。为了控制计算成本（特别是对于基于距离的方法），数据集被限制为随机采样的 5,000 个实例。
• 排名不稳定性指标： 引入了一种新型指标 $\sigma_{rank}$ 来量化排名稳定性。它被定义为算法在不同基准设置下排名的平均标准差：
  $$\sigma_{rank} = \text{mean}_{algo} \left( \text{std}_{setting} \left( \text{Rank}(algo, setting) \right) \right)$$
  较低的值表示排名稳定，而较高的值则表明排名高度依赖于实验设计。
• 变异来源： 研究通过在保持其他因素不变的情况下改变其中一个因素，隔离并模拟了四个特定因素的影响：
  1. 数据集选择： 改变数据集的数量和组成（分别为 25、100 和 400 个子集）。
  2. 评估指标： 对比 ROC-AUC 与 AUCPR。
  3. 超参数选择： 随机采样超参数配置。
  4. 随机种子选择： 改变用于数据采样和初始化的随机种子。

关键结果

分析表明，异常检测中的算法排名具有高度的不稳定性，并且对实验选择非常敏感：

• 排名波动： 排名在不同的配置下会发生显著变化。值得注意的是，在所研究的七种算法中，有五种算法在超过 10% 的评估设置中获得了排名第一。相反，HBOS 和 CBLOF 很少出现在表现最佳的方法之列（HBOS 在 1,016 个设置中仅出现过一次；CBLOF 从未出现过）。
• “SOTA”声称的可行性： 结果表明，构建一个能让某个具有竞争力的算法看起来像是处于领先地位（SOTA）的基准测试设置是相对容易的。在实验中，仅采样八个随机设置就足以找到一种特定的配置，使某一特定算法优于所有其他算法。
• 主导不稳定性因素：
  • 数据集选择与超参数： 这些是排名不确定性的主要驱动因素。超参数的选择引入了巨大的不确定性，作者指出，这一因素在经典方法中被低估了，而在具有更大超参数空间的现代深度学习方法中，这种影响会更加显著。
  • 数据集数量： 增加数据集的数量可以降低不稳定性，但其效果会趋于饱和。研究表明，大约需要 200 个数据集 才能将总排名不稳定性降低到可靠水平（$\sigma_{rank} \approx 0.2$）。
  • 次要因素： 随机种子选择的影响微乎其微，且在常见评估指标（ROC-AUC vs. AUCPR）之间的选择与数据集及超参数选择相比，影响较小但仍有察觉。
• 不确定性的幅度： 观察到的不稳定性（$\sigma_{rank} \approx 0.34$）非常显著，考虑到研究中表现最好与最差算法之间的平均排名差距仅为 1.51 个位置。0.34 个排名的不确定性占了总性能差距的很大比例。

意义与建议

本文认为，是否存在一个通用的“最佳”异常检测算法通常并不稳健，且高度取决于基准测试的构建选择。因此，对于基准测试排名中微小的提升应持谨慎态度。

基于这些发现，作者对未来的研究提出了以下建议：

1. 评估规模： 未来的基准测试研究应至少使用 200 个数据集，以确保排名的稳定性。
2. 超参数敏感性： 基准测试应在多样的超参数配置下显式评估算法，而不是依赖于单一的手动选择设置。
3. 报告不稳定性： 研究应包含一个不稳定性得分（如所提出的 $\sigma_{rank}$），以量化其结论的可靠性。
4. 重心转移： 研究界应优先考虑鲁棒性、可复现性以及理解算法在哪些特定条件下表现良好，而不是仅仅关注基准测试排名上的边际改进。

作者总结道，只有当在大量数据集上观察到显著改进，并且这些改进在设计选择面前保持不变时，才能认为异常检测取得了实质性的进步。