Anomaly Detection under Class Imbalance: A Survey of Methods, Evaluation Pitfalls, and Open Challenges
本综述系统地综合了针对极端类别不平衡下五个高风险领域的异常检测所涉及的数据、算法、生成式及自监督方法论，同时批判性地揭示了评估陷阱并概述了关键挑战，旨在为未来的研究提供指导。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代生活的庞大且轰鸣的机器中，从全球银行间的资金流动，到医院监护仪上病人心跳的稳定节奏，都存在着一种对“错音”的持续、无声的搜寻。这就是异常检测的世界——一个致力于识别那些偏离常态的罕见、怪异且危险时刻的领域。挑战并不在于这些系统无法发现异常，而在于异常是如此不可思议地罕见，以至于几乎是隐形的。在许多现实场景中，一次危险事件可能每隔一千次甚至一万次正常事件才会发生一次。这就像试图在一片绵延数英里的沙滩上寻找一颗特定的沙粒。当计算机程序被训练去寻找这些罕见事件时，它们往往会被海量的正常数据所迷惑，学会完全忽略那个罕见的沙粒，因为仅仅猜测一切正常要容易得多。这造成了一个危险的盲点，使得关键性的故障、欺诈或疾病被忽视。
阿卜杜勒·瓦利·汗大学马尔丹分校的研究员穆罕默德·贾比尔·汗（Muhammad Jabir Khan）最近进行了一项全面的综述，针对这一问题提出了解决方案，为科学家如何教计算机识别“大海捞针”中的隐形针提供了清晰的路线图。该论文并非提出了一项单一的新发明，而是通过综合数十年的研究，展示了不同方法如何处理正常与异常数据之间的极端不平衡。作者考察了涵盖五个高风险领域的数百项研究：捕捉信用卡欺诈、诊断工厂机器故障、监测患者健康、阻止网络攻击以及识别视频监控中的异常行为。通过将这些方法归入不同的类别，该综述揭示了尽管存在许多工具，但研究人员测试它们的方式往往存在缺陷，导致人们对那些在现实世界部署时可能会失效的系统产生了错误的信心。
问题的核心在于计算机是如何学习的。标准的学习算法旨在尽可能提高整体正确率。如果一个数据集包含999笔正常交易和仅1笔欺诈交易，计算机只需将每一笔交易都标记为“正常”，即可实现99.9%的成功率。它从未发现欺诈，但其整体得分看起来非常完美。这是一个被称为“准确率悖论”的陷阱。该综述强调，为了解决这个问题，研究人员开发了三种主要策略。第一种涉及在计算机学习之前改变数据本身。诸如合成过采样（synthetic oversampling）之类的技术通过融合现有的例子来创建新的、虚假的罕见事件示例，从而有效地让计算机通过更多关于罕见案例的练习来进行学习。第二种策略改变了游戏的规则，即教导计算机，错过一个罕见事件造成的错误要比发出一个虚假警报造成的错误严重得多。第三种，也是日益流行的方法，是使用深度学习模型，这些模型通过彻底理解什么是“正常”，从而使任何差异都能立即显现出来，而无需被明确教授什么是罕见事件。
然而，该论文最重要的发现不在于哪种工具效果最好，而在于研究人员如何衡量成功。该综述揭露了研究人员在测试这些系统时普遍存在的、危险的错误。许多研究在已经创建了罕见事件的虚假示例之后，才将数据拆分为训练组和测试组。这是一个致命的错误，因为这意味着计算机在训练阶段已经见过“测试”数据，本质上使评估失效了。这就像一名学生在参加考试前已经学习了答案解析。在这种情况下，计算机得分极高，但当它被部署到现实世界时却会完全失败，因为它从未真正学会识别异常，而只是学会了识别它被给予的虚假副本。作者认为，要获得真实的结果，必须先拆分数据，并且任何新示例的创建必须仅在训练组内进行，绝不能触及测试组。
除了测试方面的错误，该调查还指出了技术仍处于挣扎阶段的几个前沿领域。一个主要的障碍是变化的速率。在现实世界中，“正常”的定义会随着时间而变化；一种新型的欺诈出现了，或者一台机器开始以一种新的方式磨损。大多数现有系统是基于静态的数据快照构建的，在运行过程中当规则发生变化时，它们难以适应。另一个挑战是隐私。在医疗领域，医院无法相互共享患者数据以训练更好的模型。需要新的方法让计算机在互不接触彼此私密数据的情况下共同学习，而当某些医院病患极少而另一些医院病患极多时，这项任务变得更加困难。最后，综述指出，即使这些系统有效，它们也往往无法解释其做出决策的原因。在高风险情况下，医生或安全分析师需要知道为什么触发了警报，但最强大的计算机模型通常表现得像“黑箱”一样，无法提供明确的怀疑理由。
论文总结道，虽然我们拥有强大的检测罕见和危险事件的工具，但未来的道路不仅需要更好的算法，更需要一种构建和测试这些系统的方式上的转变。可靠异常检测的未来取决于创建能够从实时流数据中学习、适应变化环境并向人类操作员清晰解释其推理过程的模型。在研究人员能够解决测试中的数据泄露问题以及从极度稀疏的样本中学习的难题之前，这些系统仍将面临被其旨在预防的错误所攻击的风险。这项工作是一次必要的修正，敦促科学界停止庆祝那些虚高的分数，转而开始构建那些在风险最高时真正值得信赖的系统。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。