A Comprehensive Study of Supervised Machine Learning Models for Zero-Day Attack Detection: Analyzing Performance on Imbalanced Data

想象一下，互联网就像一座规模宏大、繁忙喧嚣的城市，数据如同在无尽高速公路上穿梭的车流。在这座城市里，安全卫士（防火墙和杀毒软件）伫立在每一个检查站，核对身份证明，以确保没有陌生人潜入。通常情况下，这些卫士都有一本“通缉令”手册，里面记录着已知罪犯的照片。如果一个陌生人的长相与名单上的某人相似，他就会被拦下。但当一个全新的罪犯出现时，一个从未被见过、长相不符合手册中任何照片的新面孔，会发生什么？这就是“零日”（zero-day）攻击的噩梦：数字入侵者利用一种安全系统从未遇到过的全新手段进行攻击。

为了抓住这些隐形的窃贼，科学家们正转向一种特殊的侦探——机器学习。把这些侦探想象成正在学习的学生，他们通过研究成千上万个“正常交通”和“异常交通”的案例来学习模式。然而，他们的课堂里有一个棘手的难题：老师（数据）给他们的“正常交通”案例太多了，而“异常交通”的案例却极少。这就像是在森林里学习识别一种稀有且害羞的动物，而森林里的生物 99% 都是松鼠。这个学生可能会变得非常擅长识别松鼠，但可能会完全错过那只稀有的动物，因为他在训练期间几乎没见过它。这篇论文深入探讨了如何教导这些数字侦探，让他们在面对压倒性的普通“松鼠”时，依然能识别出那些全新的、稀有的威胁。

---

伟大的数字侦探赛跑

在这项研究中，研究人员 Zahra Lotfi 和 Mostafa Lotfi 搭建了一个庞大的训练场，旨在观察哪种机器学习模型能成为终极的零日攻击检测器。他们不仅想知道哪个模型最聪明，还想知道哪个模型反应最快。毕竟，在现实世界中，如果一名安全卫士需要花一个小时才能检查完一个人的身份证明，那么即使他从不出错，也是毫无用处的。

研究人员使用了一个名为 UNSW-NB15 的巨型数据集，其中包含超过 140 万条网络流量记录。为了使测试更具现实意义，他们设计了一个场景：模型在混合了正常流量和已知攻击的样本上进行训练，但在测试时却遇到了它们从未见过的“零日”攻击。为了增加难度，他们使用了一个严重失衡的数据集，其中正常流量的数量远超攻击流量，正如现实生活中的情况一样。

他们测试了五种不同的“侦探”（机器学习模型）：

1. 决策树 (Decision Tree, DT)： 一种通过一系列“是或否”问题来进行决策的模型。
2. 逻辑回归 (Logistic Regression, LR)： 一种计算某事发生为攻击概率的统计模型。
3. 随机森林 (Random Forest, RF)： 由许多决策树组成的团队，通过投票来决定答案。
4. XG Boost (XGB)： 一个通过不断改进自身错误来变得更强大的强大团队，以速度极快而闻名。
5. 多层感知器 (Multilayer Perceptron, MLP)： 一种模仿人类大脑神经元层的深度学习模型。

平衡天平的魔力

研究人员应对的最大障碍之一是“类别不平衡问题”。由于攻击案例相对于正常案例而言太少了，模型很难学习攻击行为的真实样貌。为了解决这个问题，团队使用了一种被称为 SMOTE（合成少数类过采样技术）的技术。

想象一下，你试图教一个孩子识别一种罕见的蓝鸟，但你手里只有一张它的照片。这个孩子很可能会忘记它的样子。SMOTE 就像一台神奇的复印机，它通过将原始照片与其邻近照片进行融合，创造出许多张略有不同的新蓝鸟照片。这给了孩子足够的例子，让他们真正理解这种鸟的长相，而无需在野外寻找更多真实的鸟类。研究人员将此技术应用于数据，通过创建合成的攻击案例来平衡训练集。

结果：谁赢得了比赛？

结果呈现出“最聪明”与“最快”之间的博力，胜负取决于你的衡量标准。

当模型在没有使用平衡技巧（SMOTE）的情况下进行测试时，它们很难识别出稀有的攻击。例如，随机森林模型仅捕捉到了约 83.11% 的攻击，而 MLP 模型表现更差，仅捕捉到了 25.35%。

然而，当他们使用 SMOTE 来平衡数据时，性能大幅飙升。

• 最聪明的侦探： 随机森林 (RF) 模型在准确度方面成为了无可争议的冠军。在平衡数据下，它成功捕捉到了高达 94.38% 的零日攻击（召回率），准确率达到了 98.91%。它是最可靠的，不会漏掉坏人。
• 速度达人： 但问题在于，随机森林的速度非常慢。它处理测试数据花费了 1,379.10 秒（超过 22 分钟）。在真实的网络攻击中，等待 22 分钟才去阻止黑客，就像是等火把整栋建筑烧毁后才打电话给消防队一样。
• 最佳全能选手： 接下来是 XG Boost (XGB)。虽然它捕捉到的攻击不如随机森林那么多（它捕捉到了 81.40%），但它的速度极快。它仅用了 5.08 秒 就完成了同样的任务。同时，它也保持了 98.21% 的高准确率。

结论

研究人员得出结论：虽然随机森林在寻找这些隐形零日攻击方面在技术上是最准确的模型，但对于实时安全系统来说，它的速度太慢，并不实用。如果你需要一个永不疲倦、从不错过任何细节的卫士，但它思考起来却要花很长时间，那你可能会遇到麻烦。

相反，他们将 XG Boost 评为现实世界使用的首选。它提供了最佳的平衡点，既“极其快速又精准”。它证明了你并不总是需要一个绝对完美的检测器；你需要的是一个足够快、能在造成破坏前拦截攻击的检测器。

研究还证实了“神奇复印机”（SMOTE）是必不可少的。如果没有它，模型会对稀有攻击视而不见。有了它，即使是较慢的模型也会显著提升，尽管模型的运行速度仍然是决定在现实世界中使用哪一个的关键因素。

最后，这项研究表明，在捕捉数字罪犯的竞赛中，仅仅聪明是不够的；你还必须足够快。有时，那个能秒速跑完一英里、虽然不是第二聪明但速度极快的侦探，才是真正拯救局面的那个人。