想象一下互联网是一个巨大且繁忙的城市，每个设备都在不断地大声呼喊请求以寻找路径。几十年来，这些呼喊就像是在邻居之间传递的公开信件：任何路过的人都可以阅读它们、窃取其中的秘密，甚至伪造假信件将人们引向错误的地方。为了解决这个问题，工程师们建造了一个名为“DNS over HTTPS (DoH)”的“安全隧道”。你可以把它想象成把那些公开信件装进一个坚固且无法破坏的钢制保险箱里，然后通过一辆看起来和成千上万辆合法货车完全一样的特殊运输车进行发送。这对于隐私保护来说非常出色，因为没有人可以窥视箱子内部，但它也给安全警卫制造了一个新问题：如果罪犯想要从城市中偷运被盗数据，他们只需将数据藏在其中一个这种锁定的箱子里即可。警卫看不见里面有什么，而且这个箱子看起来就像一辆正常的送货车，这使得识别坏人变得异常困难。

这就是 Enas Selem 和 Rania Salama 的研究人员所应对的挑战。他们提出了一个关键问题：我们如何在不破坏锁具或减慢城市运行速度的情况下，抓住躲在锁定箱子里的罪犯？该论文提出了一种聪明的“混合型”侦探系统。他们并没有仅仅依赖一种方式来识别罪犯，而是将一位目光敏锐的监督者（一种名为 XGBoost 的机器学习模型）与两个“异常检测器”（Isolation Forest 和 Local Outlier Factor）结合在一起。想象一下，这位监督者是一位经验丰富的警察，他根据过去的案例了解典型罪犯的样子。而这两个异常检测器则像是两组传感器，每当一个人的行为不符合正常、诚实公民的模式时，它们就会发出“这里有异常！”的尖叫，即使这位警察从未见过这种特定类型的罪犯。研究人员使用大规模的互联网流量数据集对这个团队进行了测试，其中包括了罪犯使用系统从未见过的工具进行的复杂场景。他们发现，虽然在简单的情况下这个混合团队并不总是能胜过那位资深警察，但在捕捉那些警察漏掉的隐蔽、未知的罪犯方面，他们的表现极其出色，在最艰难的测试中，将漏掉的攻击减少了约 70% 到 74%。

混合侦探的故事

研究人员构建了一个充当互联网流量安全检查站的系统，但带有一个转折。他们并没有试图读取那些锁定的钢制箱子（因为由于加密，这是不可能的），而是观察这些箱子的移动方式。他们观察交付的时间间隔、包裹的大小以及它们到达的频率。

他们发明的核心是一个“混合”团队。主角是 XGBoost，一个强大的机器学习模型，扮演着资深侦探的角色。它研究过数千个过去的案例，并了解已知坏人的特定“特征”。但研究人员知道，如果罪犯更换了装束或使用了新花招，侦探可能会感到困惑。因此，他们增加了两个助手：Isolation Forest 和 Local Outlier Factor。

把这些助手想象成“怪异度检测器”。它们并不关心特定的罪犯特征。相反，它们仅针对“正常”公民的行为进行训练。如果一个人走进车站时举止怪异——也许他走得太快，或者他的包裹重量与其他人的不一样——这些检测器就会拉响警报。它们不需要知道这个人是谁，它们只需要知道这个人不符合大众的特征。

研究人员将侦探的知识与这两个怪异度检测器的警报结合成一个单一的“超级特征”列表。然后，他们将这个列表反馈给侦探以做出最终判断。他们特意选择 不 使用更复杂的深度学习“大脑”（如 autoencoder），因为他们的测试表明，这会让系统变慢且变得复杂，却无法捕捉到更多的罪犯。他们发现，由侦探加上这两个怪异度检测器组成的更简单、更轻量级的团队达到了完美的平衡。

大考：捕捉未知

这篇论文的真正魔力不仅在于系统有效，还在于它如何处理未知情况。研究人员让他们的系统经历了一系列严苛的测试，称为“留一攻击法”（Leave-One-Attack-Out）。想象一下这样一个游戏：侦探接受了三种类型小偷的训练：用撬棍的小偷、用锁匠工具的小偷，以及用塑料撬棍的小偷。但随后，测试向他们投掷了一个使用“螺丝刀”的小偷——这是一种侦探从未见过的工具。

在这些测试中，研究人员还移除了“DoH 标记”（一个表示“这是一个锁定箱子”的简单线索），以增加任务难度。他们想看看系统是否仍然能仅通过观察小偷行为的怪异程度，就能抓住这个使用螺丝刀的小偷。

结果令人印象深刻。在所有 15 种不同的测试配置（使用不同的随机种子以确保公平性）中，混合团队捕捉到的罪犯数量都明显多于单独工作的侦探。

• 对于“null”类型的未知攻击，混合团队平均仅漏掉了 52.2 个罪犯，而单独工作的侦探则漏掉了 178.6 个。这意味着漏掉的攻击减少了 70.8%。
• 对于“srv”类型，他们漏掉了 39.4 个而非 127.6 个（减少了 69.1%）。
• 对于“txt”类型，他们漏掉了 26.2 个而非 101.2 个（减少了 74.1%）。

统计测试证实了这并非偶然；这种差异是真实且显著的。混合系统起到了安全网的作用，捕捉到了那些因为行为略显“异常”而导致侦探未能记住从而漏掉的罪犯。

它的闪光点与短板

论文非常诚实地说明了该系统在何处表现最佳，以及在何处表现不佳。

• 优势领域： 当系统面临从未见过的攻击类型时，“怪异度检测器”成为了英雄。它们察觉到了流量中的异常，并帮助侦探做出了正确的判断。
• 中立地带： 当系统在与其学习内容完全一致的数据上进行测试时（例如“标准”或“全数据”场景），混合团队的表现略好于或等同于单独工作的侦探。在一种被称为“跨场景”（Cross-Scenario）的特定情况下（即正常流量在训练和测试之间发生了微小变化），两个系统基本持平。事实上，怪异度检测器在这种情况下有时会引发误报，将正常但略有不同的流量标记为可疑。
• 速度限制： 研究人员还检查了系统的运行速度。他们发现，与单独工作的侦探相比，混合团队逐个检查单个包裹（流式处理）的速度慢了大约 16 倍。然而，如果他们批量检查包裹（比如一次检查一整卡车的货物），减速仅为约 2.3 倍。这意味着该系统非常适合分析短时间的流量爆发（批处理），但可能对于检查每一个实时到达的数据包来说太慢了。

“特征差距”问题

有一个棘手的案例是系统表现挣扎的地方：一个名为 dns2tcp 的工具。即使有了混合团队，系统也只能捕捉到大约 35% 的 dns2tcp 攻击。研究人员进行了深入调查，发现这是一个“特征域差距”。事实证明，该数据集中的 dns2tcp 流量在本质上是不同的——它更短、更快，传输的数据也更少。这就像试图识别一个在不同星球上奔跑的窃贼——“怪异度检测器”无法判断这种行为是因为犯罪还是仅仅因为来自另一个世界。系统无法通过增加更多规则来修复这一点；数据本身与系统训练时的内容差异太大。

总结

这篇论文表明，在面对隐藏在加密隧道中的数字罪犯时，拥有“第二双眼睛”去寻找怪异之处而非仅仅匹配指纹，是一个改变游戏规则的做法。混合框架并不是要取代专家侦探，而是为处理未知情况提供了一个安全网。虽然它并非解决所有问题的万灵药（它确实会消耗更多的计算资源），但它证明了结合不同类型的智能——用于已知威胁的有监督学习，以及用于处理怪异和未知情况的无监督学习——可以创造出更加稳健的防御体系。研究人员建议，这种方法连同他们严谨的测试方法，应该成为构建能够应对下一代隐蔽攻击的安全系统的标准。