Entity Embeddings and Ensemble Learning for Multi-Attribute Cyber-Attack Forecasting: A Benchmark and Evaluation Protocol for Merged Incident Repositories

在网络安全这一高风险领域，防御者长期以来一直处于被动模式，等待警报响起后才能采取行动。当攻击被检测到时，损失往往已经造成。为了改变这种动态，研究人员转向了预测：尝试在攻击发生之前，预测会发生什么样的攻击、会在哪里发动袭击以及谁会被作为目标。这一领域依赖于海量的历史数据，即事件库（incident repositories），这些记录了过去网络攻击的细节。然而，这些记录通常散落在不同的数据库中，每个数据库都有自己的语言和格式，而且许多记录都缺失了关键细节。为了构建一幅有用的未来图景，科学家们必须将这些分散的档案合并成一个完整的叙事，并利用从现有数据中推导出的合理推测来填补缺失的空白。挑战在于，必须确保这些推测不会在无意中误导那些旨在从中学习的模型，从而创造出一种并不存在的虚假安全感。

来自伊斯兰国际大学（位于伊斯兰堡）、首尔大学以及普林斯穆格林大学的研究小组致力于测试这一常见做法的可靠性。他们结合了两个大规模的网络事件数据库：VERIS社区数据库（提供深度、结构化的攻击细节，但记录止于2于2017年）和Hackmageddon（提供持续的近期事件流，但细节信息较少）。通过整合这两个来源，他们创建了一个涵盖五十多年、超过2万起事件的统一记录。为了使数据可用，他们必须为每起事件填补缺失字段，例如攻击者的具体动机或被针对的资产类型。他们通过训练一个计算机模型，根据其他数据库中可用的信息来预测缺失的细节。这个过程产生了一个完整的数据集，但也引入了一个微妙的陷阱。由于缺失的标签是由一个使用与后续预测模型相同的特征进行预测的计算机模型生成的，因此这些预测模型本质上是在用它们已经学习过并识别出的答案进行测试。

当研究人员在这个合并后的数据集上评估其预测模型时，结果最初看起来非常乐观。模型预测未来攻击类型的准确率似乎超越了标准基准。然而，团队怀疑这些高分是由数据构建方式造成的幻觉。为了调查，他们将测试数据分为两组：一是攻击类型最初由人类观察并记录的记录，二是攻击类型在合并过程中由计算机模型重建的记录。两者的差异极其显著。在具有人类观察标签的记录上，模型的表现大幅下降，这表明在完整数据集上的高分很大程度上是由于模型仅仅记住了用于填充缺失数据的计算机所呈现的模式。事实上，两组之间的差距如此之大，以至于整体平均性能被夸大了近百分之四十四，如果研究人员只看合并后的数字，这种扭曲将无法被发现。

为了确认这种通胀是由于填补缺失数据的行为本身引起的，而非由于两个时期之间存在的其他差异，研究人员进行了一项对照实验。他们选取了一个所有数据最初都由人类观察的时期，然后故意隐藏了一部分标签，并使用与主数据集相同的计算机模型来填充它们。当他们在这种混合数据上训练预测模型时，在这些隐藏的、重建的标签上的表现再次远高于在观察到的标签上的表现。这证明了填补（imputation）这一行为本身创造了一个循环回路，使得模型学习的是模仿“填充者”而非现实世界的现象。研究还提出了一个反直觉的发现：计算机模型在填补缺失数据方面的表现越差，预测模型的性能被人工夸大的程度就越高。一个表现不佳的填充器会产生一种独特的、特异性的模式，这种模式对于下游模型来说很容易学习；而一个高度准确的填充器则能完美融入，不会产生如此明显的、可学习的信号。

除了数据泄露问题外，研究人员还探讨了如何最好地表示记录中的信息。网络事件数据充满了高基数类别（high-cardinality categories），例如数百个不同国家的名字或数千个特定组织的名称。传统方法通常将这些视为简单的数字，这会误导模型。团队测试了一种称为实体嵌入（entity embeddings）的技术，该技术学习每个类别的独特、稠密的数学表示，使模型能够理解它们之间的关系。这种方法极大地提高了模型预测攻击类型的能力，使其性能比传统方法提升了近百分之十九。这一发现表明，以往声称深度学习模型在此类数据上表现不佳的研究，可能受限于数据的呈现方式，而非模型本身。

研究还考察了预测受攻击的具体国家的难度。虽然模型可以通过简单地猜测最常见的国家来获得较高的整体准确率，但在正确识别频率较低的目标方面却表现得极其吃力。在这一任务上的表现如此之低，几乎仅略高于始终猜测多数类（majority class）的基准线。研究人员确定，这并非由于缺乏数据或攻击数量的不平衡，而是因为现有的记录中根本没有足够具体的细节来区分数百个不同的国家。现有的特征并不具备足以使这些细粒度预测变得可靠的地理信号。

最后，团队在严格的时间序列评估下测试了他们的模型——即利用过去的数据进行训练，并利用未来的数据进行测试，这是评估预测系统唯一真实有效的方法。在这些现实条件下，性能进一步下降，而此前在表现上落后于简单树模型的深度学习模型最终实现了超越。这种逆转表明，得益于更好的数据表示，深度模型在推广到新的、未见的时期方面表现得更好，而简单的模型仅仅是在记忆训练窗口内的特定模式。研究人员得出结论，虽然预测一般的攻击类型具有一定的成功可能，但利用当前的数据和方法来预测具体的国家或精确的攻击模式仍然难以实现。他们的主要贡献并非提出了一种新的预测算法，而是建立了一套严谨的评估合并数据集的协议，揭示了这些隐藏的缺陷，从而确保未来的网络安全及其他领域的研究不会将数据构建产生的伪影误认为是真实的预测能力。