🤖 machine learning

Noise Contrastive Estimation-based Matching Framework for Low-Resource Security Attack Pattern Recognition

本文提出了一种基于噪声对比估计的神经匹配框架，该框架将 TTP 映射重新表述为语义相似度任务，以解决低资源安全攻击模式识别中面临的大标签空间、分布倾斜以及层级复杂性等挑战。

原作者： Tu Nguyen, Nedim Šrndić, Alexander Neth

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Tu Nguyen, Nedim Šrndić, Alexander Neth

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在数字世界中，网络安全专家扮演着信息守护者的角色，不断扫描入侵的迹象。为了有效地做到这一点，他们依赖于一个庞大的已知攻击方法库，这是一个被称为“战术、技术与过程”（TTPs）的标准目录。可以将这些理解为犯罪分子剧本中的特定招式：战术是目标，例如窃取数据或挟持系统；技术是实现该目标的手段，例如发送欺骗性电子邮件或隐藏文件；而过程则是该手段的具体执行步骤。安全分析师阅读其他专家撰写的数千份报告，这些报告描述了黑客是如何入侵系统的。他们的工作就是阅读这些叙述，并将所述的行为与目录中的正确条目进行匹配。这一过程被称为 TTP 映射，它至关重要，因为这让防御者能够识别模式、预测未来的攻击并加强防御。然而，这个目录规模巨大，包含数百种技术和数千种变体，而报告本身通常是用复杂的、非结构化的语言编写的，并未明确命名所使用的技术。

多年来，研究人员一直试图教计算机自动执行这种匹配任务。标准方法是将此视为一场多项选择测试，即计算机必须从海量的可能性列表中，为它阅读的每一句话或每一段话选出正确的技术。这种方法遇到了重大麻烦，因为选项列表非常长，而可用于训练的示例数量又非常少。这就像是要求一名学生背诵整本字典，然后要在从未见过相关故事的情况下，为一段故事挑选出正确的单词。计算机会被庞大的选项数量所压倒，并且难以学习它们之间的细微差别，特别是对于那些在训练数据中出现频率较低的罕见或异常攻击方法。

华为慕尼黑研发中心的一支研究团队提出了一种解决此问题的新方法。他们不再强迫计算机从一个巨大的选项列表中进行选择，而是将这项任务重新构想为一场匹配游戏。在这种新方法中，计算机并不尝试将每种技术都与文本进行排名。相反，它学习如何衡量一段文本的内容与特定技术的描述之间的对齐程度。系统会从一份威胁报告中提取一段文字，并将其直接与目录中某种技术的书面描述进行对比。如果含义相似，系统就会给出高分；如果含义不同，则给出低分。这使关注点从记忆庞大的列表转向了理解两段文本之间的关系。

为了在有限的数据下实现这一目标，研究人员开发了一种巧妙的训练方法。他们不会一次性向计算机展示所有的技术，否则会太慢且令人困惑。相反，他们会向计算机展示一段文本以及与之进行对比的几个随机技术。其中一些技术是正确的匹配，而另一些则是错误的。计算机通过学习将正确匹配的分数推高，并将错误匹配的分数降低。研究人员通过两个特定的调整优化了这一过程，以处理现实世界数据的杂乱性。首先，他们调整了训练，以确保计算机在关注错误选项的整体情况时，不会被其内部顺序所迷惑。其次，他们教会系统对训练数据中的错误具有一定的容忍度。由于人类专家有时会遗漏报告中某个技术的标注，系统学会了将某些“错误”答案视为潜在的正确答案，从而避免变得过于僵化。

该框架的结果通过使用真实的网络安全报告进行了测试。研究人员创建了一个新的专家标注段落数据集，以确保测试的公平性，该数据集比以往的数据集包含更多的样本标签。当他们运行实验时，这种基于匹配的方法始终优于那些试图将文本分类到固定类别的传统方法。即使在报告复杂或技术罕见的情况下，新系统在识别正确技术方面也表现出色。它比旧模型能更频繁地找到正确的匹配，而旧模型往往会在庞大的可能性面前迷失方向。

研究还表明，训练数据的规模不如匹配逻辑的质量重要。即使只有相对较少的标记示例，该系统也能很好地泛化到新的、未见的报告中。这表明，理解威胁描述与技术之间的语义联系，比单纯记忆大量的关联列表更为强大。研究人员发现，当系统能够查看整个段落而非仅仅是孤立的句子时，效果最好，因为这样可以捕捉到攻击的完整上下文。通过专注于文本与技术描述之间的直接关系，该系统避免了试图将一个复杂且微妙的问题强行塞入僵化分类框的陷阱。

最终，这项工作为自动化分析网络威胁提供了一条更高效的路径。它证明了，通过改变问题的框架——从大规模的选择任务转变为直接的比较任务——计算机即使在数据匮乏的情况下，也能学习识别复杂的攻击模式。这种方法不仅提高了分析速度，还提高了准确性，使得安全团队能够依靠自动化工具来识别攻击者正在使用的具体方法。随着网络威胁不断演变并变得更加复杂，拥有一个能够理解威胁报告中微妙联系的系统，将成为保障数字基础设施安全的必备工具。研究人员已向社区开放了他们的新数据集和方法，希望能推动这一关键领域的进一步发展。

技术摘要：基于噪声对比估计（NCE）的低资源安全攻击模式识别匹配框架

问题定义

本文解决了 TTP（战术、技术与过程）映射 的挑战，这是网络威胁情报（CTI）中的一项关键任务，涉及在非结构化文本威胁报告中识别复杂的攻击模式，并将其映射到如 MITRE ATT&CK 等标准化框架中。

作者指出了传统学习方法（多类或多标签分类）在该领域存在的若干局限性：

标签稀缺与不平衡： 该任务面临标注数据匮乏以及 TTP 长尾分布的问题，即许多技术出现的频率极低。
层级复杂性： 标签空间巨大（超过 600 个技术）且结构复杂，技术会映射到多个战术和子技术。
粒度问题： 现有方法通常依赖于文档级或句子级粒度。文档级方法在表示长篇文本时引入了不必要的复杂性，而句子级方法则无法捕捉复杂 TTP 所需的上下文信息。
低资源约束： 标准的极大规模多标签文本分类（XMTC）方法通常依赖于捕获标签相关性或划分标签空间，但在标签稀缺的情况下，由于信噪比增加，其表现较差。

方法论

作者提出了一种从直接分类向动态标签启发式文本匹配转变的范式。该任务不再是优化一个分类器来同时区分所有可能的标签，而是被重新表述为一个语义匹配问题，即通过输入文本与其 TTP 文本描述（文本轮廓）之间的直接语义相似度来确定分配关系。

核心架构

该框架利用了一个双编码器匹配网络：

编码器： 一个共享的网络（孪生结构）处理输入文本段和 TTP 文本轮廓。它支持两种模式：从头开始训练（使用针对 CTI 实体的专门分词器）或利用预训练 Transformer（特别是 SecBERT）。
对齐网络： 一个计算输入与 TTP 轮廓之间 Token 权重成分的组件，利用基于块的残差架构和融合层（Hadamard 积）来捕获细微的交互作用。
输出： 编码器将输入映射到一个共同的潜在空间，在此空间中计算匹配得分（例如通过点积），并通过 Sigmoid 函数生成成对概率。

学习目标

为了处理庞大的标签空间和不完整的标注（缺失标签），作者引入了一种基于**噪声对比估计（NCE）**的学习机制，包含两个互补的采样目标：

$\alpha$ -平衡 NCE（集合级控制）：
- 与进行穷举比较不同，该目标在每个训练步骤中采样一组候选负标签。
- 该目标控制采样负样本的“集体质量”，而不改变其内部顺序。它引入了一个参数 $\gamma$ 来调整负样本集的聚合竞争强度，使模型能够随着时间的推移逐步探索标签空间，而不是在每次更新时都要求完全暴露。
非对称聚焦（对级控制）：
- 旨在处理“缺失标签”噪声（即采样的负样本实际上是未标注的正样本）。
- 受非对称损失启发，该目标会降低易错负样本的权重，并应用阈值 $m$ 来忽略概率较低的对。它使用不同的聚焦参数（ $\gamma_+$ 用于正样本， $\gamma_-$ 用于负样本），以确保易错负样本不会主导梯度，同时稳健地处理不完全监督。

训练策略

语料库级采样： 标签是从完整的标签库中提取的，而非仅限于当前的微批次（mini-batch），从而确保更广泛的标签空间暴露。
层级多任务学习： 一个辅助任务用于预测与输入文本相关的更广泛“战术”，并与主匹配任务进行联合优化，以利用 MITRE ATT&CK 的层级结构。
两步训练法： 对于非对称损失，采用两步程序：首先使用 $\alpha$ -平衡损失进行初始训练以稳定梯度，随后引入非对称聚焦。

核心贡献

问题重构： 作者将 TTP 映射重新定义为段落级层级多标签文本分类问题，并将其转化为一种文本匹配任务，从而利用输入与 TTP 轮廓之间的直接语义相似度。
新型损失函数： 引入了两个互补的采样排序目标：
- 集合级 $\alpha$ -平衡： 管理候选集的质量与覆盖范围。
- 对级非对称聚焦： 在缺失标签噪声下管理单个对的影响。
数据集构建： 创建并发布了一个高度模拟真实场景的专家数据集（Expert dataset）。与关注句子的现有数据集（如 TRAM）不同，该数据集涵盖整个段落，这导致其具有内在的多标签特性，平均每个样本包含 1.84 个标签（比 TRAM 的 1.16 个增加了约 60-80%）。
实证验证： 通过广泛实验证明，所提出的基于 NCE 的匹配框架在多个数据集上均优于强基线模型（包括 BM25、二元相关性模型以及最先进的 XMTC 模型如 NAPKINXC 和 XR-LINEAR）。

结果

所提模型，特别是使用**非对称（Asymmetric）**和 ** $\alpha$ -平衡（ $\alpha$ -balanced）**损失的模型，在三个数据集（TRAM、Procedures+ 和新的 Expert 数据集）上均取得了卓越的表现。

性能提升： 模型在 Precision@1、Recall@1 和 F1@3 指标上显著优于基线。例如，在 Expert 数据集上，非对称模型实现了 0.399 的 F1@3，而表现最好的 XMTC 基线（NAPKINXC）为 0.365，XR-LINEAR 为 0.279。
长尾鲁棒性： 对头部与尾部分布的分析显示，虽然基于分类的基线在处理低频（尾部）TTP 时表现大幅下降，但基于匹配的方法保持了相对的鲁棒性，这归功于其捕捉语义相似度的归纳偏置。
泛化能力： 当在 Procedure+ 和 TRAM 上训练并在未见的 Expert 数据集上进行评估时，所提模型展现出比基线更好的泛化能力。
消融实验： 研究证实了辅助层级任务和预训练 SecBERT 编码器的积极贡献，尽管即使没有 Transformer，模型仍保持了竞争力。

重要性与声明

本文声称为 TTP 映射提供了一种**标签高效（label-efficient）**的解决方案，克服了安全领域固有的低资源挑战。通过将学习过程与每个步骤中对详尽标签空间的优化解耦，该框架有效地平衡了计算成本与累积标签覆盖率。

作者强调，其方法的显著意义在于：

它比目前的 XMTC 方法更有效地解决了长尾问题和标签稀缺问题，因为后者通常假设有充足的监督。
它利用 TTP 的文本描述（profiles）（这是以往研究中经常被忽略的部分）来引导匹配过程，使模型能够泛化到未见或罕见的攻击模式。
它提供了一个实用的、由专家标注的数据集，更好地反映了现实世界威胁报告的多标签特性，从而促进了该领域的未来研究。

作者对局限性保持了谦逊的态度，承认虽然该方法具有标签效率，但在计算效率方面（在单张 V100 GPU 上需要约 24 小时）仍有提升空间，且 Expert 数据集虽然高质量，但规模相对较小，仅覆盖了总 TTP 空间的一小部分。他们还指出，数据集包含可能需要谨慎处理的个人身份信息（PII）。