🤖 machine learning

Evaluating Open-Source LLMs for Multi-Label ATT&CK Technique Classification on CTI Reports

本文通过引入一个包含 2,076 个句子的真人标注数据集，并对七个开源大语言模型进行评估，为复杂非结构化网络威胁情报报告上的多标签 ATT&CK 分类建立了一个新的经验基准，这些模型集体实现的微平均 F1 分数仅为 0.22，表明尽管参数规模与性能之间存在正相关关系，但目前的模型对于生产级部署而言仍然不足。

原作者： Ahmed Ryan, Saad Sakib Noor, Md Erfan, Shaswata Mitra, Sudip Mittal, Md Rayhanur Rahman

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ahmed Ryan, Saad Sakib Noor, Md Erfan, Shaswata Mitra, Sudip Mittal, Md Rayhanur Rahman

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名保安，正试图阅读一本由一名混乱的罪犯编写的、长达千页且杂乱无章的日记。这本名为 CTI 报告 的日记并不仅仅说“我偷了车”，它还会说：“我撬开了锁，启动了引擎，开车去了银行，然后抹除了监控摄像头的记录。”

你的工作是阅读每一句话，并根据一本名为 MITRE ATT&CK 的庞大规则手册，为每一句话贴上正确的“犯罪代码”标签。这本手册包含了每种可能的攻击方式共 211 种不同的代码。问题在于，一个句子往往同时包含多个犯罪行为，而且语言表达非常复杂。

长期以来，计算机在这方面表现得很糟糕。它们就像是一个只能阅读简单、单句笔记的机器人。如果笔记很复杂，机器人就会感到困惑。

后来出现了 大语言模型 (LLMs)。你可以把它们想象成超级聪明、博学多才的实习生，能够理解上下文和细微差别。人们曾希望这些 AI 实习生终于能够读懂这些混乱的日记，并完美地标记出犯罪行为。

这篇论文就是这七位“开源实习生”的成绩单。 研究人员想要看看这些 AI 实习生是真的准备好胜任这份工作了，还是仍然太过于缺乏经验。

以下是他们所做的工作以及他们的发现，通过简单的语言进行了解释：

1. 测试：一场“现实世界”的考试

之前对这些 AI 实习生的测试就像是给他们做一些简单的、只有一个答案的填空题（例如：“罪犯使用了钥匙。” -> 标签：撬锁）。

这篇论文的研究人员说：“现实生活并不是这样的。”他们创建了一个更难、更真实的考试：

他们提取了 83 份由人类专家编写的真实且杂乱的安全性报告。
他们将这些报告拆解成了 2,076 个独立的句子。
他们让专家手动为每个句子标注正确的犯罪代码。有些句子没有代码；有些有一个代码；有些甚至同时包含多达九个代码！
这成为了用来给 AI 打分的“标准答案”（Ground Truth）。

2. 参赛选手

他们选择了 7 个不同的开源 AI 模型。

你可以将这些模型看作是不同规模的学生。有些很小（拥有 80 亿个“脑细胞”或参数），有些则是巨头（拥有 2360 亿个）。
他们在不同的“模式”下进行了测试：
- 零样本 (Zero-Shot)： 只给出指令。
- 少样本 (Few-Shot)： 先给 AI 几个例子让它先学习一下。
- 思维链 (Chain-of-Thought)： 要求 AI 在回答之前进行“大声思考”，即一步步推理。
- 温度值 (Temperature)： 调节 AI 的“创造力”旋钮（0 = 严谨的机器人，0.5 = 略带创意）。

3. 结果：实习生们仍在学习中

结果令人清醒。

得分： 即便是最好的 AI 模型也只得到了 22% 的分数（在以 100% 为完美的量表中）。
- 类比： 想象一名学生参加了一场很难的期末考试，只得了 D-。他们虽然及格了，但漏掉了大部分答案。
规模很重要（主要是在规模上）： 最大、最复杂的模型（“巨头”模型）通常比小的模型表现得更好。存在明显的联系：大脑越大 = 分数略高。
“神奇”的设置并没有奏效：
- 给 AI 提供例子（少样本）并没有真正起到帮助作用。
- 要求 AI “一步步思考”（思维链）也没有起到什么帮助。
- 改变“创造力”旋钮（温度值）几乎没有任何影响。
- 类比： 这就像是给学生换了一支不同颜色的铅笔，或者告诉他们“再努力一点”，但如果他们本身不懂这些知识，分数是不会改变的。

4. 唯一起作用的一件事：“小抄”

研究人员尝试了最后一件事。他们为 AI 设置了 检索增强生成 (RAG) 机制。

类比： 与其让 AI 仅仅依靠记忆，不如给它一本“开卷考试”用的官方规则手册，让它在考试时可以查阅。
结果： 分数从 22% 跳升到了 32%。
这是最大的进步。这证明了 AI 失败并不是因为它“笨”，而是因为它手头没有当前的规则。

5. 问题出在哪里？

研究人员观察了 AI 犯下的错误：

误报 (False Positives)： AI 看到像“规避 (evade)”这样的词，就猜测是“劫持 (Hijacking)”，尽管该句子其实是在描述其他事情。它是在基于关键词进行猜测，而不是理解整个故事。
漏报 (False Negatives)： AI 漏掉了一个犯罪行为，因为它没能理解“部署勒索软件二进制文件 (staging a ransomware binary)”实际上是一种特定的传输类型。它缺乏深层的上下文理解。

总结

论文的结论是：目前的开源 AI 模型尚不足以成为分类复杂网络威胁的唯一“保安”。由于它们的准确性太低（得分仅为 22%-32%），在没有人类帮助的情况下，无法被信任用于现实世界的安全中心。

唯一显著提高它们表现的方法，是在测试期间为它们提供官方规则手册（RAG）。仅仅通过改变提问方式（提示词）或扩大模型规模，并不能解决核心问题。

简而言之： 这些 AI 实习生很聪明，但目前由于错误率过高，还无法独立工作。它们需要一名人类监督员和一本参考手册才能正确完成工作。

技术摘要：评估开源大语言模型（LLM）在多标签 ATT&CK 技术分类中的表现

问题陈述

将网络威胁情报（CTI）报告分类为 MITRE ATT&CK 技术对于主动防御至关重要，但由于非结构化文本的复杂性、多步骤攻击模式以及 211 个类别的分类体系，这一过程仍然是一个劳动密集型过程。尽管大语言模型（LLM）在理解上下文方面已展现出潜力，但现有的评估存在显著局限性：它们依赖于简化的、单技术的句子，无法反映现实世界报告中的多标签特性，从而导致性能指标虚高。因此，开源 LLM 在复杂的非结构化 CTI 报告上的基准性能仍未得到评估，这使得安全从业人员缺乏经验证据来指导这些模型集成到威胁摄取流水线中。

方法论

为了填补这一空白，作者构建了一个严谨的实验框架，涵盖数据集构建、模型评估和统计分析。

1. 数据集构建 (RQ1)
作者从 The DFIR Report 来源的 83 份复杂的非结构化 CTI 报告（2020 年 4 月至 2025 年 2 月）的“案例摘要”（Case Summary）部分中，提取并策划了一个包含 2,076 个句子 的基准真相数据集。

标注流程： 采用了六阶段标注策略，包括独立标注、交叉标注、低一致性实例的重新标注以及争议解决。
范围： 句子被映射到 114 种独特的 ATT&CK 技术（源自 Enterprise v17.1 中的 211 种技术）。该数据集包含正向技术（1,281 个句子）和负向技术（795 个句子）类别，以评估假阳性率。
质量控制： 该过程实现了 $\kappa = 0.68$ （实质性一致性）的平均评分者间一致性，其中 65 种技术超过了 $\kappa \geq 0.7$ 的阈值。
特征： 该数据集表现出严重的类别不平衡（不平衡比率 = 229.0）和长尾分布，40.2% 的已标记句子包含多个技术（平均基数 = 1.58）。

2. 模型评估 (RQ2)
对七种参数规模从 8B 到 236B（包括 Llama 3.1、Gemma 3、DeepSeek-V2.5 和 GPT-OSS 变体）的开源 LLM 进行了评估。

实验设计： 采用全因子设计测试了 53 种推理配置，结合了：
- 提示策略： 零样本（Zero-Shot）对比三样本（Three-Shot, N=3）。
- 推理方式： 思维链（CoT）对比无思维链（No CoT）。
- 温度系数： 0.0 对比 0.5。
RAG 基准： 实现了一个使用 FAISS 向量数据库存储 ATT&CK 文档的检索增强生成（RAG）流水线，旨在通过外部知识为 LLM70 模型提供背景支撑，并将其与标准推理进行对比。
指标： 使用微平均（Micro-averaged）精确率（Precision）、召回率（Recall）和 F1 分数作为主要指标，以反映所有技术实例的运营覆盖范围。

3. 统计分析 (RQ3)
应用 Spearman 秩相关系数 ( $\rho$ ) 来评估推理设置（参数规模、提示策略、推理方式、温度）与分类性能之间的单调关系。

核心贡献

数据集： 一个公开可用的、经人工标注的基准真相数据集，包含来自 83 份非结构化报告的 2,076 个句子，映射至 114 种 ATT&CK 技术，是迄今为止同类数据集中规模最大的。
性能基准： 通过系统性评估建立了多标签 ATT&CK 分类的经验基准，揭示了当前的开源 LLM 在处理此类任务时面临显著困难。
统计分析： 通过相关性研究量化了模型规模和推理超参数的影响，确定了参数规模是唯一的显著性能预测因子。

结果

基准性能： 最高性能的非 RAG 配置（DS236，236B 参数，T=0.0，3-shot，CoT）仅实现了 0.22 的微平均 F1 分数。
模型差异： 性能随模型规模和架构的变化而显著不同。236B 模型（DS236）和 70B 模型（LLM70）构成了顶层集群（F1 为 0.20–0.22），而较小的模型（如 GPT20, 20B）的表现接近随机猜测（F1 $\leq$ 0.03）。
超参数影响：
- 参数规模： 与 F1 分数呈现 显著的正相关性 ( $\rho = 0.85, p = 0.014$ )。
- 提示策略与推理： 少样本提示（Few-Shot）和思维链（CoT）在所有模型配置中均未产生具有统计学意义的增益 ( $p > 0.05$ )。
- 温度系数： 0.0 与 0.5 之间的变化对性能没有产生统计学上的显著影响。
RAG 影响： 为 LLM70 实现 RAG 使微 F1 分数提升至 0.32（增幅 $\Delta = +0.10$ ），这主要由召回率的大幅提升（从 0.23 升至 0.41）所驱动。该提升归功于外部知识的引入，而非提示词微调。
错误分析： 失败案例被分为第一类错误（由于过度依赖关键词或幻觉导致的假阳性）和第二类错误（由于缺乏领域知识或无法综合多阶段行为导致的假阴性）。

重要性与主张

本文声称提供了针对复杂多标签 CTI 分类的开源 LLM 的首个经验基准。作者断言，目前的开源 LLM 尚不足以胜任生产级的 ATT&CK 分类工作，因为与此前在简化数据集上经常报告高分的专门工具相比，本研究的 F1 分数较低（最高仅为 0.22）。

研究结论认为，提示工程策略（N-shot、CoT、温度）并不是缩小该领域性能差距的有效手段。相反，结果表明，参数规模是一个关键因素，而**检索增强（RAG）**是更具成效的改进方向，能够显著提升召回率。作者将其数据集和发现定位为可重复的研究基础，并建议未来的研究应侧重于层次化 RAG、参数高效微调以及具备层次感知能力的指标，而非进一步的提示词微调。