What Are Adversaries Doing? Automating Tactics, Techniques, and Procedures Extraction: A Systematic Review

本文通过对 80 项同行评审研究的系统综述，分析了从非结构化文本中自动化提取攻击战术、技术和程序（TTPs）的研究现状，揭示了当前以技术分类为主导、模型向大语言模型演进的趋势，并指出了数据集局限、评估单一及可复现性不足等关键挑战。

要点

这篇论文就像是一份**“网络安全界的侦探指南”**，它系统地梳理了研究人员是如何教电脑自动从海量的、杂乱无章的网络安全报告中，提取出黑客的“作案手法”的。

为了让你更容易理解，我们可以把整个网络安全世界想象成一个巨大的“犯罪现场”，而这份论文就是在分析**“如何训练超级侦探”**。

1. 背景：为什么我们需要“超级侦探”？

想象一下，全球每天都有成千上万的犯罪报告（网络安全报告）被写出来。这些报告里记录了黑客（坏人）是怎么入侵系统的。

• TTPs（战术、技术和过程）：这就是黑客的“作案手法”。
  • 战术 (Tactics)：黑客想干什么？（比如：想偷数据、想长期潜伏）。
  • 技术 (Techniques)：他们用了什么招数？（比如：暴力破解密码、伪装成系统管理员）。
  • 过程 (Procedures)：具体每一步是怎么操作的？（比如：先输入这个命令，再下载那个工具）。

问题在于：这些报告写得像天书，而且数量太多，人类侦探（安全分析师）根本看不过来，累得半死还容易漏掉关键线索。所以，研究人员想造出**“自动侦探”**（人工智能），让它能自动读报告，把黑客的 TTPs 提取出来，整理成一张清晰的“通缉令”。

2. 这篇论文做了什么？（系统综述）

作者们并没有发明一个新的“自动侦探”，而是把过去几年里所有关于“如何训练自动侦探”的研究（80 篇论文）都找出来，像整理书架一样整理了一遍。他们想看看：

• 大家都在研究什么？
• 用了什么数据？
• 用了什么方法？
• 效果怎么样？
• 有什么坑？

3. 他们发现了什么？（核心发现）

A. 大家都在做什么任务？（侦探在查什么？）

• 最热门的任务：“技术分类”。就像给案件贴标签，告诉系统“这个黑客用了‘暴力破解’这一招”。这是目前做得最多的。
• 被忽视的任务：
  • 战术分类：只关心黑客的大目标（比如“他想偷数据”），这个做得比较少。
  • 技术搜索：就像在图书馆里直接搜“有没有人用过‘钓鱼’这招”，而不是给整篇文章分类。这个领域还很空白。

B. 侦探们用什么“教材”学习？（数据来源）

• 主要教材：各大安全公司（像火眼金睛的专家）写的威胁情报报告。这是最丰富的来源。
• 其他教材：漏洞数据库、系统日志（像监控录像）、甚至黑客论坛的帖子。
• 现状：大家太依赖“报告”了，很少去研究“监控录像”（系统日志）或“代码”（恶意软件源码），这就像侦探只读报纸，不去现场看监控，有点片面。

C. 侦探们用什么“大脑”？（技术方法）

• 过去：用简单的规则（比如：只要看到“密码”这个词，就认为是暴力破解）。这就像用老式算盘，简单但笨拙。
• 现在：用Transformer 模型（如 BERT、SecureBERT）。这就像给侦探装上了**“超级大脑”**，能理解上下文。比如，它知道“密码”出现在“重置”旁边，和出现在“窃取”旁边，意思完全不同。
• 未来：开始尝试用大语言模型（LLM）（如 GPT 系列）。这就像请来了**“全能天才”**，不仅能分类，还能像人一样推理，甚至能根据零散的线索生成完整的作案剧本。

D. 最大的问题是什么？（局限性）

虽然技术很先进，但这行有个大毛病：“不透明”和“不通用”。

1. 教材不公开：很多研究用的数据是保密的（像只给侦探看一部分案情），别人没法验证你的侦探厉不厉害。
2. 代码不分享：很多研究只说“我做到了”，但不把“大脑”的代码公开，别人想学都学不会。
3. 考试太简单：很多研究只在一种类型的报告上测试，就像侦探只在“银行抢劫案”里练手，真遇到“网络诈骗”可能就懵了。

4. 未来的方向（给侦探们的建议）

作者们给未来的研究提出了几个建议，让“自动侦探”更厉害：

• 用真实的“脏”数据：别只用整理好的完美教材，要用现实中那些杂乱、充满噪音的真实报告来训练。
• 考“综合题”：别只考“单选”，要考“多选”。因为一个黑客案件往往同时涉及多种战术和技术。
• 讲“故事”而不是“贴标签”：现在的模型喜欢把句子拆开看，但黑客作案是一个连续的故事。未来的模型要能理解整篇报告的时间线和因果关系。
• 共享一切：把数据、代码、标注标准都公开，让大家一起进步，而不是各自为战。

总结

这篇论文就像是在说：

“我们造了很多聪明的‘自动侦探’，它们能读懂黑客的作案手法。现在的技术已经从‘老式算盘’进化到了‘超级大脑’。但是，因为大家用的教材不一样、考试题目太简单、而且很多秘密都不肯分享，导致这些侦探在真实世界里可能还不够用。未来，我们需要更真实的教材、更复杂的考试，并且大家要把‘独门秘籍’（代码和数据）共享出来，才能真正保护我们的网络世界。”

这就好比网络安全界正在经历一场从“手工作坊”到“工业化流水线”的转型，虽然机器越来越聪明，但还需要更多的协作和标准化，才能应对日益狡猾的黑客。

技术摘要

这是一篇关于**自动化提取威胁情报（CTI）中的战术、技术和过程（TTPs）**的系统性综述论文。以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

随着网络攻击规模和复杂性的急剧增加，安全防御者需要依赖及时的网络威胁情报（CTI）来理解攻击者的行为。CTI 的核心在于提取攻击者的战术（Tactics，即“为什么”）、技术（Techniques，即“怎么做”）和过程（Procedures，即具体实施步骤），通常映射到 MITRE ATT&CK 框架。
然而，现有的 CTI 报告数量庞大且多为非结构化文本，人工提取 TTP 信息不仅耗时、易错，且无法跟上威胁演变的节奏。虽然已有研究提出了基于规则、传统机器学习、深度学习及大语言模型（LLM）的自动化提取方法，但现有工作存在以下问题：

• 缺乏统一标准：提取目标、数据集、建模方法和评估指标差异巨大。
• 难以比较：由于数据集私有化、定义不一致，难以评估不同方法的优劣和泛化能力。
• 研究缺口：缺乏对 TTP 提取这一特定任务的系统性综述，现有综述多涵盖广泛的 CTI 提取，未深入聚焦 TTP 的方法论演变、数据构建及可复现性。

2. 研究方法 (Methodology)

作者遵循软件工程领域的系统性文献综述（SLR）指南（Kitchenham et al.），对现有研究进行了严格筛选和分析：

• 数据来源：从 IEEE Xplore, ACM Digital Library, ScienceDirect, SpringerLink, ACL 五个数据库中检索。
• 检索策略：使用关键词组合（如 "MITRE AND ATT&CK", "Tactics AND Techniques AND Procedures"），时间跨度为 2015 年至 2025 年 6 月。
• 筛选过程：
  • 初筛获得 3219 篇文献。
  • 应用纳入/排除标准（如：必须是同行评审、英文、提出新方法、明确关注 TTP 提取）。
  • 采用滚雪球法（前向和后向引用）补充文献。
  • 经过多轮筛选（标题、摘要、全文），最终选定 80 篇 核心研究论文。
• 分析维度：通过定性开放编码（Open Coding），从七个研究问题（RQs）出发，对文献进行分类和归纳：
  1. 提取目标是什么？
  2. 数据来源有哪些？
  3. 数据如何收集和预处理？
  4. 数据集如何标注和构建？
  5. 采用了哪些方法论？
  6. 使用了哪些评估指标？
  7. 可复现性程度如何？

3. 关键贡献与主要发现 (Key Contributions & Results)

A. 提取目标的分类 (RQ1)

研究将 TTP 提取任务分为五类：

1. 战术分类 (Tactic Classification, n=6)：将文本映射到高层战术（如“持久化”）。
2. 技术分类 (Technique Classification, n=39)：这是最主流的任务，将文本映射到具体的 ATT&CK 技术（如“凭证转储”）。主要数据源是 CTI 报告，其次是漏洞描述（CVE）和系统日志。
3. 技术搜索 (Technique Searching, n=5)：在文本中检索特定技术，而非分类。
4. 指标提取与 TTP (IOC Extraction & TTP, n=6)：提取 IP、哈希等指标并关联 TTP。
5. 知识图谱构建 (KG Construction, n=24)：构建实体关系图，连接攻击者、工具、技术等。

B. 数据源与处理 (RQ2, RQ3, RQ4)

• 数据源：主要依赖基准数据集（如 MITRE ATT&CK, CAPEC）和CTI 报告（来自 FireEye, Kaspersky 等厂商）。系统日志、漏洞数据库和恶意软件仓库使用较少。
• 预处理：包括自动爬虫、PDF 转文本、去噪、分句和 Token 化。针对 CTI 特有的 IoC（如 IP、哈希）有专门的替换或保留策略。
• 标注：多由专家手动标注，部分使用半自动或远程监督（Distant Supervision）。标注工具包括 BRAT 和自定义界面。存在标注一致性（IAA）不足的问题。

C. 方法论演变 (RQ5)

• 传统方法：基于 TF-IDF、规则匹配和传统机器学习（SVM, Naive Bayes）。
• 深度学习：广泛采用 BERT 及其变体（RoBERTa, SecureBERT, SciBERT）。领域自适应预训练模型（如 SecureBERT）在理解安全术语方面表现优于通用模型。
• 大语言模型 (LLM)：近期研究开始探索 LLM（如 LLaMA, GPT-4）的应用，包括提示工程（Prompting）、检索增强生成（RAG）和轻量级微调（LoRA）。
  • 发现：领域适配的编码器模型（如 SecureBERT）在监督分类任务中表现更稳定；而生成式 LLM 在零样本（Zero-shot）和复杂推理任务中更具优势。

D. 评估与可复现性 (RQ6, RQ7)

• 评估指标：主要使用精确率（Precision）、召回率（Recall）和 F1 分数。多标签任务中常出现宏平均 F1 下降的问题。
• 可复现性危机：
  • 仅 12.5% 的论文同时公开了代码和数据。
  • 50% 的论文未明确说明资源可用性，或依赖私有/受限数据。
  • 缺乏统一的标准数据集和基准测试，导致跨研究比较困难。

4. 现有局限性与未来方向 (Limitations & Future Directions)

论文指出了当前研究的几个关键缺陷：

1. 数据偏差：过度依赖单一来源或合成数据，缺乏真实运营环境中的噪声数据。
2. 评估简化：多采用单标签分类评估，忽略了 CTI 报告中多技术共存的复杂性（多标签问题）。
3. 粒度不足：缺乏按类别、按技术细粒度的性能报告。
4. 表示局限：知识图谱多基于 STIX 标准，缺乏对时间顺序、因果依赖和攻击意图的动态建模。
5. 可复现性差：代码和数据缺失严重。

未来研究方向建议：

• 构建基于真实运营 CTI 的高质量公开基准数据集。
• 采用多标签学习和评估范式。
• 开发细粒度的性能报告机制。
• 探索超越 STIX 的叙事感知表示（Narrative-aware representations），捕捉时间线和因果关系。
• 利用 CTI 进行对抗模拟（Adversary Emulation）。
• 研究上下文感知模型，处理跨句/跨段的依赖关系。
• 加强跨数据集和跨时间的泛化性验证。

5. 意义 (Significance)

这篇综述为网络安全研究人员提供了一个结构化的全景视图，明确了 TTP 提取领域的现状、技术演进路径（从规则到 LLM）以及核心瓶颈。它不仅总结了现有的技术栈（特别是 Transformer 和 LLM 的应用），还通过揭示数据稀缺、评估标准不一和可复现性差等关键问题，为未来开发更鲁棒、可复现且符合实际运营需求的自动化威胁情报系统指明了方向。这对于提升自动化防御能力、加速威胁响应具有极高的学术和实用价值。