💬 NLP

TTPrint: Evidence-Grounded TTP Extraction via Diverge-then-Converge Verification

TTPrint 是一个新颖的框架，它通过采用“先发散后收敛”的策略，从网络威胁情报报告中提取 MITRE ATT&CK 技术：首先广泛识别锚定于具体证据的候选行为，随后依据权威定义对其进行严格验证，从而在召回率和精确率上均显著优于现有方法。

原作者： Yutong Cheng, Changze Li, Raihan Sultan Pasha Basuki, Qian Cui, Wei Ding, Peng Gao

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yutong Cheng, Changze Li, Raihan Sultan Pasha Basuki, Qian Cui, Wei Ding, Peng Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名侦探，正试图破解一份庞大而混乱的犯罪现场报告。这份报告长达数百页，混杂着技术术语和模糊的描述。你的任务是找出特定的“作案手法”（Modus Operandi，即罪犯如何实施犯罪），并将它们与一本名为 MITRE ATT&CK 的庞大官方规则手册进行匹配。

问题在于棘手之处：

切勿遗漏任何内容：如果你漏掉了一种技术，罪犯就能带着新伎俩逍遥法外。
切勿凭空捏造：如果你猜测了一种实际上并不存在的技术，就会浪费所有人的时间去追逐幻影。

现有的方法（如旧式规则手册或单次通过的人工智能）难以同时做到这两点。它们要么遗漏太多线索，要么猜测出太多错误的结果。

此时，TTPRINT 登场了。这是一个新系统，它通过模拟人类侦探团队采用“先发散后收敛”（Diverge-then-Converge）的策略来解决这一问题。这可以看作是一个两步过程：先广泛撒网，再精准收网。

TTPRINT 侦探工作流程

第一阶段：“发散”（广泛撒网）

TTPRINT 并不试图立即猜测答案，而是将庞大的犯罪报告拆解为微小的、易于消化的片段，称为“原子行为”（atomic behaviors）。

类比：想象将一本 50 页的小说切割成一个个独立的句子。
它的作用：对于每一个微小的句子，人工智能会问：“这可能是什么？”它会从规则手册中生成一份长长的可能匹配列表。它故意撒下大网，即使这意味着提出一些不太可能的选项。此阶段的目标是召回率（Recall）：确保没有任何真实线索被遗漏。

第二阶段：“锚定”（寻找证据）

在人工智能确认猜测之前，它必须证明该线索出自文本中的何处。

类比：如果你说“嫌疑人使用了撬棍”，你就必须指出报告中确切写着“嫌疑人使用了撬棍”的那句话。你不能仅仅说“我认为他们用了撬棍，因为他们打破了窗户”。
它的作用：TTPRINT 使用一种严格的非人工智能算法，找到支持该行为的特定文本“窗口”。这将每一个猜测都锚定在具体的证据上，防止人工智能基于整篇文档的总体氛围而产生幻觉（即凭空捏造）。

第三阶段：“收敛”（精准收网）

现在进入严格的验证阶段。人工智能将“可能”的匹配列表与特定的“证据窗口”结合起来。

类比：一名资深侦探审查初级侦探列出的清单。他们对照具体的句子（证据）和官方规则手册的定义。他们会问：“这句话真的符合规则手册的定义，还是仅仅是一个松散的猜测？”
它的作用：人工智能会分配一个置信度分数。如果匹配度弱，则予以剔除；如果匹配度高，则予以保留。这一步确保了精确度（Precision）：只有真正由文本支持的事实才会被保留。

为何此法更有效

该论文声称，以往的方法试图一次性完成所有这些步骤（就像侦探一口气猜出整个故事）。这会导致错误：

过于谨慎：为了避免猜错，它们会遗漏细微的线索。
过于自信：由于报告中的措辞与规则手册并不完全匹配，它们会做出错误的猜测。

TTPRINT 将“猜测”与“核查”分离开来。通过拆分任务，它可以在猜测时大胆（捕捉所有内容），在核查时严格（只保留真相）。

结果

研究人员在两个数据集上测试了 TTPRINT：

TRAM-Clean：现有数据集的清理版本（他们修正了原始标签中的错误）。
TTPRINT-Bench：一个全新的数据集，包含 150 份从头开始创建的完整报告。

成绩单：

在新数据集上，TTPRINT 取得了 87.39% 的成功率（Macro-F1）。
最佳的前代方法（使用“思维链”的标准人工智能）仅达到 58.02%。
TTPRINT 将分数提高了近 30%，这意味着它发现了更多真实的技术，同时犯了更少的错误。

控制“旋钮”

一个很酷的功能是一个名为 $\tau$ 的“阈值旋钮”。

调高它：你会得到更少的结果，但你 100% 确定它们是正确的（高精确度）。这适用于无法承受犯错风险的自动化系统。
调低它：你会得到更多的结果，几乎能捕捉到所有内容，即使其中一些可能不太可靠（高召回率）。这适用于希望捕捉所有潜在威胁并稍后调查的安全团队。

总结

TTPRINT 就像一名侦探，他首先根据报告中的每一句话写下每一个可能的理论，然后在撰写最终案件档案之前，严格地将每个理论与具体证据进行核对。这种方法使其能够比任何以往的方法捕捉到更多真实威胁，并减少误报。

注：该论文严格专注于从英文报告中提取这些技术。它不声称能预测未来攻击、实时阻止黑客，或作为医疗或法律诊断工具。

技术摘要：TTPRINT

问题陈述
从未结构化的网络威胁情报（CTI）报告中自动提取 MITRE ATT&CK 技术是一个开放集、多标签问题，需要同时优化高召回率（捕获所有真正描述的技术）和高准确率（避免臆造无支持的技术）。现有方法面临显著局限：

基于规则和 supervised 的方法：像 TTPDrill 或微调的 Transformer（如 LADDER、MITREtrieval）这样的系统难以在不同报告风格和不断演变的攻击描述中实现泛化。它们通常依赖显式关键词或固定本体，无法捕捉隐式或改写后的行为。
单遍 LLM 方法：虽然大语言模型（LLM）展现出潜力，但在单次推理步骤中应用它们会将假设生成和验证的目标耦合在一起。这种耦合导致两种复合失效模式：(1) 模型为追求置信度而牺牲覆盖率，遗漏次要行为；(2) 操作报告语言与标准 MITRE 定义之间的表面词汇不匹配导致技术映射错误。

方法论：TTPRINT
作者提出了 TTPRINT，这是一个受人类分析师工作流程启发的四阶段管道，采用“先发散后收敛”的设计，将面向召回的生成与面向准确率的验证解耦。

发散阶段（最大化覆盖率）：
- 行为提取：将原始 CTI 报告分解为一组原子、自包含的攻击行为。关键的是，此阶段保留了具体的技术细节（工具名称、命令字符串、注册表路径），以防止上下文坍缩，确保下游阶段有足够细节进行准确识别。
- TTP 提案：对于每个原子行为，LLM 提出一组广泛的候选 MITRE ATT&CK 技术（多达 $k$ 个不同的父级标识符）。此阶段优先考虑召回率，刻意推迟判断，以确保没有任何潜在技术被过早丢弃。
收敛阶段（按证据过滤）：
- 跨度定位：确定性算法将每个提议的行为锚定到原始报告中的特定连续句子窗口（证据跨度）。这将所有后续推理限制在可验证的文本支持上，而非整个文档上下文，从而减少噪声和臆造风险。
- TTP 验证：LLM 根据三个输入评估每个候选技术：行为文本、定位后的证据跨度以及官方 MITRE ATT&CK 定义。模型输出置信度分数（ $c_{ver}$ ），指示证据是否明确支持该技术。
- 阈值设定：保留超过可调置信度阈值（ $\tau$ ）的候选项。此参数允许从业者在不重新训练或改变架构的情况下，明确控制准确率与召回率的权衡。

主要贡献

架构原则：本文指出单遍提取中准确率与召回率的耦合是一个结构性局限，并提出“先发散后收敛”原则，明确将假设生成与基于证据的验证分离。
TTPRINT 管道：一种新颖的实现，具有确定性跨度定位功能，确保每个预测都可追溯至特定源段落，实现完全可审计性。
评估资源：
- TRAM-Clean：对广泛使用的 TRAM 基准进行系统清理的版本，修正了原始标注中的假阳性和假阴性，提供可靠的基线。
- TTPRINT-Bench：一个新的文档级基准，包含 150 份完整的 CTI 报告（2022–2025 年），具有双重标注和裁决后的真实标签，旨在评估从未结构化的完整文档而非孤立句子中提取技术的能力。

结果
在 TRAM-Clean 和 TTPRINT-Bench 上的评估表明，TTPRINT 相比最先进基线取得了显著改进：

性能：TTPRINT 在 TRAM-Clean 上实现了 76.48% 的 Macro-F1，在 TTPRINT-Bench 上实现了 87.39%。这分别比领先基线（CoT GPT-4o）提高了 63.5% 和 29.4%。
准确率与召回率：与难以平衡这两个指标的单遍方法不同，TTPRINT 同时提升了两者。在 TTPRINT-Bench 上，召回率从 50.70% 提升至 95.50%，准确率从 69.90% 提升至 82.15%。
消融研究：移除任何阶段（行为提取、跨度定位或验证）都会导致性能显著下降。值得注意的是，跨度定位通过减少上下文稀释和臆造风险，同时提高了准确率和召回率。
模型无关性：该管道的有效性在六种不同的 LLM 骨干网络（包括 GPT-4o、Claude Sonnet、Gemini、Qwen 和 DeepSeek）中均成立。配备 TTPRINT 管道的小型模型往往优于使用单遍提示的大型模型，表明架构设计是性能的主要驱动因素。
阈值敏感性：验证阈值 $\tau$ 提供了对准确率 - 召回率前沿的平滑、单调控制，允许用户为高召回（SOC 分类）、平衡或高准确率（自动化响应）场景选择工作点。

意义与主张
本文主张 TTPRINT 通过提供一种可直接追溯至源证据的高召回、精确 TTP 提取方法，填补了 CTI 分析师工作流程中的关键空白。通过解耦生成和验证，该系统缓解了单遍 LLM 提示固有的权衡。作者强调，该方法具有模型无关性，允许有数据主权顾虑的组织部署本地托管的开源 LLM 而不牺牲性能。发布 TRAM-Clean 和 TTPRINT-Bench 旨在将该领域从句子级评估提升至现实化的文档级提取，促进自动化威胁情报分析的未来研究。

作者保持了适度的范围，指出该系统针对主要安全厂商的英文报告，目前尚未解决 MITRE 分类法本身固有的歧义（例如语义相邻的技术）。他们还指出，虽然提取质量已通过专家标注验证，但对下游运营指标（如分类时间）的影响需要未来的受控部署研究来证实。