🤖 AI

CTIConnect: A Benchmark for Retrieval-Augmented LLMs over Heterogeneous Cyber Threat Intelligence

本文介绍了 CTIConnect，这是一个综合性的基准测试与评估框架，旨在系统地评估检索增强型大语言模型在九个异构网络威胁情报任务中的表现，并揭示了有效的性能表现需要特定领域的结构化干预，而非通用的检索改进。

原作者： Yutong Cheng, Yang Liu, Changze Li, Dawn Song, Peng Gao

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Yutong Cheng, Yang Liu, Changze Li, Dawn Song, Peng Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正在试图破解复杂犯罪案件的网络安全侦探。你拥有一个庞大的线索库，但这些线索是用五种完全不同的语言和格式编写的：有些是僵化的、技术性的电子表格（比如一个关于软件漏洞的数据库），而另一些则是由不同记者撰写的冗长且混乱的新闻文章，其中使用了大量的俚语和对同一犯罪分子的绰号。

这就是**网络威胁情报（CTI）**的世界。问题在于，信息量太大，任何人类都无法通过手动阅读并建立联系。

于是，**大语言模型（LLMs）**登场了。把这些 AI 模型想象成聪明、极速的侦探，他们几乎可以阅读并理解任何东西。但问题在于，这些 AI 有一个“记忆限制”。它们无法记住每天产生出的每一个新威胁报告。如果你问它们关于一种全新的病毒的问题，它们可能会猜错，因为它们还没有“读过”最新的报告。

为了解决这个问题，我们使用了检索增强生成（RAG）。这就像是给这位 AI 侦探一张神奇的图书馆借阅卡。当被问到一个问题时，AI 首先会跑向图书馆，抓取最相关的文档，然后再根据它刚刚读到的内容进行回答。

问题所在：“翻译丢失”的鸿沟

这篇论文的作者们发现，仅仅给 AI 一张图书馆借阅卡是不够的。这个图书馆一团糟。

词汇不匹配： 一份文档可能称某个黑客组织为“APT29”，而另一份称其为“Cozy Bear”，第三份则称其为“Nobelium”。如果你要求 AI 查找所有关于“APT29”的报告，标准的搜索可能会错过那些仅使用其他名称的报告。
格式不匹配： 一份文档可能会说“攻击者从内存中窃取了密码”，而一个技术数据库则将其列为“T1003.001 – LSASS Memory”。AI 可能意识不到它们指的是同一件事。

论文指出，标准的搜索工具（仅寻找相似词汇的工具）在这里会失效，因为它们无法弥合这些差距。它们就像是一个只懂得字面逐词翻译、却不懂得含义或绰号的翻译员。

解决方案：CTIConnect

团队构建了一个新的基准测试（标准化的测试）叫做 CTIConnect，用以观察 AI 侦探在必须在这样一个混乱、多语言的图书馆中进行搜索时表现如何。

他们创建了 1,860 个经过专家验证的问题，涵盖了三种主要的侦探工作类型：

实体链接（建立联系）：
- 任务： “这个软件漏洞（CVE）是由哪种特定的弱点（CWE）引起的？”
- 类比： 将特定的汽车型号与其发动机类型进行匹配。AI 必须在两种不同的技术目录之间进行“翻译”。
- 解决方法： AI 需要在搜索之前，将问题“翻译”成数据库使用的精确技术术语。
实体归属（命名罪犯）：
- 任务： “一份报告说‘坏人使用 .cuba 后缀加密了文件’。这描述了哪种具体的黑客技术？”
- 类比： 阅读目击者描述（“他戴着红帽子而且跑得很快”）并将之与警察档案进行匹配（“嫌疑人：约翰·多伊，以擅长奔跑著称”）。
- 解决方法： AI 必须将句子分解为微小的、原子级的动作，并将每一个动作翻译成官方的警察代码。
多文档综合（构建故事）：
- 任务： “结合来自五个不同新闻机构的报告，为黑客组织‘APT29’建立一个画像。”
- 类比： 你有五个不同的证人在描述同一个派对。一个称主人为“Bob”，另一个称其为“Bobby”，还有一个称其为“老大”。AI 必须在开始阅读之前意识到他们都在谈论同一个人，并将他们的故事合并成一个时间线。
- 解决方法： AI 需要足够聪明，在开始阅读前就能意识到“Bob”=“Bobby”=“老大”。

他们的发现

研究人员使用这个新测试测试了 10 种不同的 AI 模型（包括免费/开源的和昂贵/专有的模型）。以下是他们的关键发现：

并非一种方案适用于所有场景： “一刀切”的搜索策略失败得很惨。寻找技术漏洞（实体链接）的最佳搜索方式，与寻找黑客绰号（多文档综合）的最佳搜索方式是完全不同的。
专业化工具胜出： 当他们给 AI 提供专门的策略（例如“先翻译问题”或“将句子拆分为部分”）时，AI 的性能大幅提升——有时甚至提升了 35%。而标准的搜索工具仅能带来微小的改进（1-5%）。
瓶颈发生了转移：
- 对于技术链接任务，问题在于搜索工具。一旦 AI 找到了正确的文档，即使是“较小”的 AI 也能正确回答。
- 对于命名和故事构建任务，问题在于 AI 的大脑。即使拥有正确的文档，AI 也需要非常聪明才能理解上下文并连接起各种别名。
智能搜索 > 更大的大脑： 对于某些任务，使用一个带有专门搜索工具的“较小”AI，效果比使用一个带有“基础搜索工具”的“庞大且昂贵”的 AI 更好。这意味着你并不总是需要最昂贵的 AI；你只需要正确的方式来寻找信息。

核心结论

论文得出结论，要构建有效的 AI 安全工具，我们不能仅仅依赖更大的 AI 模型或通用的搜索引擎。我们需要构建专门的检索系统，这些系统能够理解网络安全领域独特的“方言”和“绰号”。

可以这样想：你不需要一个更大的图书馆来破案；你需要一位知道如何找到正确书籍的图书管理员，即使书名是用你不懂的代码编写的。CTIConnect 为构建那位图书管理员提供了地图和测试方法。

技术摘要：CTIConnect

问题陈述

网络威胁情报（CTI）对于主动防御至关重要，然而该生态系统具有海量数据和极端异构性的特征。它跨越了结构化知识库（如 CVE、CWE、CAPEC、MITRE ATT&CK）以及非结构化的厂商威胁报告，这些来源在模式、词汇表和抽象层级上有着本质的区别。虽然大语言模型（LLM）具备强大的推理能力，但现有基准测试未能评估它们在现实检索增强设置下的表现。目前的基准测试（如 CTIBench 和 SEvenLLM）要么依赖于闭卷设置（仅测试参数化记忆），要么侧重于单份报告的提取，忽略了跨越多样化、交叉引用来源进行信息检索与综合的关键需求。

一个被明确识别的具体挑战是跨源语义鸿沟（cross-source semantic gap）：以一种词汇表达的查询（例如分析师的叙述性散文）往往无法系统性地匹配到以另一种词汇编码的相关证据（例如正式的分类法条目）。这种鸿沟导致标准的基于嵌入（embedding）的检索失效，因为通用的检索增强生成（RAG）策略无法弥合 CTI 领域固有的词汇与结构失配。

方法论

基准构建 (CTIConnect)

作者构建了 CTIConnect，这是一个统一的评估环境，整合了五个异构的 CTI 数据源，共包含 1,860 个经专家验证的问答对（QA pairs）。其构建流程分为三个阶段：

种子关联标注（Seed Correlation Annotation）： 从权威来源（MITRE/NVD 映射）建立事实依据的关联，或通过双专家标注处理非结构化数据。
模板约束的 QA 合成（Template-Constrained QA Synthesis）： 利用提示词模板将关联关系转化为特定任务的问答，以确保格式一致性并减少幻觉。
多层质量控制（Multi-layered Quality Control）： 结合基于 LLM 的过滤、领域从业者的独立验证以及资深 CTI 分析师的最终裁定，以确保高数据质量。

任务图谱

该基准涵盖了九个任务，分布在三个类别中，代表了 CTI 分析中所有的跨源方向：

实体链接（结构化 $\to$ 结构化）： 在不同分类法之间进行映射（例如 CVE 到 CWE，CAPEC 到 ATT&CK）。任务包括根因映射 (RCM)、弱点实例化 (WIM)、攻击技术推导 (ATD) 和攻击面发现 (ESD)。
实体归属（非结构化 $\to$ 结构化）： 将叙述性描述锚定到正式的分类法条目中。任务包括攻击技术归属 (ATA) 和漏洞目录归属 (VCA)。
多文档综合（非结构化 $\to$ 非结构化）： 聚合散落在多个厂商报告中的情报。任务包括威胁主体画像 (TAP)、恶意软件谱系分析 (MLA) 和战役故事线构建 (CSC)。

检索策略

研究评估了三种检索配置：

闭卷（Closed-Book, CB）： 仅使用参数化知识的基准线。
原生 RAG（Vanilla RAG, VR）： 直接对原始查询进行嵌入，不进行转换。
领域特定（Domain-Specific, DS）策略： 旨在解决特定语义鸿沟的定制化方法：
- 先提取后检索（Extract-then-Retrieve, EtR）： 对于实体链接，LLM 提取语义内容，并将其规范化为与目标知识库对齐的关键短语，然后再进行检索。
- 先分解后检索（Decompose-then-Retrieve, DtR）： 对于实体归属，输入被分解为原子行为，每个行为经过规范化后独立检索，最后进行聚合。
- CSKG 引导的 RAG： 对于多文档综合，利用网络安全知识图谱（CSKG）来解析实体别名（例如，“APT29” $\equiv$ “Cozy Bear”），并根据规范实体而非原始文本块对报告进行排序。

实验结果

评估设置

研究评估了十种最先进的 LLM（涵盖开源和闭源家族，例如 GPT-5、LLaMA-3-405B、Claude-Sonnet-4），并在 691 对样本子集上进行测试，同时在代表性模型的完整 1,860 对基准上进行验证。

关键发现

性能提升： 领域特定策略显著优于原生 RAG。在实体链接方面提升高达 +35.2%，在实体归属方面提升 +16.0%，在多文档综合方面提升 +11.3%。
任务特定瓶颈：
- 实体链接： 瓶颈主要在于检索基础设施。一旦通过规范化获取了正确的证据，即使是较小的模型也能以接近天花板的准确率完成任务（平均 DS 达 97%）。
- 实体归属： 瓶颈转向了模型推理。该任务需要分解叙述并推断根因；增加模型规模会带来显著收益（从 8B 到 405B 模型提升达 +29.5%），且错误的检索会直接降低精确度。
- 多文档综合： 性能受限于检索（处理别名问题）和模型推理（综合冲突的描述）的双重影响。
语义鸿沟分析： 原生 RAG 因“跨源语义鸿沟”而失败。
- 实体链接的相似度差距较小 (0.06)，但受限于候选对象辨别问题。
- 实体归属由于词汇不匹配，存在中等程度的差距 (0.31)。
- 多文档综合由于实体别名和块级噪声，具有最大的差距 (0.43)。
通用型 vs. 领域特定型： 强大的通用检索范式（如 Retrieve-then-Rerank, IRCoT）仅能缩小 1–5% 的性能差距。这证实了弥合 CTI 语义鸿沟需要结构化干预（规范化、分解、实体解析），而非通用的检索改进。
模型缩放效应： 相比于实体链接 (+3.4%) 或综合 (+2.7%)，扩大模型规模对实体归属的收益最大 (+19.2% 平均增益)。如果优化了检索策略，较小的开源模型可以在以检索为瓶颈的任务上媲美前沿的闭源模型。

重要性与主张

本文声称 CTIConnect 是首个系统性评估 LLM 在异构来源间表现的检索增强型 CTI 基准。其核心贡献在于证明了“一刀切”的检索方法对于 CTI 是不足够的。相反，有效的 CTI 系统需要任务感知的检索架构，通过应用特定的结构化干预（规范化、分解、别名解析）来弥合不同数据源之间的语义鸿沟。

作者断言，这些发现为设计可扩展的知识检索架构提供了可操作的指导，并指出在资源受限的环境中，投资于领域特定的检索基础设施可能比单纯扩大模型规模能获得更高的回报。研究结果在时间跨度（2008–2025）内保持稳定，表明该基准对于不断演进的威胁态势具有持续的参考价值。