🤖 AI

Uncovering Vulnerabilities of LLM-Assisted Cyber Threat Intelligence

本文提出一项实证研究，揭示大语言模型在网络安全威胁情报领域的主要脆弱性源于该领域固有的异质性与波动性，而非通用模型缺陷，并引入人机协同框架，通过针对性防御措施识别并缓解三种特定的认知失效模式。

原作者： Yuqiao Meng, Luoxi Tang, Feiyang Yu, Jinyuan Jia, Guanhua Yan, Ping Yang, Zhaohan Xi

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuqiao Meng, Luoxi Tang, Feiyang Yu, Jinyuan Jia, Guanhua Yan, Ping Yang, Zhaohan Xi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《揭示大语言模型辅助网络威胁情报的漏洞》的通俗化解读，辅以生动的类比。

宏观图景：不堪重负的侦探

想象一座巨大而混乱的图书馆，关于危险罪犯（网络威胁）的新书每秒钟都在不断撰写。安全分析师是试图阅读这些书籍以阻止罪犯的侦探。但书籍太多、速度太快，他们应接不暇。

为了提供帮助，他们雇佣了一支由超级智能 AI 助手（大语言模型，即 LLM）组成的团队。这些 AI 能在眨眼间阅读数千页内容。然而，这篇论文的研究人员发现，虽然这些 AI 侦探速度很快，但它们正在犯下危险的错误，因为图书馆本身混乱不堪、充满矛盾且瞬息万变。

论文指出，问题不仅仅在于 AI 在“幻觉”（凭空捏造）；问题在于威胁态势（即这座图书馆）过于混乱，AI 难以正确处理。

AI 陷入困惑的三种主要方式

研究人员发现，AI 在三个特定方面会失败，他们称之为“认知失败”。

1. “咖啡馆八卦”问题（虚假相关性）

类比： 想象你走进一家咖啡馆，看到两个人，鲍勃和爱丽丝，坐在同一张桌子旁。你推测他们是最好的朋友。但实际上，他们只是碰巧同时坐在那里；他们甚至互不相识。
AI 的错误： AI 在报告中看到两件事被同时提及（例如某种特定的计算机病毒和某个特定国家），便假设它们之间存在联系。它建立了一个虚假的链接。

真实案例： AI 在同一篇新闻文章中看到一种病毒和某种特定类型的服务器被提及。它得出结论，认为该病毒一定正在攻击该服务器，尽管文章只是将它们列为无关的例子。AI 将“被同时提及”误认为是“相互关联”。

2. “公说公有理，婆说婆有理”问题（矛盾知识）

类比： 想象你试图弄清楚天气状况。一个朋友说：“下雨了！”另一个说：“是晴天！”第三个说：“下雪了！”如果你让 AI 根据这三个朋友的说法来决定天气，它会感到困惑，可能会说：“是雨夹雪加晴天”，或者在答案之间反复摇摆。
AI 的错误： 网络威胁报告经常存在分歧。一家安全公司说补丁修复了一个漏洞；另一家则说漏洞依然存在。AI 试图融合这些相互冲突的故事，导致得出一个令人困惑、不稳定的答案，对任何人都无济于事。

真实案例： 一份报告称某黑客组织正在使用特定工具。另一份报告则称他们已更换了工具。AI 卡在中间，无法判断谁对谁错，导致防御计划薄弱。

3. “旧地图”问题（受限的泛化能力）

类比： 想象一个仅在 2010 年道路上训练过的 GPS。如果你试图用它驾驶到 2025 年新建的城市，那里有飞行汽车和地下隧道，GPS 会试图将你的新路线强行套用到 2010 年的旧道路上。它会指示你在现在矗立着建筑物的地方左转。
AI 的错误： AI 研究过数百万次过去的攻击。当发生一种全新的、前所未见的攻击类型（即“零日漏洞”）时，AI 会试图将其强行归入旧的类别。因为它过于专注于过去所见的内容，从而忽略了新威胁。

真实案例： 黑客使用一种全新的技巧入侵系统。AI 由于从未见过这种技巧，便假设这是一种旧的、常见的技巧，并建议采用过时的、无效的防御措施。

他们是如何发现这些问题的

研究人员并非凭空猜测；他们建立了一个特殊的“侦探训练营”。

人机回环： 他们知道让 AI 给自己批改作业是个坏主意（它只会说：“我完美无缺！”）。因此，他们建立了一个由人类检查 AI 工作的系统。
过滤器： 他们收集了数千个 AI 失败案例，并将它们分类。他们发现，“咖啡馆八卦”和“公说公有理”问题最为常见。
压力测试： 他们试图通过更改报告中微小且不重要的细节（如日期或城市名称）来欺骗 AI。如果 AI 仅仅因为日期改变而更改了答案，他们就知道 AI 依赖的是错误的线索（如日期），而不是真正的证据（病毒代码）。

解决方案：教导 AI 进行因果思考

论文建议，与其只是向 AI 灌输更多数据，不如改变它思考的方式。

“如果……会怎样？”测试（因果干预）：
研究人员教导 AI 自问：“如果我改变这个日期或这个地点，我的结论是否依然成立？”

如果答案是“不，我的结论变了”，AI 就会意识到它依赖的是巧合（如日期），而非真正的因果关系。
如果答案是“是，我的结论保持不变”，AI 就知道它找到了真正的真相。

结果：
当他们应用这种“如果……会怎样？”测试时，AI 犯错的次数显著减少。它不再基于八卦进行猜测，而是开始寻找确凿的证据。

总结

论文得出结论：AI 是网络安全领域的强大工具，但目前它极易被现实世界威胁报告中混乱、矛盾的性质所迷惑。

要解决这个问题，我们不能仅仅构建更大的 AI 模型。我们必须构建更智能的流程，迫使 AI：

忽略偶然性的联系。
在处理冲突报告时保持冷静，不致慌乱。
识别何时它正面临一种前所未见的全新威胁。

通过这样做，我们可以将这些 AI 助手从困惑的实习生转变为可靠、专业的侦探。

技术摘要：揭示大语言模型辅助网络威胁情报中的漏洞

问题陈述

大语言模型（LLM）正日益被部署用于自动化网络威胁情报（CTI）任务，范围从漏洞评估到事件响应。然而，在操作工作流中仍存在显著的可信度差距。现有文献通常将这些失败归因于模型通用的局限性，如幻觉或越狱，但本文认为，主要瓶颈在于威胁景观本身的独特性质。CTI 数据具有异质性、波动性和碎片化的特征。证据往往是相互交织的、众包的，并且在时间上不稳定——这些特性很少被标准的 LLM 评估所捕捉。因此，LLM 难以在这些条件下进行有效推理，导致关键安全任务中出现大量失败。

方法论

作者提出了一项全面的实证研究和一个新颖的方法论框架，以识别和分类 LLM 在 CTI 推理中的失败。

1. 大规模实证评估

该研究评估了多样化的模型套件，包括行业领先的通用 LLM（例如 GPT-5、Claude-Sonnet-4、Gemini-2.5）和网络安全专用代理（例如 DeepHat、SecGPT、Cyber-Zero）。评估涵盖了 CTI 生命周期的四个阶段：

情境化： 用上下文丰富原始观察（例如，将日志映射到 CVE）。
归因： 识别对手并将事件与行为者画像关联。
预测： 预测利用可能性和行动演变。
缓解： 推荐补丁、检测规则和响应剧本。

数据集包括已建立的基准（CTIBench、SevenLLM-Bench、SWE-Bench、CyberTeam）以及来自权威来源（NVD、CISA、厂商公告）的真实世界威胁报告。

2. 人机回环失败分类

为了解决在没有硬标签的情况下可靠分类失败模式的挑战，作者引入了一个分层的人机回环框架：

分层采样： 实例根据模型输出与参考材料之间的相似度得分被划分为分位数层。对每个层内“锚点”样本的人工检查建立了“正确”与“失败”输出的得分范围，将人工工作量最小化至总实例的 1.5% 以下。
迭代分类法细化： 一个自回归过程在 LLM 辅助分类和人工检查之间交替。由人工识别的新失败模式被添加到分类法中，直到收敛。
多代理审议： 为确保稳定性，多个 LLM 独立对实例进行分类，随后进行第二轮审议。仅当代理缺乏共识或预测在不同轮次间波动时（<1.8% 的案例），人工检查员才会介入。

主要贡献

1. 识别三种领域特定的认知失败

该研究确定了三种主导性的漏洞类别，这些类别限制了 LLM 在 CTI 中的有效性，且不同于通用的 LLM 缺陷：

虚假相关性： LLM 基于表面特征或共现特征而非因果联系进行过度归因。示例包括将通用工具误认为是特定行为者的证据（共提及偏差），或基于故意重复使用的威胁指标（IoCs）过度归因基础设施复用。
矛盾知识： CTI 来源之间的不一致性（例如，冲突的报告、过时证据与最新证据之间的时间矛盾、命名中的语义冲突）使模型感到困惑，导致预测不稳定或相互冲突。
受限泛化： LLM 难以超越熟悉的分布，在面对新兴（零日）威胁或未见过的模式时失败。这包括分布偏差（过度依赖常见的训练数据）和环境意识缺失（忽略特定的部署约束）。

2. 跨 CTI 阶段的根本原因分析

该论文将这些漏洞映射到特定的 CTI 阶段和技术。例如，共提及偏差 通常出现在情境化阶段，当检索系统将共现实体视为因果相关时。矛盾知识 经常使归因和缓解阶段不稳定，当时源在行为者身份或补丁有效性上存在分歧。受限泛化 失败在预测和缓解阶段最为显著，当时模型遇到训练数据中不存在的新型攻击向量或环境约束。

3. 通过因果干预进行验证

作者通过因果干预研究验证了这些根本原因。通过扰动非因果上下文令牌（例如，日期、行业），同时保留因果属性（例如，TTPs、利用机制），他们证明了 LLM 预测经常发生翻转，从而确认了对虚假相关性的依赖。

4. 防御策略

该论文提出并评估了针对性的缓解策略：

因果干预（ $C^3$ ）： 一种推理时的反事实一致性检查，强制模型验证当非因果上下文被改变时结论是否保持稳定。
细粒度缓解： 针对每种漏洞子类型的特定技术，例如检索时证据过滤（以消除共提及偏差）、时间感知重排序（以解决矛盾）和感知新颖性的推理（以处理未见过的模式）。

结果

性能差距： 评估揭示了所有模型中普遍存在的差距。通用 LLM 在理解密集型任务（例如，来源可靠性评分）方面表现出色，但在操作输出方面表现挣扎。网络专用代理在特定操作排名中表现更好，但在面对新兴威胁时受限于泛化能力。
失败率： 在没有缓解措施的情况下，所有阶段的失败率都很高。例如，通用模型在假旗检测和基础设施复用方面显示出高失败率。
防御有效性：
- 提出的 $C^3$ 因果干预 带来了普遍的性能提升，在假旗检测（最高提升 +0.115 F1）和事件时间线构建（平均 Δ ≈ 0.08）方面有显著改善。
- 细粒度缓解 显著降低了漏洞比率。“全功能”方法（结合检索过滤和推理约束）降低了所有类别的失败率。例如，通用 LLM 中的时间矛盾失败率通过仅检索缓解从 17.53% 降至 4.25%，而虚假相关性失败则最好通过仅推理检查来解决。

意义与主张

该论文声称揭示了当前 LLM 漏洞中特定于 CTI 领域的“盲点”。它认为，标准的模型适应或提示工程是不够的，因为这些失败根植于威胁景观的固有属性（异质性、波动性、碎片化）。

这项工作的意义在于：

转变焦点： 将讨论从通用的 LLM 缺陷（幻觉）转移到由网络威胁数据性质驱动的领域特定推理失败。
提供路线图： 为构建具有弹性、领域意识的 CTI 代理提供具体的、基于分类法的路径。
证明可行性： 表明轻量级、针对性的防御（因果一致性检查和检索过滤）可以在不需要大规模重新训练的情况下，显著缓解这些特定的失败模式。

作者得出结论，稳健的基于 LLM 的 CTI 分析需要专门针对威胁景观异质性的保护措施，为未来网络安全 LLM 系统的原则性适应提供了基础见解。