技术摘要：中毒的剧本：揭示知识投毒对 AI 安全智能体的影响

问题陈述

本文探讨了部署在 AI 安全智能体中的检索增强生成（RAG）系统面临的一种关键完整性风险。虽然 RAG 通过外部知识增强了大语言模型（LLM）在漏洞分析和攻击路径推理等任务中的能力，但也扩大了系统的信任边界，将其扩展到了外部知识库。作者识别出一种特定的威胁向量：通过“中毒剧本”（Poisoned Playbooks）进行的知识投毒。

与以往关注事实性问答（QA）中文本答案被破坏的研究不同，本研究侧重于面向行动的安全智能体。在这些系统中，检索到的内容直接塑造了操作指导，例如漏洞假设、命令序列和攻击路径决策。在安全领域，由于智能体依赖于快速变化且缺乏严格审核的公共来源（如 GitHub 仓库、CTF 题解、技术博客）来理解新披露或零日漏洞，这种威胁显得尤为严重。在这些“证据稀疏”的场景下，权威的反证往往不存在，导致智能体容易采纳恶意或误导性的说法，从而改变其漏洞利用行为。

研究方法

作者使用中毒剧本（即注入到公共风格知识源中的精心构造的安全技术文章）进行了系统的实证研究。研究设计包括：

• 威胁模型： 一种预置攻击，攻击者在无需运行时访问受害者智能体的情况下，向公共安全知识（SK）源发布精心构造的内容。目标是诱导智能体采纳中毒的说法并改变下游的漏洞利用行为。
• 实验设置：
  • 测试平台： 使用基于混合检索流水线（SQLite FTS5 + Qdrant 向量搜索）的 RAG 增强型安全智能体，检索范围涵盖 8,651 篇安全技术文章。
  • 模型： 在三种前沿 LLM 系列（Claude, GPT-5.3, Gemini）以及两代 Claude（Opus 4 和 Opus 4.6）上进行评估。
  • 数据集：
    • 11 个 CTF 挑战： 包括具有高信息垄断性的 niche 型 Dreamhack 挑战和文档齐全的 PortSwigger 实验室（低垄断）。
    • 11 个真实世界 CVE： 跨越七个平台，包括知名漏洞（如 Log4Shell）和模拟证据稀疏条件的训练截止日期后出现的 CVE。
  • 评估模式：
    • 预言机检索（Oracle Retrieval）： 直接提供中毒文档，以将“采纳行为”与“检索质量”分离。
    • 端到端（E2E）： 将毒素注入私有知识库副本中，以测试完整的流水线。
    • 跨代/跨模型： 比较不同模型能力下的行为差异。
• 指标： 主要指标是中毒采纳率（PAR），这是一个二元评估，用于判断智能体的策略是否依赖于某个仅存在于中毒文档中的说法。

核心贡献

1. 系统性展示行为投毒

研究证明，单篇中毒的技术文章可以系统性地改变基于 RAG 的 AI 安全智能体的行为。作者发现，中毒采纳并非随机发生，而是遵循某种结构化模式。成功的投毒会导致智能体：

• 诱发假阴性： 将真实的漏洞误判为不可利用。
• 转移目标： 将智能体重定向至不存在或无效的攻击路径。
• 破坏推理： 虽然保持了正确的漏洞类别，但遵循了错误的漏洞利用逻辑。

2. 验证边界 (Verification Boundary, VB)

为了解释采纳行为的差异性，作者引入了验证边界的概念，这是一个基于智能体可用于反驳某一说法的证据水平而建立的三级经验分类法：

• 第 1 层（代码可验证）： 可以通过检查本地人工制品（源代码、配置）来确认或反驳的说法。这类说法通常会被可靠地拒绝。
• 第 2 层（知识可验证）： 无法通过本地人工制品解决，但可能通过模型的参数化知识进行反驳。采纳行为取决于模型；较新或更强的模型可能会拒绝这些说法，而较旧的模型则可能采纳。
• 第 3 层（运行时依赖）： 需要关于外部依赖项或执行条件的知识，而这些信息在本地人工制品或模型知识中均不可得。这些说法在所有模型和代际中都被一致采纳，因为智能体缺乏能够证伪它们的证据。

3. 对现实场景的泛化

研究验证了 VB 模式在受控 CTF 挑战之外同样适用。在真实世界 CVE 评估中：

• 文档齐全的漏洞（存在强大的竞争证据）被拒绝（采纳率为 0%）。
• 训练截止日期后、依赖运行时的漏洞（证据稀疏）被 100% 采纳。
• 一个过渡案例（Redis Lua）显示，一个说法从 L3（被旧模型采纳）转向 L3（被具备特定领域知识的新型模型拒绝），证实了模型规模的扩大虽然扩展了 L2 区域，但并未消除 L3 漏洞。

4. 对缓解措施的评估

论文评估了两种实际的防御手段：

• 验证提示词（Verification Prompting）： 指示智能体区分可验证与不可验证的说法。仅当存在回溯推理（如源代码）时，该方法对 L3 挑战才高度有效。当完全缺乏反证证据时，该方法无法生成正确答案。
• 多源检索（Multi-Source Retrieval）： 当存在可信的竞争文档时，可以降低采纳率。然而，在信息垄断场景（证据稀疏）下，该方法会失效，因为检索更多来源仅仅是返回了相同弱证据的变体。

结果与发现

• 采纳是系统性的： 中毒采纳受验证边界支配，而非仅仅取决于漏洞的难度。
• 信息垄断是关键： 当智能体面临信息垄断（既无本地矛盾的人工制品，也无强大的参数化知识）时，采纳率最高。
• 模型规模化是局部的： 提升模型能力（例如从 Opus 4 到 4.6）虽然扩展了可反驳说法（L2）的集合，但无法解决依赖于不可观测运行时行为的说法（L3）。
• 中毒特征： 有效的中毒内容通常使用第一人称叙述、伪造的定量证据以及“承认并反驳”的结构来增加可信度，专门针对外部依赖项和运行时行为。
• 成本效率： 这种攻击成本极低（每篇技术文章仅需 30–60 分钟），且具有 1 对多的扩展性，能影响任何检索该人工件的智能体。

意义与主张

本文声称，AI 安全智能体的完整性不仅受到中毒数据存在的威胁，还受到智能体在证据稀疏环境下无法验证运行时依赖性说法这一结构性缺陷的威胁。

作者强调：

1. 现有防御手段是不完整的： 在零日漏洞或早期披露阶段，由于缺乏权威的反证，标准的缓解策略（如提示词工程、多源检索）是不足够的。
2. 这是一种结构性权衡： 存在效用与安全性之间的内在紧张关系；限制智能体仅使用受信任的来源虽然降低了中毒风险，但也使其在最需要外部知识的快速变化的威胁（如零日漏洞）面前变得无效。
3. 未来需求： 鲁棒的安全智能体需要超越更好检索或更大模型的机制。它们需要更强的验证机制，能够处理不可验证的运行时声明，这可能涉及针对基于不可验证证据的策略实施“人机协同”的决策控制。

研究结论认为，虽然在证据丰富的成熟生态系统中，中毒是一个可控风险，但在漏洞披露的早期阶段以及对于依赖运行时的漏洞利用而言，它仍然是一个关键且尚未得到缓解的漏洞。