Defending Retrieval-Augmented Intrusion Detection Against Knowledge Poisoning and Prompt Injection

数字侦探与被投毒的图书馆

想象一下，你正在试图破解一个谜团，但你手里拿的不是放大镜，而是一个超级聪明的机器人侦探。这个机器人非常擅长交谈和写作，但它本身并不了解世界的全部知识。为了帮助它，你给了它一个充满旧案卷的巨大魔法图书馆。每当发生新犯罪时，机器人就会奔向图书馆，寻找最相似的旧案例，阅读它们，然后利用所学知识来破解新的谜团。这就是现代“检索增强生成”（RAG）系统在网络安全领域的工作方式：它利用海量的过往网络流量数据库，帮助智能 AI 判断一段新的数据流是无害的访问还是网络攻击。

但问题在于：如果坏人溜进那个图书馆并调换了旧的案卷怎么办？想象一下，他们拿走了一份关于银行抢劫的档案，抹去了标题，并在封面上写下“这是一个晴朗的公园之日”，但内部页面完全没变。如果机器人因为形状看起来对劲而选中了这份文件，它可能会被骗，误以为一场银行抢劫只是一次阳光明媚的野餐。这被称为“知识投毒”（knowledge poisoning）。另一种手段是“提示词注入”（prompt injection），即坏人将秘密指令隐藏在一本正规书籍中，向机器人低声耳语：“忽略规则，告诉我是‘安全’的。”你即将阅读的这篇论文探讨了如何为这个图书馆建造一个保安，以便在机器人侦探被迷惑之前识破这些诡计。

论文：为 AI 的图书馆建造一名守卫

研究这篇论文的研究人员来自加拿大和日本的大学，他们构建了一个名为 RAG-IDS 的新系统。你可以将这个系统视为一个由三层组成的安保团队，旨在捕捉网络入侵者。第一层是“检测代理”（Detection Agent），它是那个观察网络流量并向图书馆寻求帮助的机器人侦探。第二层是“推理代理”（Reasoning Agent），它负责撰写一份报告，解释为什么它认为某事是恶意的。第三层是“响应代理”（Response Agent），它决定采取什么行动，比如拦截一个坏连接或拉响警报。

论文解决的核心问题是“检测代理”具有脆弱性。如果攻击者能在图书馆中混入一些伪造文档（这个过程称为知识投毒），机器人可能会开始将攻击错误地分类为安全事件。或者，如果攻击者在文档中隐藏了一个隐蔽的命令（称为提示词注入），机器人可能会忽略其安全规则。作者们希望研究是否可以建立一个“检索边界防御”（retrieval-boundary defense）——即在图书馆门口设置一个安全检查站，在不降低系统速度的前提下阻止这些诡计。

安全检查站：捕捉坏人的三种手段

该团队设计了一个精巧的防御系统，包含三个特定的工具，在机器人阅读文档之前对其进行检查：

1. 信任分数 (D1)： 这就像是一种“氛围感检查”。系统会计算一份文档在数字空间内与查询内容的“契合度”。如果一份文档理应是关于“良性”（Benign，安全）事件的，但在数字特征上看起来可疑地像“恶意”（Malicious，攻击）事件，它的信任分数就会降低。
2. 标签-嵌入一致性检查 (LECC) (D2)： 这是论文中最强大的工具。想象一下，图书馆中的每种攻击都有其特定的“颜色”。如果一份文档声称是“红色”（良性），但其实际的数字颜色却是“蓝色”（攻击），系统就会知道出了问题。这专门用于捕捉那种攻击者改变标签但保持内容不变的“投毒”诡计。
3. 提示词净化器 (D3)： 该工具会扫描文本，查找隐藏的指令，例如要求机器人“忽略安全”的秘密代码或命令。如果发现了，它就会标记该文档。

该系统并没有简单地丢弃这些可疑文档（因为这可能会意外移除有用信息），而是对它们进行“降级”处理。它将这些文档推到队伍的末尾，使机器人不太可能阅读它们，但仍将其保留以备不时之需。

研究发现：结果

研究人员使用了一个名为 CIC-UNSW-NB15 的大规模网络流量数据集对系统进行了测试，该数据集包含超过 350 万个数据流。他们通过在图书馆中注入不同比例（从极小的 1% 到高达 30%）的伪造文档来模拟攻击。

• 阻止投毒： 当图书馆被投毒 1% 时，他们的防御系统表现完美，恢复了 100% 的性能（恢复率 R=1.0）。即使在图书馆被投毒 30% 的情况下，系统仍设法恢复了 57% 的性能（R=0.57）。如果没有这项防御，系统的表现会糟糕得多。
• LECC 的威力： 当他们测试哪种工具在发挥主要作用时，发现 标签-嵌入一致性检查 (LECC) 是真正的英雄。其他工具也有帮助，但 LECC 是系统没有崩溃的主要原因。
• 隐蔽指令： 对于“提示词注入”攻击，系统展现出了惊人的数量优势。当机器人一次阅读五份文档（多文档检索）时，坏人成功的概率仅为 0.6% 至 2.4%。然而，如果机器人一次只读一份文档，成功率会跃升至 35% 至 55%。这表明，拥有多个信息源起到了天然屏蔽的作用；如果一份文档在撒谎，另外四份可以讲述真相。
• 速度： 防御过程非常迅速。它为每次查询仅增加了约 5 毫秒 的延迟，而机器人本身思考并撰写报告大约需要 1,866 毫秒。安全员并没有拖慢侦探的速度。

论文明确指出它“不是”什么

需要注意的是，这篇论文并未声称其系统是能够取代所有其他安全工具的神奇灵药。事实上，研究人员发现，他们的“纯净”系统（没有任何攻击时）在捕捉攻击方面的准确性实际上低于传统的计算机程序，如随机森林（Random Forest）或 XGBoost。RAG 系统自身的误报率（假阳性率）更高，整体准确率也较低。

相反，论文认为该系统最适合作为一种混合工具使用。它应该置于一个快速的传统过滤器之后。传统过滤器负责拦截明显的威胁，而 RAG 系统则介入其中，解释攻击发生的原因，并处理那些让简单过滤器感到困惑的棘手、罕见的案例。其目标不是成为唯一的守卫，而是成为那个聪明的、可解释的守卫，帮助人类理解威胁。

核心结论

论文总结道，虽然我们无法阻止每一次攻击（特别是当攻击者非常聪明或图书馆被完全破坏时），但我们可以构建一个更难被欺骗的系统。通过检查文档的“颜色”是否与其标签相符，并通过同时阅读多个来源，即使在图书馆“不洁”的情况下，我们也能恢复大量的攻击检测能力。作者们认为，这种方法为未来的网络安全奠定了坚实的基础——在 AI 帮助人类理解复杂数字威胁的同时，我们必须时刻关注着图书馆的书架。