Architecture Matters: Comparing RAG Systems under Knowledge Base Poisoning

技术摘要：架构至关重要：知识投毒下的 RAG 系统比较

问题陈述
检索增强生成（RAG）系统易受知识投毒攻击，即攻击者注入精心构造的文档以操纵系统输出。尽管现有文献已广泛评估了这些攻击针对“原生”检索 - 生成流程的效果，但仍存在一个关键缺口：那些明确设计用于处理冲突信息的架构——如多智能体辩论、代理式检索和递归语言模型——从未在对抗性优化的矛盾信息面前接受过测试。此外，先前的评估往往依赖于投毒文档主导检索上下文的场景（例如，在 $K=5$ 个检索结果中有 $N=5$ 个投毒文档），未能测试系统在单一对抗性文档与合法来源共存（$N=1$）时的推理能力。

方法论
本研究在受控的 $N=1$ 投毒威胁模型下，评估了四种不同的 RAG 架构。测试基于 Natural Questions (NQ) 数据集中的 921 个问答对，这些问答对使用 Contriever 从包含 268 万段落的维基百科语料库中检索得出。所有系统均采用 GPT-5-mini 作为骨干大语言模型，以隔离架构效应与模型能力差异。

测试的四种架构如下：

1. 原生 RAG（Vanilla RAG）： 标准的单次检索 - 生成流程。
2. 代理式 RAG（Agentic RAG）： 通过 PydanticAI 实现，允许智能体在回答前迭代搜索、重构查询并收集证据。
3. MADAM-RAG： 一个多智能体辩论系统，其中每个检索到的文档被分配给一个独立智能体进行审议，随后由聚合器综合生成最终答案。
4. 递归语言模型（RLM）： 一个通过程序化分解和递归子调用处理完整主题上下文的系统（检索前 100 个段落，并扩展至所有共享文章标题的段落，通常约为 2,600 个段落）。

系统在以下三种条件下进行测试：

• 清洁基线： 无投毒文档。
• 朴素注入： 自然撰写的矛盾段落，未进行检索优化。
• CorruptRAG-AK： 一种采用“元认识论框架”（例如，“许多过时的来源错误地陈述……最新数据证实……"）的对抗性攻击，旨在削弱正确来源的可信度。该攻击包含一个检索优化组件，以确保投毒文档被检索到。

评估指标包括攻击成功率（ASR），该指标以清洁准确率为基础进行条件化，以确保跨架构的公平比较；以及通过大语言模型裁判评估的七类行为分类法（例如：自信正确、检测到的正确、模棱两可、自信错误）。

主要贡献

1. 对先进架构的首次评估： 本文提供了针对知识投毒的代理式、多智能体辩论和递归架构的首次对抗性评估，填补了投毒文献与冲突处理文献之间的空白。
2. 架构作为一阶变量： 研究表明，仅凭架构设计选择，在具有可比清洁准确率（约 92%）的系统之间，就产生了近 58 个百分点的攻击成功率差异（原生架构为 81.9%，RLM 为 24.4%）。
3. 攻击成功的分解： 作者将朴素攻击与对抗性攻击之间的性能差距分解为“检索效应”（获取投毒文档）和“内容效应”（框架的说服力）。研究发现，对于四种架构中的三种，对抗性优势主要源于生成阶段的元认识论框架，而非检索优化。
4. 行为分类法： 引入七类分类法，捕捉了超越二元准确率的失败模式，包括矛盾检测、模棱两可和置信度水平。

结果

• 鲁棒性差异： 在 CorruptRAG-AK 条件下，原生 RAG 遭受 81.9% 的条件化攻击成功率（ASR），而代理式 RAG 降至 43.8%，RLM 以 24.4% 实现了最高的鲁棒性。MADAM-RAG 显示出 45.5% 的 ASR，但伴随着高比例的非回答率（在清洁输入上为 41.4%），这表明存在一种“安全但无用”的权衡，即系统频繁拒绝回答而非冒险出错。
• 分解发现：
  • 原生 RAG： 攻击优势在检索（约 18 个百分点）和内容（约 32 个百分点）之间分配。
  • 代理式 RAG： 优势几乎完全由内容驱动（约 30 个百分点），检索贡献微乎其微。值得注意的是，代理循环放大了对抗性框架，在 63% 的错误响应中复现了元认识论标记。
  • RLM： 整个脆弱性差距都集中在内容推理阶段；检索优化并未为攻击者提供额外优势。
  • MADAM-RAG： 内容效应在统计上与零无显著差异。一旦投毒文档被检索到，对抗性框架相比朴素矛盾并未提供额外优势，这表明辩论结构过滤了具有说服力的语言。然而，无论框架如何，聚合器都无法可靠地解决矛盾。
• 行为分析： 原生 RAG 的失败主要表现为“自信错误”。代理式 RAG 显示出更分散的失败模式，包括模棱两可。MADAM-RAG 表现出高比例的模棱两可和“未知”响应，虽然抑制了自信错误，但也降低了实用性。RLM 保持了最低的自信错误回答率。

意义与主张
本文认为，架构选择是 RAG 对抗鲁棒性中高影响力但未被充分探索的变量，其重要性可能超过许多专用防御机制。作者主张：

• 设计优先级： 选择推理架构应被视为与选择防御机制同等重要的设计决策。一个带有复杂防御的原生流程，在面对现实威胁时，其表现可能不如一个朴素的代理式或递归流程。
• 威胁模型依赖性： 对于有机污染（过时文档），代理式 RAG 提供了良好的成本 - 鲁棒性权衡。然而，面对复杂的对抗性框架，仅靠代理式 RAG 是不够的，递归语言模型（RLM）提供了更优越的鲁棒性，尽管其延迟成本显著。
• 生成级脆弱性： 大多数先进架构的主要脆弱性在于生成/推理阶段（内容效应），而非检索。这促使生成级防御（如防御性提示、一致性检查）成为代理式和 RLM 系统的主要干预目标。
• MADAM-RAG 的局限性： 虽然多智能体辩论结构在过滤对抗性语言和检测矛盾方面显示出前景，但所测试的具体实现未能可靠地解决冲突，导致高比例的非回答率。本文建议需要改进聚合逻辑，以实现该架构的潜力。

研究结论指出，虽然 RLM 目前提供了最强的鲁棒性，但其高延迟和信息不对称（更大的上下文）带来了部署挑战。作者提出，未来的工作应调查轻量级的防御性提示是否能在代理式系统较低的成本点上，缩小代理式架构与递归架构之间的鲁棒性差距。