💻 computer science

Retrieved But Not Reliable: A Survey on Attacks, and Defenses in Retrieval-Augmented Generation

本综述通过形式化威胁模型，将攻击分为针对准确性、隐私性和公平性目标的攻击类别，并回顾了特定阶段的防御、基准测试和可解释性方法，为检索增强生成（RAG）的鲁棒性提供了一个统一的、感知流水线的概述。

原作者： Minh Tran, Cuong Dang, Tuc Nguyen, Khanh-Tung Tran, Minh Huynh Nguyen, Trinh Chau, Kien Le, Do Xuan Long, Jiahao Zhang, Hoang D. Nguyen, Thanh Le, Suhang Wang

发布于 2026-08-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Minh Tran, Cuong Dang, Tuc Nguyen, Khanh-Tung Tran, Minh Huynh Nguyen, Trinh Chau, Kien Le, Do Xuan Long, Jiahao Zhang, Hoang D. Nguyen, Thanh Le, Suhang Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代数字化景观中，人工智能已从简单的聊天机器人演变为复杂的科研助手。这些大语言模型能够编写代码、总结复杂的报告并回答复杂的问题。然而，多年来它们一直面临着一个持久的缺陷：它们经常会极其自信地捏造事实。为了解决这个问题，工程师们开发了一种名为“检索增强生成”（Retrieval-Augmented Generation）的系统。该系统不再仅仅依赖于训练期间记忆的信息，而是首先搜索一个庞大的外部文档库，提取出最相关的实事，然后利用这些事实来构建答案。这种方法将人工智能锚定在现实之中，使其更加准确，且不易编造内容。然而，这种向外界寻求信息的机制本身也引入了一系列新的脆弱性。正如图书馆可能会被有人偷偷放入伪造书籍的行为所破坏一样，人工智能的外部知识库也可能被“投毒”，导致系统检索到虚假信息，并生成有害或错误的输出。

一项由包括胡志明市理工大学和宾夕利瓦尼亚州立大学研究人员在内的机构开展的全面新调查，绘制了这些新兴的危险以及为应对这些危险而建立的防御措施。研究团队不仅列举了攻击手段，还构建了一个统一的框架，用以理解对手是如何针对人工智能工作流的不同阶段进行攻击的。他们发现，攻击者通常追求三个主要目标：他们希望让人工智能给出错误的答案，希望诱导其泄露私人信息，或者希望放大针对特定群体的偏见。研究人员根据威胁打击的环节对这些威胁进行了分类。第一个失效点是检索过程本身，攻击者可能会注入误导性的文档，以确保人工智能找到错误的信息源。第二个是排序阶段，即系统决定哪些找到的文档更为重要；在此阶段，攻击者可能会试图提升一份伪造文档的权重，使其出现在列表顶端。第三个是生成阶段，即人工智能撰写最终回复的过程；第四个是溯源阶段，即在错误发生后尝试识别是哪份文档导致了失误。

该调查显示，最常见的攻击方法涉及“语料库投毒”，即对手将恶意文档插入外部数据库。这些文档经过精心设计，看起来像是合法的来源，但包含细微的错误或虚假陈述。当人工智能搜索答案时，它会检索到这些被投毒的文档，并将其视为真理。例如，攻击者可以注入一份声称某种特定抗生素可以治疗流感的文档，从而导致人工智能自信地给出危险的医疗建议。另一种更复杂的策略是“后门攻击”，即系统被训练或操纵，仅在存在特定的、隐藏的触发词时才会做出反应。如果用户提出的问题包含该触发词，人工智能就会忽略所有其他证据，并检索一份预先植入的恶意文档以生成有害的响应。研究人员还详细描述了“提示词注入”攻击，即恶意指令被隐藏在检索到的文档之中。一旦人工智能阅读了这份文档，它可能会将隐藏的文本解释为一条命令，要求其忽略用户的原始问题，转而泄露敏感数据或执行未经授权的操作。

除了单纯破坏系统之外，该调查还强调了这些攻击如何损害隐私和公平性。在隐私方面，攻击者可以将人工智能作为从数据库中提取机密信息的工具。通过提出精心设计的提问，他们可以诱骗系统泄露存储在文档中的个人或组织隐私细节。调查中引用的一项研究显示，在使用后门触发器时，攻击者实现泄露特定文档的成功率可高达 94%。关于公平性，研究人员发现攻击者可以通过在数据库中注入带有偏见的内容，从而使人工智能的输出产生针对特定人口统计群体的偏差。例如，通过注入将特定性别与负面特质联系起来的文档，人工智能可能会被操纵，从而生成强化有害刻板印象的响应，通过机器的视角有效地放大社会偏见。

为了应对这些威胁，研究人员审查了广泛的防御策略，每种策略都针对流程中的特定阶段。在检索阶段，防御重点在于清理数据库并提高搜索引擎的抗操纵能力，例如过滤掉低质量来源或检测文本中的异常模式。在重排序阶段，系统正在被开发用于交叉检查多份文档，并降低那些看起来可疑或与其余证据不一致的文档的权重。在生成阶段，人工智能本身正在学习变得更加具有怀疑精神，学习识别检索到的文档是否与已知事实冲突，或者文本中是否包含隐藏指令。最后，在溯源阶段，正在出现新的方法，可以追踪错误答案是由哪份特定文档引起的，从而允许开发人员精准定位并移除错误的源头。

尽管取得了这些进展，调查结论指出，该领域仍处于早期阶段，并面临着重大障碍。许多当前的防御方法都依赖于能够完全访问人工智能系统的内部运作机制，但在现实应用中，系统往往是一个“黑盒”，很难实现这一点。此外，攻击的有效性与隐蔽性之间存在着不断的权衡：高效的攻击往往产生的文本听起来不自然，因此更容易被察觉；而隐蔽的攻击则更难执行。研究人员还指出，随着人工智能系统向处理更复杂任务（如分析数据图表或处理图像与文本结合）的方向演进，新的且不可预测的漏洞很可能会出现。前进的道路需要一个持续测试与改进的循环，以确保随着这些强大的工具越来越多地融入我们的生活，它们能够保持稳健，抵御那些试图利用它们的人。

技术摘要：检索但不可靠：关于检索增强生成（RAG）攻击与防御的综述

问题陈述

检索增强生成（RAG）系统通过将输出锚定在外部知识中来增强大语言模型（LLM），旨在提高事实准确性并减少幻觉。然而，检索管线的引入创造了新的、复杂的攻击面，这些攻击面有别于独立的 LLM。攻击者可以利用该管线推断私有语料库内容、注入误导性证据以诱导错误输出，或放大人口统计学偏见。虽然现有文献探讨了 RAG 的安全性，但目前的综述往往是碎片化的，缺乏一个统一的框架来连接整个 RAG 管线（检索、重排序、生成和溯源）中的攻击者目标、威胁模型及特定阶段的防御措施。此外，新兴的 RAG 变体（如 GraphRAG、多模态 RAG）引入了结构性约束，这重塑了攻击面，但在安全背景下仍未得到充分探索。

研究方法

本综述采用系统性的方法论，构建了一个与管线相关的 RAG 鲁棒性统一概览：

文献收集： 作者确定了种子论文（例如 PoisonedRAG、TrojanRAG、Neural Exec、《好与坏》），并通过引用追踪和关键词搜索（检索、攻击、防御、隐私、鲁棒性）扩展了数据集。
分类法设计： 本综述围绕两个关键问题进行构建：攻击者旨在破坏什么（目标）以及失效发生在管线的哪个阶段（阶段）。
- 攻击按目标进行组织：准确性、隐私和公平性。
- 防御按管线阶段进行组织：检索、重排序、生成和溯源。
威胁建模： 作者基于攻击者目标（针对性 vs 非针对性）、知识水平（黑盒、灰盒、白盒）和能力（仅对语料库具有插入访问权限，或对检索器/生成器具有查询访问权限）对威胁模型进行了形式化。
范围扩展： 本综述不仅涵盖标准 RAG，还扩展到了 GraphRAG、多模态 RAG 和 Agentic RAG 等变体，分析了它们的特定安全影响。

核心贡献

1. 统一的威胁模型与攻击分类法

本文对三个主要 RAG 组件（语料库 $D$ 、检索器 $R$ 和 生成器 $F$ ）的威胁模型进行了形式化。攻击被分为三个主要目标类别：

准确性攻击： 旨在诱导错误或有害的输出。
- 针对性攻击： 通过语料库投毒（注入误导性文档）、后门攻击（通过触发器激活恶意行为）或提示词注入（在检索到的文档中嵌入可执行指令）来诱导特定的错误答案。
- 非针对性攻击： 广泛地降低系统可靠性或绕过多样化查询的安全约束。
公平性攻击： 通过注入偏见证据或投毒查询编码器（使触发器与特定人口统计群体对齐）来诱导或放大系统性差异（如性别、种族）。
隐私攻击： 在不改变系统输出的情况下提取敏感信息。
- 针对性攻击： 成员推理（确定某个文档是否存在于语料库中）、隐私提取（迫使模型揭示检索到的私密内容）以及混淆代理（Confused-Deputy）行为（欺骗权限过高的实体）。
- 非针对性攻击： 通过探测查询大规模提取隐藏的语料库数据。

2. 阶段感知型防御分类法

防御措施按其干预阶段进行分类：

检索阶段： 侧重于鲁棒检索（诊断资源、以证据为中心的检索、语料库净化）和鲁棒训练（硬负样本训练、低层扰动训练），以改进初始证据集。
重排序阶段： 通过跨文档推理和相似性图（例如 GRADA）提升良性文档并抑制可疑文档，从而精炼前 $k$ 个候选文档。
生成阶段： 在 LLM 层面运行，分为：
- 主动防御： 过滤（基于一致性、基于影响力和基于机制的过滤）以及检测机制，用于在生成前标记中毒输入。
- 被动防御： 鲁棒推理（基于隔离的生成、冲突感知推理）和鲁棒训练（对抗训练、对齐、自我理性训练），以减轻解码过程中的影响。
溯源阶段： 用于失效后的归因。包括上下文级、文档级和数据集级归因，以识别导致误导性或不安全输出的具体来源。

3. 新兴 RAG 变体的分析

综述强调了新架构如何改变威胁格局：

GraphRAG： 虽然图索引可能降低标准语料库投毒的有效性，但它引入了新的风险，如实体/关系投毒以及通过子图重建进行的隐私提取。
多模态 RAG： 将攻击面扩展到图像-文本对，使得跨模态的语料库投毒和成员推理成为可能。
Agentic RAG： 引入了有状态的循环，攻击可以在内存中持续存在、操纵工具选择或利用不可信的工具观测结果，从而将安全目标从答案完整性转向整个“检索-推理-行动-更新”循环的完整性。

4. 基准测试与可解释性

本文总结了评估失效模式（如语料库投毒、检索脆弱性和知识冲突）的鲁棒性基准测试（如 SafeRAG、URAG）。同时，它还回顾了可解释性方法（归因、机制、结构和系统级），这些方法揭示了中毒上下文为何会影响模型行为，例如对连贯证据链的偏好，或从内部安全策略向外部证据合成的转变。

结果与发现

脆弱性： RAG 系统极易受到语料库投毒和提示词注入的影响，其中恶意文档可以引导生成器转向特定目标或泄露私密数据。
防御局限性： 当前的防御措施通常是碎片化的。许多防御依赖于强白盒假设，这无法转化到黑盒部署中。溯源方法主要属于诊断性而非预防性。
权衡关系： 攻击的隐蔽性与有效性之间存在张力；优化的对抗性文本往往缺乏语义自然性，从而变得易于检测。同样，通用攻击提高了可扩展性，但与针对特定查询的优化相比，可能会损失精确度。
新兴风险： GraphRAG 和多模态 RAG 中的隐私风险尚未得到充分研究，而 Agentic RAG 引入了严重的后果，即受损状态可能导致未经授权的外部行动。

意义与主张

作者将这项工作定位为开发可信 RAG 系统的路线图。其意义在于：

统一性： 提供了一个全面的、与管线相关的分类法，将攻击目标与特定的防御阶段联系起来，填补了先前综述的空白——之前的研究虽然对关键维度（如事实性、鲁棒性）提供了全面覆盖，但对攻击结构或对抗性防御的分析有限。
全面性： 不仅涵盖了标准 RAG，还涵盖了新兴变体（GraphRAG、Agentic RAG），并整合了基准测试和可解释性方法。
未来方向： 强调了开放性挑战，例如攻击向黑盒环境的可迁移性不足、对更隐蔽攻击的需求，以及对隐私泄露进行细粒度来源归因的必要性。

文章最后承诺将维护一个公共仓库以持续追踪这一快速发展的领域，并强调构建鲁棒的 RAG 系统需要对整个检索增强管线进行整体性的理解。