💬 NLP

SilentRetrieval: Hijacking Retrieval-Augmented Generation via Semantically-Preserving Adversarial Data Poisoning

本文介绍了 SilentRetrieval，这是一种两阶段数据投毒攻击，通过注入精心设计的流畅对抗性文档来劫持检索增强生成系统，这些文档在保持高检索排名的同时成功操纵大语言模型的输出，并通过维持语义连贯性来规避检测。

原作者： Jiachen Qian

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiachen Qian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将检索增强生成（RAG）系统比作一位非常聪明但略显健忘的图书管理员。当你提出问题时，这位管理员不会仅仅依赖自己的记忆（那可能已过时或会凭空捏造）；相反，他们会迅速奔向一座庞大的图书库（即“语料库”），寻找最相关的页面，阅读这些内容，然后基于所找到的信息为你撰写答案。

论文《SilentRetrieval》描述了一种新颖且隐蔽的入侵该图书管理员的方法。攻击者并非通过大喊大叫或砸碎图书馆窗户（那样太明显）来行事，而是悄悄地将一本精心伪造的假书混入书架。当管理员寻找答案时，他们会首先发现这本假书，阅读它，然后自信地告诉你一个听起来完全真实的谎言。

以下是该攻击方式的分解步骤：

1. 问题所在：“信任我”的图书馆

图书管理员信任书架上的书籍。如果书籍内容干净准确，管理员就能给出好的回答。但如果有人将一本外观与真书毫无二致的假书偷偷混入其中，管理员可能会抓取这本假书而非真实事实，从而导致“幻觉”（即自信的谎言）。

2. 攻击手段："SilentRetrieval"

研究人员创建了一种两步法来制造这本假书，且不被察觉。

第一步：“完美契合”（协调束搜索）
想象一下，你想将真实百科全书条目中的一段话替换为谎言，但你不能随意涂写胡言乱语，否则管理员会立即将其剔除。

旧方法： 以前的黑客会编写胡言乱语或明显的 nonsense。管理员的“流畅度过滤器”（一种检查文本是否自然的工具）会立即识破并拒绝它。
SilentRetrieval 方法： 攻击者使用一种复杂的算法，对真实文章的措辞进行微调，使其刚好包含谎言，同时保持句子结构和行文流畅，使其听起来仍像正常的百科全书条目。这就像修改食谱，将“加盐”改为“加毒药”，但手法如此微妙，以至于食谱看起来仍像一道正常且美味的菜肴。
目标： 确保这本假书在你搜索该主题时，仍然是管理员找到的最相关的书籍。

第二步：“平滑过渡”（上下文自适应触发词生成）
一旦伪造的段落准备就绪，攻击者需要确保管理员在阅读时相信这个谎言。

系统并非简单地在末尾粘贴一个随机句子（例如“天空是绿色的！”），而是利用另一个 AI 编写一个“触发”句子，使其与伪造段落完美融合。
它听起来像是自然的结论或“已验证的事实”，符合文章的基调。这与笨拙地贴在书页上的便条截然不同，后者是自然融入故事的一部分。

3. 结果：黑客技术有多高明？

研究人员在两个庞大的数字图书馆（一个包含 36.1 万页，另一个包含 880 万页）上测试了这种方法。

隐蔽性： 伪造文档几乎与真实文档无法区分。当人类审查员查看它们时，仅约15%的情况下将其标记为“可疑”，而旧式笨拙的黑客方法则高达83%。对于检查“奇怪词模式”的计算机而言，这些假书看起来与真书几乎一样正常。
成功率： 当管理员被问及问题时，在较小的图书馆中，假书被找到的概率为84.6%。一旦找到，管理员相信谎言并给出错误答案的概率为57.5%。
“大图书馆”测试： 即使他们在拥有 2100 万页（超大规模）的图书馆中进行测试，假书仍能在**74.2%**的情况下进入搜索结果的前列。

4. 防御措施：如何阻止它

论文还测试了如何保护这位图书管理员：

“第二意见”（重排序）： 如果管理员用一位更严格、更具批判性的“第二管理员”（交叉编码器）来检查前几项结果，那么假书被选中的可能性就会降低。
“群体投票”（段落隔离）： 不让管理员只阅读一页并做出决定，而是让他们阅读五篇不同的文章并对答案进行投票。如果假书是唯一包含谎言的，其他四篇真实文章将投票否决它。
结果： 结合使用这些防御措施（第二管理员 + 群体投票）将攻击的成功率从57.5%降低到了21.3%。然而，这会使管理员的速度变慢（大约慢 6 倍）。

核心结论

这篇论文表明，RAG 系统存在一个隐藏弱点：语料库完整性。如果攻击者能够将几篇精心编写、具有“隐蔽性”的假文档注入数据库，他们就能劫持系统的回答，而系统却察觉不到任何异常。

关键要点在于，流畅性是一把双刃剑。让攻击文本听起来过于完美，会使简单过滤器更难捕捉到它，但这也使得攻击更加危险，因为 AI（以及人类）更有可能信任它。论文建议，为了保持安全，我们需要“分层”防御——使用多重检查和制衡机制，而不是仅仅依赖一种方式来识别假新闻。

技术摘要：SilentRetrieval

问题陈述

检索增强生成（RAG）系统依赖其外部知识库的完整性来缓解大语言模型（LLM）的幻觉问题。然而，这种依赖性创造了一个关键漏洞：如果攻击者能够将恶意文档注入知识库，他们就可以劫持检索过程，进而操纵 LLM 的生成结果。

以往针对 RAG 的对抗性攻击面临着检索有效性、生成操纵能力与隐蔽性之间持久的权衡。现有方法往往产生易于检测的输出：

基于梯度的优化（例如 AGGD、GASLITE）能够实现强大的检索劫持，但通常无法有效操纵生成阶段，或缺乏流畅性约束。
联合检索器 - 生成器攻击（例如 Joint-GCG、PoisonedRAG）能很好地操纵生成结果，但生成的文本困惑度（PPL）很高（PPL > 150），使其容易受到基于简单困惑度的过滤器检测。
对抗性解码保留了流畅性，但其操作发生在生成阶段，而非通过知识库投毒进行。

核心挑战在于构建一种数据投毒攻击，能够同时实现检索劫持、操纵 LLM 输出，并且在自动过滤器和人工检查下，比以往的基线方法显著更不易引起怀疑。

方法论：SilentRetrieval

作者提出了SilentRetrieval，这是一个两阶段的数据投毒框架，旨在优化检索劫持和生成操纵，同时严格遵守流畅性预算。

阶段 1：协调束搜索（Coordinated Beam Search, CBS）

该阶段优化一篇主题相关的“宿主”文档，以确保在插入恶意负载后，该文档仍能被检索到。与以往的单 token 贪婪方法不同，CBS 执行多 token 联合优化。

目标：一个权衡嵌入相似度与流畅性违规惩罚的惩罚性最大化问题：
$d_{opt} = \arg \max_{d \in T} \text{sim}(E(q_{target}), E(d)) - \lambda \cdot \max(0, \text{PPL}(d) - \tau_{ppl})$
机制：
1. 梯度引导候选：来自检索器的梯度和来自困惑度（PPL）模型的启发式信号提出候选 token 编辑。
2. 协调束搜索：算法根据梯度幅度选择前 $M$ 个位置，并在 $M \times K$ 个候选替换的联合空间上构建束。
3. 评估：对束候选进行完整目标评估（包括通过 GPT-2 计算 PPL）。超过 PPL 预算（ $\tau_{ppl} = 50$ ）的候选将被拒绝。
目标：对宿主文档进行预条件处理，以便后续插入携带目标的负载时，不会导致文档的检索排名崩溃。

阶段 2：上下文自适应触发器生成（Context-Adaptive Trigger Generation, CATG）

该阶段不附加固定的触发模板，而是利用冻结的 LLM（Llama-2-7B-Chat）生成与优化后的文档在上下文上融合的触发器。

合成：提示 LLM 续写优化后的文档（ $d_{opt}$ ），生成一个自然融入目标主张（ $a_{target}$ ）的句子，使其匹配段落的风格、领域词汇和叙事语气。
过滤：生成的触发器需通过三个质量关卡：
1. 蕴含：必须蕴含目标答案（通过 NLI 模型验证）。
2. 连贯性：宿主与触发器嵌入之间的余弦相似度必须超过 0.7。
3. PPL 关卡：拼接后的对抗文档必须满足 PPL 预算。
框架：提示语鼓励使用权威措辞（例如“已验证的来源”），以利用 LLM 在检索上下文中倾向于顺从自信语言的倾向。

主要贡献

两阶段攻击框架：引入了用于流畅性约束多 token 优化的CBS，以及用于轻量级、上下文感知触发器融合的CATG。
综合评估：在统一单文档协议下，对 Natural Questions（NQ，361K 个段落）和 MS MARCO（8.8M 个段落）进行了评估。研究包括跨模型泛化性（4 个 LLM）、针对未见检索器（包括商业嵌入）的代理迁移攻击，以及高达 21M 个段落的可扩展性分析。
防御与自适应分析：对检索端防御（重排序、混合检索）和生成端防御（段落隔离）进行了实证评估，并包含一种结合防御感知优化的自适应攻击。
人工评估：一项研究（ $n=600$ 份文档）表明，SilentRetrieval 文档的标记率显著低于不流畅的基线方法。

实验结果

主要性能

在 NQ 数据集（361K 语料库）上，SilentRetrieval 实现了：

HR@10：84.6%（在基线中最高）。
ASR-LLM（通过 LLM-as-Judge 的攻击成功率）：57.5%。
困惑度（PPL-G2）：32.4（接近良性，良性文档为 28.4）。
隐蔽性：独立 PPL 审计（ $\tau=50$ ）仅检测到 8.7% 的 SilentRetrieval 文档，而 Joint-GCG 为 94.2%，Zhong 等人基线为 83.3%。

泛化性与迁移

跨模型：该攻击在四个目标 LLM（Llama-2、Mistral、Qwen、GPT-3.5）上保持了非平凡的有效性，ASR-LLM 范围从 48.6% 到 57.5%。
代理迁移：当针对代理检索器（Contriever）进行优化并在未见目标系统（包括 ColBERTv2 和商业嵌入如 text-embedding-ada-002）上测试时，该攻击保持了平均 64.7% 的 HR@10。
可扩展性：在采样的 21M 段落评估中，当投毒比例为 0.016% 时，HR@10 降至 74.2%，表明虽然语料库扩展提供了部分自然防御，但不足以完全中和该攻击。

防御有效性

组合防御：分层防御策略（混合检索 + 交叉编码器重排序 + 段落隔离）将 ASR-LLM 降低至21.3%（延迟增加 11 倍）或25.6%（延迟增加 6 倍）。
自适应攻击：针对特定重排序器（MiniLM-L6-v2）进行优化的自适应攻击，在相同防御下相比非自适应攻击恢复了约 6.2% 的 HR@10，凸显了日益激烈的军备竞赛。

人工评估

在涉及 10 名标注员的研究中，SilentRetrieval 文档在**14.7%**的情况下被标记为可疑，显著低于 PoisonedRAG（56.7%）和 Zhong 等人（83.3%）。虽然 SilentRetrieval（14.7%）与良性内容（7.3%）之间的差异在 $\alpha=0.05$ 水平下不具有统计学显著性（ $p \approx 0.064$ ），但该趋势表明存在可检测的差距，且随着样本量增大，这一差距可能会扩大。

意义与主张

该论文声称，SilentRetrieval在 RAG 投毒的隐蔽性 - 有效性权衡方面确立了新的最先进水平。其主要意义在于证明：

语料库完整性是一级安全关切：保留流畅性的攻击可以绕过简单的基于 PPL 的审计，并且比以往的不流畅攻击更难被人类标记。
分层防御是必要的：单一防御手段不足；必须结合检索端重排序、混合检索和生成端段落隔离，才能显著缓解威胁。
隐蔽性 - 有效性前沿是关键评估视角：未经困惑度归一化的原始攻击成功率（ASR）比较会掩盖攻击的实际可检测性。SilentRetrieval 在保持接近良性困惑度的同时实现了强劲性能，挑战了“高有效性攻击必然嘈杂或明显”的假设。

作者强调，他们的工作是利用标准基准上的合成目标进行负责任的披露，旨在推动更强大的防御，而非展示现实世界注入的可行性。