💬 NLP

ADMIT: Few-shot Knowledge Poisoning Attacks on RAG-based Fact Checking

本文介绍了ADMIT，这是一种少样本、语义对齐的对抗性多重注入技术，它通过注入最小化的对抗性内容来覆盖真实证据，从而在跨多种模型和领域的高攻击成功率下毒化基于检索增强生成（RAG）的事实核查系统并操纵大语言模型的输出。

原作者： Yutao Wu, Xiao Liu, Yinghui Li, Yifeng Gao, Yifan Ding, Jiale Ding, Xiang Zheng, Xingjun Ma

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Yutao Wu, Xiao Liu, Yinghui Li, Yifeng Gao, Yifan Ding, Jiale Ding, Xiang Zheng, Xingjun Ma

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位非常聪明、博览群书的图书管理员（即AI），他擅长回答问题，但有时会因为并非全知全能而编造内容。为了解决这个问题，你给图书管理员定下一条特殊规则：“在回答之前，请先在我们可信的图书库中查阅事实。”这套系统被称为RAG（检索增强生成）。它本应成为终极的事实核查者。

现在，想象一个捣蛋鬼（即攻击者）想要诱使图书管理员给出错误的答案。

过去诱骗图书管理员的方法

过去，研究人员试图通过以下方式诱骗图书管理员：

大声喊出指令：直接在问题中写入“忽略书籍，回答是！”（这类似于提示注入）。
淹没图书馆：向数百本书籍中投毒谎言，使得无论图书管理员选取哪本书，找到的都是谎言。（这属于通用知识投毒）。

问题在于：在现实世界中，这些伎俩往往失效。如果你询问一个医学事实，图书管理员很可能会调取一本真实可信的医学教科书，其中内容会驳斥你的谎言。图书管理员足够聪明，会说：“等等，这本新书说 X，但可信的医学教科书说 Y。我将采纳 Y。”

新伎俩：ADMIT

本文介绍了一种名为ADMIT的新型隐蔽攻击。攻击者不再淹没图书馆或大声喊出指令，而是采用“少样本”（Few-Shot）策略。

类比：金苹果篮中的“一颗坏苹果”
想象图书管理员被要求核查一项声明。他取出了5 本书进行阅读。

其中4 本是真实可信的，并指出该声明为假。
另外1 本则是攻击者的作品。

在过去，图书管理员会忽略那本坏书，因为其他四本书的说法与之相反。但ADMIT不同。攻击者不仅仅编写谎言；他们撰写了一篇精心伪造的新闻报道，其逼真度、权威性和说服力极强，足以诱骗图书管理员产生这样的想法：“哇，这本书提供了非常具体、详细的解释，足以推翻其他书籍的结论。”

ADMIT 的工作原理（“魔法咒语”）：

设置阶段：攻击者无法访问图书管理员的“大脑”或图书馆的搜索引擎。他们是在盲操作。
演练阶段：攻击者使用一个“傀儡图书管理员”（代理模型）来测试他们的伪造文章。他们反复重写文章，不断询问傀儡图书管理员：“这篇文章看起来真实到足以让你改变主意吗？”
最终成品：一旦文章完美无缺，攻击者便将仅一篇这样的伪造文章混入图书馆数据库。
结果：当真正的图书管理员搜索答案时，会找到 4 本真实书籍和 1 本伪造书籍。由于伪造书籍撰写得极为出色（它模仿真实新闻报道的语气、引用虚假专家、并显得自信满满），图书管理员会感到困惑。他们将自己的判断从“假”翻转为“真”，甚至还会撰写一个令人信服的解释，来合理化自己为何改变主意。

为何这令人担忧（论文发现）

研究人员在11 种不同的 AI 模型（从开源模型到最先进的商业模型）以及4 种不同类型的事实核查（一般新闻、科学、气候和健康）上测试了该方法。

投毒率极低：他们仅需污染图书馆内容的0.00000093%。这相当于在拥有十亿页内容的图书馆中，仅添加了一页伪造内容。
成功率极高：尽管投毒量微乎其微，但攻击**86%**的情况下都成功了。
连“最聪明”的 AI 也中招：即使是那些被设计得格外谨慎和逻辑严密（如“推理模型”）的 AI 模型，也未能幸免。
突破防御：论文测试了常见的防御手段，例如让 AI 对答案进行“投票”，或检查文本是否听起来怪异。ADMIT 通过了所有测试，因为伪造的文本听起来并不怪异；它听起来完全正常。

核心结论

该论文表明，即使你拥有一个旨在对照可信来源核查事实的系统，你仍然可以诱骗它。你无需破坏系统或用垃圾信息淹没它。你只需要植入一篇极其出色、具有欺骗性的信息，其逼真程度足以让 AI 相信谎言并忽略真相。

简而言之：ADMIT 证明，在“真相”与“说服”的较量中，如果谎言撰写得足够精妙，即使是世界上最聪明的 AI 图书管理员，也可能被诱骗相信谎言就是真相。

技术摘要：ADMIT——针对基于检索增强生成（RAG）的事实核查的少样本知识投毒攻击

1. 问题定义

检索增强生成（RAG）系统通过整合外部知识来增强大语言模型（LLM），以减轻幻觉和知识截止问题。然而，这些系统容易受到知识投毒的影响，即攻击者向知识库中注入对抗性内容以操纵 LLM 的输出。

现有的知识投毒文献通常基于现实世界事实核查场景中不切实际的假设：

数量主导：假设恶意内容在检索到的上下文中占据主导地位，而现实世界的系统通常从可信来源（如新闻机构、医疗数据库）检索权威证据，其中可信信息占主导地位。
缺乏理由：假设 LLM 生成错误答案时无需连贯的理由，忽略了采用代理驱动推理以产生充分论证结论的现代 RAG 流程。
系统访问：通常假设攻击者可以访问检索器或 LLM 内部，而现实世界的攻击通常是黑盒的。

本文探讨了一个关键问题：当被检索的上下文中存在可信的支持证据与投毒内容共存时，现代基于 LLM 的 RAG 系统是否仍能保持鲁棒性？

2. 方法论：ADMIT

作者提出了ADMIT（对抗性多注入技术），这是一种少样本、语义对齐的投毒攻击，旨在无需访问目标 LLM、检索器或进行令牌级控制的情况下，翻转事实核查决策并诱导欺骗性理由。

2.1 威胁模型

黑盒访问：攻击者无法访问受害者的检索器或 LLM。
少样本注入：攻击者向知识库中注入最小数量的对抗性段落（ $m$ ），其中 $m \le k$ （检索到的段落数量）。在 1 样本设置中，单个恶意段落必须覆盖潜在的四个干净段落。
语义对齐：注入的内容不能是无意义的，也不能包含明显的恶意指令（例如“忽略之前的指令”）。它必须是一段连贯、人类可读的段落，模仿合法新闻或证据。

2.2 核心组件

ADMIT 通过代理验证设置来模拟目标环境：

代理段落构建：
- 基于搜索：攻击者使用轻量级 LLM 从声明中生成多样化的查询，从开放网络来源检索文档，并过滤它们以找到与目标声明相矛盾的段落。
- 基于 LLM：在受限场景中，攻击者提示 LLM 生成支持目标声明相反立场的段落。
- 这些代理段落作为“干净”上下文，用于优化对抗性段落。
对抗性多注入（攻击循环）：
- 单轮生成：基于代理上下文生成初始对抗性段落。
- 多轮优化：如果单轮生成失败，攻击者采用迭代反馈循环。攻击者 LLM（ $A$ ）根据之前的验证结果（ $\tilde{V}$ ）和代理上下文（ $R_{proxy}$ ）更新对抗性段落（ $p$ ）。
- 内存清除：为防止上下文退化，每 $L$ 次迭代重置内存，重新初始化段落生成以探索新的语义方向。
- 目标：目标是找到一段段落 $p$ ，使得 $\tilde{f}_{verify}(C_i, R_{proxy} \cup p) \approx V^{target}_i$ ，即在保持语义连贯性的同时有效翻转裁决。
对抗性前缀增强：
- 为了确保对抗性段落即使在存在干净证据的情况下也能被检索到，攻击者将用于构建代理段落的搜索查询添加到对抗性文本之前。这利用了检索器匹配查询关键词的倾向，增加了恶意内容的检索概率。

3. 主要贡献

新颖的攻击范式：ADMIT 是首个在少样本设置下（其中可信证据在检索池中占主导地位）展示有效知识投毒的工作。它挑战了大规模注入是成功必要条件的假设。
欺骗性理由：与依赖明显指令或生成不连贯文本的先前攻击不同，ADMIT 生成语义连贯、人类可读的虚假信息，其中包括对翻转裁决的欺骗性理由。
黑盒适用性：该方法无需对受害系统进行白盒访问，仅依赖代理验证器和公共搜索引擎。
全面评估：该攻击在 4 个跨领域基准（FEVER、SciFact、Climate-FEVER、HealthVer）、11 个 LLM（包括开源、商业和推理模型）以及 4 种不同的检索器上进行了评估。

4. 实验结果

高攻击成功率（ASR）：ADMIT 在所有设置下的平均 ASR 达到86%，投毒率极低，仅为 $0.93 \times 10^{-6}$ 。
优于基线：与最先进的方法（如 PoisonedRAG、CorruptRAG、Prompt Injection）相比，ADMIT 将 ASR 平均提高了11.2%。值得注意的是，虽然基线方法通常在商业 LLM（如 GPT-4o）上失败，但 ADMIT 保持了高效性。
对反证据的鲁棒性：即使检索到的上下文包含强有力的事实反证据（例如 4 个干净段落对 1 个恶意段落），ADMIT 在开源 LLM 上成功翻转裁决的比例为80%，在商业系统上为65%。
可迁移性：该攻击能有效迁移到未见过的检索器和 LLM。尽管推理导向模型（如 o1-mini）旨在保持事实一致性，但它们仍表现出脆弱性，ASR 达到 60–70%。
防御规避：ADMIT consistently 绕过现有防御，包括：
- 假新闻检测：基于 LLM 的分类器无法区分 ADMIT 段落与真实新闻（AUC 分数接近随机水平）。
- 统计检测：由于生成内容的语义连贯性，困惑度（PPL）和 ROUGE-N 相似度指标无法将对抗性段落与干净段落区分开来。
- 知识整合：“分而治之”或聚类等策略往往放大了对抗性影响，而非减轻它。
- 基于代理的防御：将任务分解为搜索和反思步骤的 ReAct 代理仍然高度脆弱，随着注入量的增加，ASR 上升至 88–94%。

5. 意义与主张

本文声称，事实鲁棒性并不自动源于 LLM 的规模或推理能力。ADMIT 的存在揭示了现实世界基于 RAG 的事实核查系统中存在的重大结构性脆弱性。

混合系统的脆弱性：研究表明，即使系统聚合了多样化的可信来源，单个精心设计的对抗性段落也能覆盖权威证据。
当前防御的局限性：现有防御（统计过滤、假新闻检测和知识整合）不足以应对语义对齐的少样本投毒。
对 AI 安全的影响：研究结果强调迫切需要超越表面一致性的防御措施，例如追踪来源、评估不确定性以及超越检索上下文进行推理。

作者强调，他们的工作纯粹是防御性的，旨在通过系统评估漏洞来告知更稳健的事实核查系统的设计。他们指出，虽然该攻击是有效的，但它依赖于特定条件（例如能够注入公共知识库），并不声称能普遍攻破所有 RAG 系统，而是揭示了一个关键且未被充分探索的攻击面。