💻 computer science

"Someone Hid It": Query-Agnostic Black-Box Attacks on LLM-Based Retrieval

本文提出了一种实用且与查询无关的黑盒攻击方法，该方法利用零样本代理大语言模型生成可迁移的对抗性令牌以操纵基于大语言模型的检索系统，揭示了即使在不访问目标模型或特定查询的情况下，此类系统仍存在显著的鲁棒性风险。

原作者： Jiate Li, Defu Cao, Li Li, Wei Yang, Yuehan Qin, Chenxiao Yu, Tiannuo Yang, Ryan A. Rossi, Yan Liu, Xiyang Hu, Yue Zhao

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jiate Li, Defu Cao, Li Li, Wei Yang, Yuehan Qin, Chenxiao Yu, Tiannuo Yang, Ryan A. Rossi, Yan Liu, Xiyang Hu, Yue Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言，借助类比来解释论文《有人把它藏起来了！》的内容，以便让概念更加清晰。

核心理念：在图书馆里藏起一本书

想象一座庞大且高科技的图书馆，其中有一位机器人图书管理员（基于大语言模型的检索系统），它会根据你的提问帮你找书。如果你问“食谱”，机器人就会拿出烹饪书；如果你问“历史”，它就会拿出历史书。

这篇论文的研究人员发现了一种方法，可以诱骗机器人图书管理员完全忽略某本特定的书，即使你询问的正是那本书所涵盖的主题。他们将此称为“查询无关的黑盒攻击”。

让我们分解一下这意味着什么，以及他们是如何做到的。

1. 以往“黑客攻击”的问题

在这项研究之前，试图干扰这些图书馆机器人的攻击者面临两个大问题：

他们需要钥匙：大多数以前的攻击都需要确切知道机器人是如何构建的（其内部代码和大脑）。在现实世界中，你无法看到公司内部秘密机器人的内部构造。
他们需要知道你的问题：大多数攻击只有在攻击者事先确切知道你将提出什么问题时才有效。但在现实中，攻击者只有在编辑完书籍后，才知道你会问什么。

论文的目标：为文档创建一个“通用隐形斗篷”。攻击者希望仅对文档（如维基百科页面或 Reddit 评论）进行少量编辑，使得无论用户稍后提出什么问题，机器人图书管理员都无法找到它。而且，他们希望在无法窥探机器人“大脑”的情况下做到这一点。

2. 解决方案：“替身”机器人

由于攻击者无法看到受害者的机器人，他们便构建了自己的“练习机器人”（称为代理模型）来测试他们的诡计。

类比：
想象你正试图将一本书偷偷带过某位特定的保安，但你看不见这位保安。于是，你雇佣了一位长相相似的保安（替身），并在他们身上练习你的潜行技巧。如果你能愚弄这位替身，你就希望这也能愚弄真正的保安。

3. 秘密武器：“主题簇”

研究人员注意到这些机器人思考方式的一个有趣之处。他们发现，机器人会在其“大脑”中将相似的主题分组在一起。

如果你向机器人展示 10 篇关于科学的不同文章，机器人会将它们视为一个紧密的朋友圈。
如果你给它看一篇关于电影的文章，它会将那篇视为另一群不同的朋友。

攻击策略：
研究人员意识到，要隐藏一份文档，他们并不需要让它看起来像电影。他们只需要将其推离其所在的“科学”簇，并使其看起来属于另一个群体（或者完全不属于任何群体）。

4. 攻击如何运作：“对抗性舞蹈”

为了实现这一点，研究人员使用了一种巧妙的两步舞蹈，称为查询 - 文档对抗学习：

伪造问题：他们利用第三方 AI 生成许多用户可能针对该文档提出的伪造问题（例如，“告诉我关于经济的事”，“货币的历史是什么？”）。
推拉互动：
- 步骤 A（推）：他们微调文档（添加不可见的“噪声”词），使其在伪造问题面前看起来很差。
- 步骤 B（拉）：他们微调伪造问题，使其看起来与文档非常相似。
- 循环：他们反复重复这种舞蹈。文档被推得越来越远离“科学”群体，而伪造问题则将其拉向一个“困惑”区域。

结果：文档末尾被添加了几个不可见的“故障词”。对人类来说，它看起来完好无损。但对机器人图书管理员而言，该文档现在看起来属于完全不同的主题，因此会被忽略。

5. 为什么这很可怕（且重要）

它无处不在：研究人员在各种不同类型的机器人图书管理员（Qwen、Gemma、Jina 等）上测试了这种方法。一旦他们在文档中添加了“故障词”，所有这些机器人都无法找到它。这就像一把万能钥匙，能锁住每一扇门。
它是零样本的：他们不需要知道他们正在攻击的具体机器人。他们只需在“练习机器人”上进行训练，就能在真正的机器人上奏效。
它是现实的：攻击者只需要能够轻微编辑文档（例如添加评论或进行小修改），就像网站上的普通用户一样。他们不需要拥有超能力的黑客。

6. “隐形墨水”的发现

研究人员发现了一个令人惊讶的技巧，可以使攻击效果更好。他们不是查看机器人的“最终答案”（深层思考），而是查看机器人的“第一印象”（初始词处理）。

类比：这就像意识到，如果你稍微改变书籍封面的字体颜色，图书管理员会立即注意到，而改变书的最后一句话（“最终答案”）则没那么重要。利用这个“第一印象”层，使他们的攻击变得强大得多。

7. 这对未来的意义

该论文得出结论，这些检索系统比我们想象的更脆弱。

良性意外：即使没有人试图黑客攻击，普通用户意外编辑文档（例如修正拼写错误或添加回复）也可能意外触发这种“隐藏”效应，导致文档从搜索结果中消失。
尚无防御：论文指出，当前的安全措施（如检查奇怪文本）无法阻止这种特定类型的攻击。

总结：研究人员表明，通过在文档中添加几个精心挑选的、不可见的词语，你可以诱骗智能 AI 搜索引擎“忘记”该文档的存在，即使你不知道搜索引擎的工作原理，也不知道人们稍后会问什么。这是一种数字时代的“幽灵化”技术。

技术摘要：“有人藏起了它！”——基于大语言模型的检索系统的查询无关黑盒攻击

1. 问题定义

本文探讨了基于大语言模型（LLM）的检索（LLMR）系统的安全漏洞，这些系统构成了检索增强生成（RAG）、信息检索（IR）和智能体记忆的核心。尽管现有研究已证明 LLMR 易受通过令牌级注入进行的对抗攻击，但当前方法在现实世界的适用性方面存在两个关键局限：

白盒假设：大多数现有攻击需要完全访问受害模型的参数或架构。
查询知识：现有方法通常假设攻击者知晓特定的用户查询，或能够访问受害者的文档语料库。

在实际的黑盒场景中，攻击者通常缺乏对受害模型、隐藏文档语料库以及特定用户查询（这些查询是在攻击后生成的）的了解。此外，攻击者的能力通常有限，例如像维基百科贡献者这样的普通用户，只能阅读并轻微编辑文档。

核心问题：在完全黑盒设置下，攻击者能否成功将特定的受害文档从基于 LLM 的检索器中隐藏？攻击者必须在不知道受害模型、用户查询或完整语料库的情况下操纵文档（通过令牌注入），使得该文档在任何相关查询的前 $k$ 个结果中都无法出现。

2. 方法论

作者提出了一种查询无关黑盒攻击方法，利用代理 LLM 生成可迁移的注入令牌。该方法建立在理论框架和对抗学习机制之上。

2.1 理论框架： $\epsilon$ - $p_\epsilon$ -精确检索器

作者首先建立了一个理论定义，以量化 LLM 检索器的行为。他们将 $\epsilon$ - $p_\epsilon$ -精确检索器定义为：对于给定的主题分布，同一主题内 $p_\epsilon$ 比例的上下文，其嵌入相似度至少比不同主题上下文之间的相似度高 $\epsilon$ 。

实证验证：对 24 个主题的嵌入进行主成分分析（PCA）的实验证实，LLM 自然地将同一主题的上下文聚类在嵌入空间中，从而验证了检索器具有此属性的假设。

2.2 基于极小极大优化的可迁移性

为了实现黑盒攻击，该方法利用代理模型（ $g$ ）来近似受害模型（ $f$ ）。攻击被表述为一个极小极大问题：

目标：最小化扰动后的文档 $d'$ 与查询 $q$ 之间的相似度。
挑战：由于 $q$ 未知，作者通过在相同主题内采样查询集 $X$ 并最大化 $d'$ 与这些采样查询之间的相似度来近似目标。
定理 3.2（可迁移性）：作者证明，如果代理模型 $g$ 是 $\epsilon_g$ - $p_{g\epsilon}$ -精确的，且攻击优化 $d'$ 使其与采样查询的相似度低于主题簇内的最小相似度，那么 $d'$ 很可能被从受害模型 $f$ （假设 $f$ 也是精确的）的前 $k$ 个结果中剔除。

2.3 文档 - 查询对抗（DQ-A）学习

为了解决在未知真实查询情况下的极小极大问题，作者提出了**文档 - 查询对抗（DQ-A）**学习框架：

查询采样：第三方“随意”LLM 生成 $N$ 个与受害文档主题相关的多样化潜在查询（ $S$ ）。
对抗优化：
- 文档优化：优化受害文档中的注入令牌，以最小化其与采样查询的相似度。
- 查询优化：优化采样查询，以最大化其与受害文档的相似度（充当“硬负例”生成器）。
群体差异：该方法不使用学习率来平衡内部（查询）和外部（文档）循环，而是使用群体差异。它针对单个文档优化一组 $N$ 个多样化查询，模拟了查询侧更大学习率的效果。

2.4 词嵌入代理策略

一项关键的技术创新是使用词嵌入（第一层嵌入层的输出）而非最后隐藏状态（最终 Transformer 块）作为对抗学习的代理。

理由：实证发现表明，在浅层（词嵌入）优化距离比直接优化深层更能产生有效且可迁移的最终检索嵌入攻击。这归因于 LLM 的高参数数量，其中浅层扰动对最终表示空间具有更稳健的影响。

3. 主要贡献

黑盒攻击框架：本文提出了首个完整的 LLMR 黑盒攻击方法，无需了解受害模型、文档语料库或用户查询。它模拟了仅能编辑文档的现实攻击者。
理论基础：建立了理论框架（ $\epsilon$ - $p_\epsilon$ -精确检索器），并提供了实证证据表明 LLM 嵌入按主题聚类，这是证明攻击可迁移性的基础。
DQ-A 学习机制：作者引入了一种新颖的对抗学习机制，利用基于群体的方法联合优化受害文档和采样查询，以处理非凸优化挑战。
代理策略：本文识别并验证了，与使用最后隐藏状态相比，使用词嵌入作为对抗训练的代理显著提高了攻击的可迁移性。
零样本可迁移性：该方法证明，注入文档中的令牌可以在无需重新训练或针对特定模型调整的情况下，同时降低各种不同 LLM 检索器（如 Qwen、Mistral、Jina、Gemma）的检索性能。

4. 实验结果

该方法在来自BRIGHT基准的经济学、心理学、生物学和机器人学基准数据集上，针对七种流行的 LLM 检索器（包括 Qwen-1.5、SFR-Mistral、E5-Mistral、Embedding-Gemma、Jina、Granite 和 Qwen3）进行了评估。

性能影响：所提出的攻击（DQ-A）始终优于现有基线（GCG、PRADA、Poisoned-RAG）。
- 在大多数模型中，Recall@25 的平均性能下降幅度为2%–10%，Recall@50 的平均性能下降幅度为1%–7%。
- 在特定情况下（例如 Qwen1.5 上的机器人学数据集），攻击导致 Recall@50 下降了8%，相当于模型原始性能降低了约 30%。
消融研究：
- 对抗学习：移除对抗查询优化（S-GCG）导致攻击成功率显著降低，验证了 DQ-A 设计的有效性。
- 代理层：在大多数场景中，使用词嵌入（DQ-A）的表现优于使用最后隐藏状态（DQ-A-H）。
- 采样大小：增加采样查询的数量（ $|S|$ ）在达到一定点（约 10 个）之前提高了性能，之后观察到收益递减。
- 注入位置：当令牌注入在文档的开头或结尾时攻击最有效，中间位置效果较差，这与 Transformer 的注意力机制一致。
鲁棒性：即使检索器与重排序模型配对，该攻击仍然有效，因为攻击在重排序模型发挥作用之前就将文档从候选池中过滤掉了。

5. 意义与主张

本文声称，其工作揭示了基于 LLM 的检索系统中一种关键且此前未被充分探索的故障模式。

现实世界相关性：通过在严格的黑盒约束下运行（无查询知识、无模型访问），该攻击突显了在现实部署场景中存在的漏洞，例如允许不受信任用户编辑内容的公共 Wiki 或讨论论坛。
更广泛的影响：作者指出，所识别的鲁棒性问题不仅可能源于恶意攻击，也可能源于现实世界中的良性或非预期的文档编辑。如果标准的内容更新无意中导致文档被推出检索簇，那么 LLMR 系统的可靠性将受到根本性挑战。
防御缺口：本文明确指出，现有的防御机制（侧重于语料库投毒检测或检索后重排序）不足以应对这种“降低”类型的攻击。它呼吁制定新的防御策略，专注于构建本身具有鲁棒性的检索机制，而不仅仅是检测被投毒的输出。

作者保持了谦逊的语气，承认虽然该攻击是有效的，但其目的是阐明系统漏洞以指导更鲁棒系统的开发，而非促进对抗性滥用。他们还指出，利用该攻击的反转版本来增强特定文档是可能的，但目前效果有限。