Unsupervised Corpus Poisoning Attacks in Continuous Space for Dense Retrieval

这是一篇关于**密集检索（Dense Retrieval）中无监督语料投毒攻击（Unsupervised Corpus Poisoning Attacks）**的学术论文。该研究由阿姆斯特丹大学的 Yongkang Li 等人提出，旨在解决现有攻击方法在连续空间优化和查询先验知识依赖方面的局限性。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义

背景：
密集检索利用神经语言模型将查询和文档编码为连续向量空间中的嵌入（Embedding），并通过计算向量相似度进行排序。然而，这种模型容易受到对抗攻击。

问题定义（语料投毒攻击）：
攻击者向检索语料库中注入少量恶意生成的文档，旨在破坏检索模型的排序性能。攻击成功的标志是：用户检索到这些恶意文档（通常位于顶部），阅读后发现其内容毫无意义（无信息量），从而认为检索系统失效。

现有方法的局限性：

1. 离散空间 vs. 连续空间的不匹配： 现有的主流攻击方法（如 HotFlip）基于梯度进行词级替换，操作在离散的词汇空间（Lexical Space）中进行。然而，密集检索的排序是在连续的嵌入空间（Embedding Space）中进行的。这种空间错位导致优化目标不一致，且计算效率低下（例如，HotFlip 生成一个对抗样本可能需要数小时）。
2. 强假设（依赖查询）： 大多数现有攻击假设攻击者预先知道目标查询分布（Target Queries），并据此优化攻击。这在现实场景中是不切实际的，因为攻击者通常无法预知用户的具体查询，且这种假设容易导致模型过拟合特定查询。

本文目标：
提出一种无监督（Unsupervised）的语料投毒攻击方法，直接在连续嵌入空间中进行优化，且不需要任何查询先验知识，仅依赖目标文档本身。

---

2. 方法论 (Methodology)

本文提出了一种包含两个核心组件的优化框架：重构模型（Reconstruction Model）和扰动模型（Perturbation Model）。

2.1 攻击目标条件

一个成功的对抗文档 $\tilde{d}$ 必须满足两个条件：

1. 嵌入相似性（Embedding Similarity）： $\tilde{d}$ 的嵌入向量必须与目标文档 $d$ 高度相似，以确保在检索排序中排名靠前。
2. 语义无关性（Semantic Irrelevance）： 从人类视角看，$\tilde{d}$ 的内容必须与 $d$ 无关（即无意义或乱码），使用户阅读后感到无用。

2.2 核心组件

1. 重构模型 (Reconstruction Model, $R(\cdot)$)：

   • 作用： 解决从连续嵌入空间回到离散文本空间的难题。
   • 原理： 训练一个基于 Transformer 的模型，输入是检索模型的 Token 级嵌入 $E(d)$，输出是预测的 Token 概率分布。
   • 目标： 最小化重构文本 $d'$ 与原始文本 $d$ 之间的交叉熵损失，确保 $R(E(d)) \approx d$。这使得攻击者可以直接在嵌入空间操作，然后通过重构模型“解码”回文本。

2. 扰动模型 (Perturbation Model, $\phi(\cdot)$)：

   • 作用： 在嵌入空间中生成对抗扰动。
   • 输入： 目标文档的嵌入 $e_d$。
   • 输出： 对抗文档的嵌入 $\phi(e_d)$。
   • 优化目标（损失函数）：
     $$L_{Attack} = L_{MSE} - \min(L_{CE}, \lambda)$$
     • $L_{MSE}$ (最小化均方误差)： 最小化对抗嵌入 $\phi(e_d)$ 与原始嵌入 $e_d$ 之间的欧氏距离，保证嵌入相似性。
     • $L_{CE}$ (最大化交叉熵)： 最大化重构后的对抗文档 $\tilde{d}$ 与原始文档 $d$ 在 Token 级别上的差异，保证语义无关性。
     • $\lambda$： 超参数，用于截断交叉熵损失，控制语义差异的程度。

2.3 攻击流程

1. 获取目标文档 $d$ 的嵌入 $e_d$。
2. 通过扰动模型 $\phi$ 生成对抗嵌入 $\tilde{e}_d$。
3. 利用训练好的重构模型 $R$ 将 $\tilde{e}_d$ 解码为对抗文本 $\tilde{d}$。
4. 将 $\tilde{d}$ 注入语料库。

---

3. 主要贡献 (Key Contributions)

1. 连续空间优化： 首次提出直接在嵌入空间进行对抗扰动，而非传统的离散词替换。这解决了空间错位问题，并显著提升了优化效率。
2. 无监督设置： 移除了对目标查询分布的依赖，仅基于目标文档进行攻击，更符合现实世界的“黑盒”或“无先验”攻击场景。
3. 高效性与隐蔽性：
   • 速度： 生成每个对抗样本仅需约 2 分钟，比最快的基于 HotFlip 的方法快 4 倍。
   • 低困惑度（Low Perplexity）： 生成的文本更符合自然语言分布，难以被基于困惑度的过滤器检测。
4. 双重攻击场景验证： 在“Top-1 攻击”（针对任意排序的第一名）和“语料投毒攻击”（针对语料库中聚类中心文档）两个任务上进行了验证。

---

4. 实验结果 (Results)

实验在多个数据集（MS MARCO, TREC DL, NQ, Quora, FiQA, Touché-2020）和多种检索模型（SimLM, Contriever, E5, DPR, ColBERTv2 等）上进行。

4.1 攻击成功率 (Attack Success Rate, ASR)

• 白盒攻击： 在 SimLM 模型上，本文方法的 ASR 与 SOTA 的 HotFlip 方法相当（例如在 TREC DL 19 上，ASR 分别为 0.984 vs 0.899），显著优于随机噪声和随机替换方法。
• 黑盒攻击（迁移性）： 将针对 SimLM 生成的对抗样本迁移到其他模型（DPR, ColBERTv2, RankLLaMA），本文方法的攻击成功率普遍高于 HotFlip 方法。这表明本文生成的对抗样本具有更强的泛化能力。

4.2 语义无关性与隐蔽性

• 困惑度 (Perplexity)： 本文方法生成的文档困惑度显著低于 HotFlip 和随机方法（例如在 TREC DL 19 上，188.9 vs 6032.6）。这意味着生成的文本更流畅，更像自然语言，难以被基于困惑度的防御机制识别。
• 语义评估 (BLEU & LLM/Human Evaluation)：
  • 虽然随机噪声的 BLEU 最低（最无关），但其攻击成功率极低。
  • 本文方法在保持高攻击成功率的同时，BLEU 分数较低，且 LLM 和人类专家评估显示其内容确实是无意义的（符合“语义无关”条件）。
  • 相比之下，HotFlip 生成的文本虽然乱，但往往保留了部分原词，导致困惑度极高且容易被检测。

4.3 效率对比

• 时间成本： 本文方法生成一个样本平均耗时约 100-130 秒，而 HotFlip 方法需要 400-700 秒（甚至更多，取决于实现）。
• 资源消耗： 本文方法利用轻量级扰动模型，训练和推理效率更高。

4.4 对抗训练潜力

• 实验表明，利用本文方法生成的大量对抗样本作为负样本进行对抗训练，可以将 SimLM 模型的攻击成功率平均降低 7.9%，同时略微提升检索性能（nDCG@10 增加 0.002），证明了该方法可用于提升模型鲁棒性。

---

5. 意义与结论 (Significance & Conclusion)

意义：

1. 揭示了密集检索的脆弱性： 证明了即使在没有查询先验知识的情况下，SOTA 密集检索模型也极易受到语料投毒攻击。
2. 重新定义了攻击范式： 将对抗攻击从离散的词替换转向连续的嵌入空间优化，为未来的对抗研究提供了新的思路。
3. 防御启示： 由于生成的对抗样本具有低困惑度，传统的基于困惑度的过滤机制可能失效。防御者需要关注嵌入空间的异常检测或开发更鲁棒的训练策略。

结论：
本文提出了一种快速、有效且难以检测的无监督语料投毒攻击方法。通过结合重构模型和嵌入空间扰动，该方法在保持高攻击成功率的同时，生成了更符合自然语言分布的对抗文本。实验证明，该方法在效率和迁移性上均优于现有的基于 HotFlip 的方法，为理解密集检索系统的安全风险提供了重要视角。