💬 NLP

Self-Augmenting Retrieval for Diffusion Language Models

本文介绍了 SARDI，这是一个针对离散扩散语言模型的无需训练的检索增强生成框架，它利用被丢弃的低置信度标记作为前瞻信号来引导动态检索，与现有基准相比，在多跳问答基准测试中实现了卓越的性能，并将吞吐量提升了高达 8 倍。

原作者： Paul Jünger, Justin Lovelace, Linxi Zhao, Dongyoung Go, Kilian Q. Weinberger

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Paul Jünger, Justin Lovelace, Linxi Zhao, Dongyoung Go, Kilian Q. Weinberger

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图写一个复杂的故事，但你有一个神奇的助手，他能一次看到整页内容，而不是一次只写一个词。这正是**扩散语言模型（Diffusion Language Models）**的工作方式。扩散模型不是像人类打字那样从左到右写出一个句子，而是从一个充满了“掩码”（空白空间）的空白页面开始，通过不断填充和完善整个文本，直到它变得有意义。

这篇论文介绍了一种名为 SARDI（用于扩散语言模型的自增强检索，Self-Augmenting Retrieval for Diffusion Language Models）的新方法。以下是通过简单的类比对它的工作原理进行的解释：

问题所在：“盲目”的作家

通常，当计算机尝试回答一个需要多个步骤的难题时（例如，“1995年获得奥斯卡奖的电影导演是谁？”），它会陷入困境。

旧方法（自回归模型/Autoregressive）： 想象一位作家写一个词，然后查一个事实，再写下一个词。如果他在早期犯了一个错误，他之后可能会查错事实，导致整个故事彻底崩塌。
静态方法（Static Way）： 想象一位作家只在最开始的时候寻求帮助。他得到了一个事实列表，但如果答案需要一个他没预料到的“桥梁”事实（比如电影的名字），他就会卡住。因为他已经投入到了既定的路径中，无法在过程中再次请求更多帮助。

SARDI 的解决方案：“水晶球”式搜索

SARDI 通过利用扩散模型独特的思考方式改变了游戏规则。

1. “水晶球”式的预见（The "Crystal Ball" Lookahead）
因为扩散模型是同时观察整个句子的，它会对每个词同时做出“猜测”。即使它现在还不百分之百确定某个词，它也有一个初步的猜测。

类比： 想象你正在解一个拼图。虽然你还没有放置最后一块碎片，但你已经能看到中间隐约出现了一个“巴黎”或“卢浮宫”的模糊轮廓。
神奇之处： SARDI 说：“嘿，虽然我们还不确定这个词是不是‘卢浮宫’，但让我们利用这个模糊的猜测，现在就去请我们的图书管理员拿几本关于卢浮宫的书吧。”
为什么有效： 这使得模型能够在最终确定答案之前，先找到这些“桥梁”事实（比如博物馆的名字）。这就像是在开始构建之前，先窥见未来以获取正确的工具。

2. “信心”过滤器（The "Confidence" Filter）
模型对它的猜测有两个不同的“置信度水平”：

“也许”水平（低置信度）： 模型正在猜测，但并不确定。SARDI 利用这些不确定的猜测来搜索新信息。使用不确定的猜测去寻找书籍是安全的，因为即使猜测错了，图书管理员也只会带回一本略有不同的书。
“确定”水平（高置信度）： 模型非常确定。SARDI 只会将这些词永久地写下来。
结果： 模型随着置信度的提高，不断请求更好的信息，从而逐步完善答案，而不会陷入停滞。

3. “并行”优势（The "Parallel" Advantage）
一旦模型找到了正确的事实（比如“卢浮宫在巴黎”），剩下的句子就变得容易书写了。

类比： 如果你在写一个故事，并且你知道角色是“阿尔伯特·爱因斯坦”，那么你很自然就知道下一个词可能是“爱因斯坦”。如果你在写关于“艾萨克·牛顿”的内容，下一个词很可能是“牛顿”。
神奇之处： 因为模型掌握了正确的事实，它不必担心单词之间产生冲突。它可以并行地（同时）写出整个句子，而不是一个词一个词地写。这使得它的速度极快。

结果：快速且准确

论文在五种不同的困难问答测试中测试了 SARDI。

准确性： 它比那些没有使用这种“预见”技巧的现有方法更好地解决了复杂的、多步骤的问题。
速度： 它比现有的最佳方法快了高达 8 倍。
无需额外训练： 最棒的是，SARDI 是“即插即用”的。它不需要重新训练模型或教授新技能；它只是利用了模型天生的猜测和完善能力。

总结

把 SARDI 想象成一名侦探，他不会等到嫌疑人完全招供才开始调查。相反，侦探会观察嫌疑人喃喃自语的那些初步线索（“也许是管家……也许是图书馆……”），并立即去查阅图书馆的记录。通过利用这些早期的、不确定的猜测来收集更好的证据，这位侦探比等待完全确定后再寻求帮助的侦探，能更快、更准确地破案。

技术摘要：用于扩散语言模型的自增强检索 (SARDI)

问题陈述

检索增强生成 (RAG) 正越来越多地用于将大语言模型 (LLM) 锚定在外部知识中。然而，主流的自回归 (AR) 解码范式为 RAG 带来了两个根本性的局限性：

延迟 (Latency)： AR 生成按顺序逐个发射 token，使得延迟直接受限于输出长度。
检索约束： AR 模型只能基于“已提交”的从左至右的前缀进行检索。在多跳问答 (Multi-hop QA) 中，这是一个关键瓶颈，因为后续推理步骤所需的证据往往依赖于初始问题并未明确说明的“桥接实体 (bridge entities)”。静态检索无法在模型生成该桥接实体之前找到这些证据，而此时可能已经太晚，无法有效纠正错误或引导生成。

虽然扩散语言模型 (DLM) 提供了并行解码能力，但现有的针对 DLM 的 RAG 方法仍局限于静态、单次检索的范式，未能利用扩散轨迹独特的结构优势。

方法论：SARDI

作者提出了用于扩散语言模型的自增强检索 (SARDI)，这是一个无需训练的、动态的 RAG 框架，它将检索过程与离散 DLM 的去噪过程交织在一起。

核心机制

SARDI 利用了 DLM 在并行细化整个响应的过程中，会产生一系列中间状态 $\{x_t\}$ 的特性，其中每个 token 位置在被提交到输出之前，都拥有一个暂定的预测值和一个置信度分数。

前瞻检索 (Lookahead Retrieval)： 与必须等待已提交前缀的 AR 模型不同，SARDI 利用当前去噪状态中的投机性、低置信度 token 来构建检索查询。
- 在每个去噪步骤 $t$ ，模型预测所有掩码位置的 token。
- 提取置信度 $c_i \geq \tau_q$ （查询阈值）的 token 以构成代理序列 $\tilde{x}_t$ 。
- 检索查询构建为 $s_t = q \parallel \text{Detokenize}(\tilde{x}_t)$ ，即将原始问题与正在生成的中间响应相结合。
- 这使得系统能够在模型对该实体足够自信并将其提交到最终输出之前，检索到“后一跳”的证据（例如，某个桥接实体的位置）。
基于置信度的解掩码 (Confidence-Based Unmasking)：
- 置信度 $c_i \geq \tau_c$ （提交阈值，其中 $\tau_c \geq \tau_q$ ）的 token 被提交到输出。
- 如果没有 token 满足 $\tau_c$ ，则解开单个置信度最高的掩码 token 以确保进度。
- 这创建了一个课程机制：高置信度、有证据支撑的部分先进行提交，而不确定的部分则等待下一轮检索带来的精细化证据。
动态证据刷新 (Dynamic Evidence Refresh)：
- 在每个去噪步骤，SARDI 根据更新后的查询 $s_t$ 检索一组全新的 $K$ 个段落。
- 新的证据 $D_{t-1}$ 完全替换之前的上下文，从而为下一个去噪步骤提供条件。

关键设计选择

阈值分离： 查询阈值 ( $\tau_q$ ) 与提交阈值 ( $\tau_c$ ) 之间的分离是核心所在。通过设置 $\tau_q \leq \tau_c$ （通常 $\tau_q=0$ ），SARDI 在 token 稳定到足以提交之前，就将其暴露给检索器。这是安全的，因为检索对噪声查询具有鲁棒性，而提交错误的 token 则会破坏输出。
检索器无关性： 该框架适用于任何稀疏（如 BM25）或稠密检索器。
无需训练： SARDI 不需要学习检索控制器或查询生成器；它是一个可即插即用的模块，适用于任何能够产生推理轨迹的离散 DLM。

核心贡献

前瞻信号 (Lookahead Signal)： 本文证明了扩散轨迹中被丢弃的低置信度 token 是检索的有价值信号，它们比 AR 生成能更早地浮现出桥接实体。
并行解码兼容性： 作者通过实验表明，将生成过程锚定在检索到的证据中，可以显著降低 token 间的互信息（特别是针对实体跨度），使得 RAG 成为非常适合 DLM 并行解码能力的范式。
SARDI 框架： 首次提出了以中间扩散状态为条件的检索框架，实现了在去噪轨迹过程中动态刷新证据，且无需额外训练。

实验结果

作者在五个多跳问答基准测试上评估了 SARDI：2WikiMultiHopQA, HotpotQA, MuSiQue, CofCA, 和 SynthWorlds-RM。

性能： SARDI 显著优于静态扩散检索基线。例如，在 2WikiMultiHopQA 上，它将精确匹配 (EM) 从 43.7% 提高到了 59.1%（在 $\tau_c=0.95$ 时）。
与 AR 的比较： SARDI 在保持或超越所有无需训练的自回归基线（包括 FLARE 和 AdaptiveRAG）的同时，实现了高达 8 倍的吞吐量提升（更低的延迟）。
与 RL 智能体的比较： SARDI 达到了与经过强化学习训练的智能体 Search-R1 相当或更高的准确率，且运行速度快 3–8 倍，因为它不需要强化学习或奖励设计。
消融实验：
- 前瞻性 (Lookahead)： 激进的前瞻（ $\tau_q=0$ ）产生了最高的准确率，证实了投机性 token 改善了检索效果。
- 问题类型： 增益集中在需要桥接实体的多跳推理问题上；单跳问题几乎没有变化。
- 检索器： 结果在 BM25 和稠密检索器（E5-base-v2）上均成立。
- 刷新频率： 每步刷新是最优的，但每 2 步刷新仅会导致 1–2% 的 EM 损失，这表明存在成本摊销的可能性。

意义与主张

本文声称 SARDI 解锁了检索增强生成的“质量–延迟前沿 (quality–latency frontier)”。通过利用扩散模型的结构优势——特别是其“窥探自身生成未来”的能力，以及在有证据支撑时降低 token 间依赖性的特性——SARDI 实现了一种既比当前自回归方法更准确、又显著更快的动态多跳推理。

作者指出，该方法目前依赖于能够产生推理轨迹的模型，这可能需要对较小的 DLM 进行轻量级的监督微调（类似于早期的 AR 模型）。然而，随着 DLM 的成熟，这种需求可能会减少。这项工作表明，去噪轨迹为动态检索提供了一个天然的信号，使 SARDI 成为处理知识密集型任务的一种稳健且无需训练的解决方案。