💬 NLP

LESS Is More: Mutual-Stability Sampling for Diffusion Language Models

本文介绍了 \textsc{LESS}，一种无需训练且与模型无关的自适应采样器，它通过互稳定性规则动态确定 Token 提交，从而显著提高了扩散大语言模型的效率和准确性，与固定预算解码相比，将反向步骤减少了 72.1%。

原作者： Amr Mohamed, Guokan Shang, Michalis Vazirgiannis

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Amr Mohamed, Guokan Shang, Michalis Vazirgiannis

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：“边写边改”的问题

想象一下，你正在写一个故事，但你不是像标准 AI 那样从左到右一个词一个词地输入，而是从一张所有单词都被“遮罩”隐藏起来的空白页开始。你必须同时猜测每一个遮罩里的内容，然后一遍又一遍地精炼你的猜测，直到故事变得通顺为止。

这就是扩散语言模型 (dLLMs) 的工作方式。它们之所以强大，是因为它们可以同时观察整个句子（就像修改草稿一样），而不是仅仅根据前一个词来预测下一个词。

问题在于：
目前的这些模型工作方式，就像一个正在参加考试的学生，被迫在考试上恰好花费 256 分钟，即使他们 10 分钟就做完了数学题，5 分钟就做完了历史题。

他们一直在“重新检查”那些已经完美的答案（浪费时间）。
有时由于计时器说“停止”，他们会在答案尚未定型时就过早地锁定了错误的答案。

这篇论文介绍了一种名为 LESS（互稳定性采样）的新方法，它扮演了一个聪明的监考官角色。它允许学生在确定答案正确的那一刻就停止处理特定的问题，而不是等待时钟走完。

LESS 如何运作：“三项检查”规则

论文认为，你不应该仅仅信任模型的“置信度”（它自认为有多确定）。有时候，模型可能非常自信但却是错的，或者它的想法每秒钟都在变化。

为了决定何时停止精炼一个特定的词（或“Token”），LESS 使用了联合稳定性规则 (Joint Stability Rule)。把它想象成在“锁定”答案之前的三个环节的安全检查：

置信度检查 (The Confidence Check)： “你确定吗？”
- 模型必须高度自信其首选猜测是正确的。
持久性检查 (The Persistence Check)： “你最近改变主意了吗？”
- 模型必须在最近几次检查轮次中都选择了同一个首选词。如果它一直在“猫”和“狗”之间反复横跳，说明它还不稳定。
运动检查 (The Motion Check)： “整体画面是否趋于稳定？”
- 这是论文的核心创新。它使用了一个名为 Jensen-Shannon 散度 (JSD) 的数学工具。
- 类比： 想象你在看一张模糊的照片。即使你 90% 确定那是只狗，但如果背景中的照片仍在移动和模糊，你就不应该下结论。JSD 衡量的是答案周围的“模糊感”是否停止了移动。如果可能单词的分布仍在变化，那么答案就是不稳定的。

结果： 只有当所有三个条件都满足时，一个词才会被“去遮罩”（揭示并锁定）。

为什么这很重要

论文在三种不同的 AI 模型（Dream-7B、LLaDA-8B 和 LLaDA-1.5-8B）以及包括数学、编程和通用知识在内的七个任务上测试了 LESS。

研究结果：

更少的工作，同样（或更好）的质量： 与标准方法相比，LESS 成功地减少了 72% 的步骤。
更快的速度： 因为 AI 减少了“重新检查”的次数，它完成任务的速度更快。在测试中，它将解决数学题的时间从约 19 秒缩短到了仅 5 秒。
更聪明的决策： 不同于其他可能仅仅因为看起来很有信心就锁定答案的方法，LESS 会等到答案真正“稳定”时才行动。这实际上提高了它在困难数学和编程任务上的准确性，优于其他“免费”（无需重新训练）的方法。

“LESS Is More” 的隐喻

把标准的 AI 解码过程想象成一位雕塑家在从一块石头中凿刻出形状。

旧方法： 雕塑家被告知无论如何都要凿刻正好 100 次。他们可能会在已经光滑的部分继续凿 20 次（浪费精力），或者在只凿了 50 次时就停止处理一个粗糙的部分（留下瑕疵）。
LESS 方法： 雕塑家会观察雕塑的每个部分。一旦某个部分变得光滑、稳定，且凿子不再让它晃动，他们就会停止处理那个特定部分，然后继续下一步。他们用更少的总凿击次数完成了整座雕像，而且成品往往更精美。

结论摘要

论文声称，通过将“锁定”一个词的决定视为一个在线停止问题（基于实时稳定性来决定何时停止），LESS 可以：

减少超过 70% 的计算步骤。
降低生成文本的时间。
保持甚至提高准确性，尤其是在数学和编程等复杂任务中。
实现这一切无需重新训练 AI 模型（它是对解码方式的“即插即用”式更新）。

作者得出结论：稳定性比单纯的置信度更重要，通过在承诺一个词之前等待它真正“沉淀”下来，我们能以更少的计算能力获得更好的结果。

技术摘要：LESS：扩散语言模型的互稳定性采样

问题陈述

扩散大语言模型（dLLMs）通过对掩码序列进行迭代去噪，实现并行标记更新和双向条件化，为自回归（AR）解码提供了一种极具前景的替代方案。然而，其实际效率目前受限于依赖固定反向去噪调度（reverse denoising schedules）的采样程序。标准的采样器执行预定的步数，这往往会在预测已经趋于稳定的位置浪费计算量，同时又面临过早承诺不稳定标记的风险。在扩散过程中，一旦一个标记被取消掩码（unmasked），它通常会被视为固定的；如果由于僵化的调度导致过早承诺了一个错误的标记，后续的反向步骤将无法修正它，从而导致质量下降。现有的无需训练的自适应采样器通过使用基于置信度或边际（margin）的准则部分解决了这一问题，但它们往往无法捕捉到标记预测轨迹的完整时序和分布稳定性。

方法论

作者提出了 LESS (Less is More)，一种无需训练、与模型无关的自适应采样器，它将标记承诺（token commitment）框架化为一个针对每个位置的在线停止问题（online stopping problem）。LESS 实现了互稳定性采样（mutual-stability sampling），即只有当三个特定的稳定性信号共同表明预测已经稳定时，一个被掩码的位置才具备取消掩码的资格。

联合稳定性规则

对于每个反向步骤 $t$ 中的掩码位置 $i$ ，LESS 评估三个源自模型预测分布 $p_{t,i}$ 的信号：

Top-1 预测置信度： 当前 Top-1 标记（ $w_{t,i}$ ）被分配的概率。该位置的置信度必须超过阈值 $c$ 。
Top-1 标记持久性： 当前的 Top-1 标记在最近的 $P$ 个反向步骤窗口内必须保持不变。这可以防止即使当前置信度很高，也会承诺一个刚刚发生变化的标记。
Top-K 步间 Jensen–Shannon 散度 (JSD)： 这是 LESS 的创新贡献。它衡量了连续反向步骤之间预测分布本身的稳定性。
- 不同于使用非对称的 Kullback–Leibler (KL) 散度，LESS 使用了对称且有界的 JSD。
- 为了确保计算效率并关注相关候选者，JSD 是在由当前步和前一步的 Top- $K$ 标记组成的粗粒度词表上计算的，剩余的概率质量被合并到一个残差符号中。
- JSD 必须低于阈值 $d$ 。

一个位置被接受取消掩码的充分必要条件是：
$\text{accept}_{t,i} = (\text{conf}_{t,i} \ge c) \land \text{persist}_{t,i} \land (\text{JSD}_{t,i} \le d)$

取消掩码策略

LESS 对全序列扩散模型采用前沿优先策略（frontier-first policy）。它尝试取消左侧第一个掩码位置的掩码。如果该位置不符合条件，它会扫描一个前瞻窗口以寻找第一个符合条件的候选位置。如果没有位置符合条件，则跳过该步。为了保证终止，在连续跳过 $\Pi$ 步后会触发强制取消掩码的回退机制，尽管这种回退不被视为一次“稳定”的承诺。

核心贡献

标记承诺的公式化： 本文将 dLLM 中的自适应取消掩码定义为一个由取消掩码的不可逆性引起的逐位置在线停止问题。
Top-K 步间 JSD： 作者引入了 Top-K 步间 Jensen–Shannon 散度作为一种有界的、对称的稳定性信号。这解决了先前工作中仅靠置信度无法检测持续分布运动，以及 KL 散度具有方向性且无界的问题。
LESS 采样器： 一种无需训练的采样器，它将置信度、标记持久性和步间 JSD 结合进一个联合稳定性规则中。它不需要重新训练模型，并且可以兼容现有的 dLLM 检查点。
实证验证： 在涵盖数学、代码和通用知识的三类 dLLM 家族及七个基准测试上的全面评估。

结果

评估表明，与固定预算解码（Base）和其他强大的无需训练的自适应采样器（Prophet 和 KLASS）相比，LESS 显著改善了准确度与效率之间的权衡。

效率： 在三个模型家族中，LESS 平均比固定预算解码减少了 72.1% 的反向步骤。
准确度： 与固定预算基线相比，LESS 实现了平均 +0.91 点的准确度提升，同时使用了更少的步骤。它在所有模型家族的平均准确度上也优于 Prophet 和 KLASS。
任务表现： 在数学和代码生成任务中，增益最为显著。例如，在 Dream-7B 上，LESS 仅用 64.3 步（Base 为 256 步）就实现了 65.18% 的平均准确度（Base 为 63.30%）。
计算节省： 由于每个反向步骤都需要一次 Transformer 前向传播，步骤的减少直接转化为推理计算量的降低。在 Dream-7B GSM8K 上，LESS 将墙钟延迟从 19.45s 降低到 5.16s，并在高步数预算下减少了约 75% 的前向评估次数。
消融实验：
- 信号互补性： 没有单一信号（置信度、持久性或 JSD）能像联合规则那样表现出色。置信度是主要驱动力，但持久性和 JSD 提供了必要的保障，防止过早承诺和分布漂移。
- 鲁棒性： 该方法在不同的模型和解码机制（全序列 vs 半自回归块状）下表现一致，使用的是统一的全局配置 $(c=0.75, d=0.040)$ 。

意义与主张

论文声称 LESS 提供了一种实用的、无需训练的机制，通过仅在预测具有高置信度、时间持久性和分布稳定性时才承诺标记，从而加速扩散语言模型的解码。

作者强调，稳定性不仅仅是置信度。如果 Top-1 标记最近发生了变化，或者概率质量仍在备选方案之间转移，那么即使置信度很高，预测仍可能是不可靠的。通过将稳定性视为当前预测及其近期轨迹的联合属性，LESS 避免了过早承诺的陷阱。

这项工作被定位为与其他加速方法正交且互补：

它补充了训练时方法（如蒸馏），这些方法旨在缩短反向过程。
它补充了系统级方法（如缓存、投机采样），这些方法旨在降低单步延迟。
它作为一个掉入式（drop-in）推理时策略，可以在不修改底层模型的情况下与这些方法结合使用。

论文总结道，互稳定性是实现稳健早期标记承诺的可行准则，使 dLLM 能够在不牺牲（甚至提高）生成质量的前提下实现更高的效率。作者承认，该方法暴露了一个由稳定性阈值控制的质量-效率权衡，这可能需要针对特定模型或任务进行调优，尽管统一的全局配置在他们多样化的评估套件中已被证明是有效的。