💬 NLP

Where and When to Commit: Candidate-Aware Decoding for Diffusion Language Models

本文介绍了 LATCH，这是一个针对扩散语言模型（Diffusion Language Models）的无需训练的框架，它通过结合置信度验证提交（Confidence-Verified Commit）与块状早期提交（Block-Wise Early Commit），在不依赖后缀提示或固定超参数的情况下，通过动态验证输出稳定性并加速非最终标记块，实现了显著的推理加速（高达 17.8 倍），同时保持了接近全解码的准确度。

原作者： Chia-Ming Lee, Ming-Ching Chang, Xin Li, Yu-Lun Liu, Chih-Chung Hsu

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chia-Ming Lee, Ming-Ching Chang, Xin Li, Yu-Lun Liu, Chih-Chung Hsu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在尝试解决一个复杂的谜题，但你不是从左到右一个接一个地放置碎片，而是从一个完全被浓雾笼罩的棋盘开始。每隔几秒钟，雾气就会消散一点点，同时为棋盘上的每一个位置揭示出一个模糊的猜测。这就是一种新型人工智能——**扩散语言模型（Diffusion Language Model）**的思考方式。不同于以往像人类打字那样一个词接一个词生成句子的 AI，这种 AI 能同时看到整个画面的演变过程。

科学家们面临的一个大问题是：什么时候该停止？ 由于 AI 在不断优化它的猜测，它不需要等到最后一秒才看到最终答案。通常情况下，答案在过程“完成”之前很久就已经趋于稳定并停止变化了。如果你能准确判断出答案何时已经定型，你就可以提前停止计算，从而节省大量的计算时间和能源。然而，过早停止是有风险的；如果你在 AI 还在两个不同的答案之间反复摇摆时就冻结了棋盘，你可能会锁定一个错误的结论。挑战在于构建一个“智能停止按钮”，它能够分辨出什么是暂时的停顿，什么是最终的决定。

论文的故事： “LATCH” 系统

这篇论文介绍了一个名为 LATCH（局部加速与追踪候选者停机，Localized Acceleration with Tracked-Candidate Halting）的巧妙新系统，它充当了这些模糊谜题 AI 模型的超级智能停止按钮。来自阳明交通大学和纽约州立大学奥尔巴尼分校的研究团队意识到，以往试图加速这些模型的方法就像是在使用钝器：它们要么停止得太早导致出错，要么等待得太久导致浪费时间。

把 AI 的解码过程想象成一段长长的火车旅程，由若干节车厢（块/blocks）组成。火车向前行驶，在每一节车厢里，乘客（AI 的猜测）都在努力决定最终的目的地。

问题所在： 旧的方法观察整列火车并说：“嘿，第一节车厢的乘客看起来很满意，所以让我们停止整列火车吧！”但在长期的、复杂的推理任务（如复杂的数学题）中，第一节车厢的乘客可能对一个错误的答案感到满意，而真正的答案仍在最后一节车厢中被逐步推导出来。
LATCH 的解决方案： 作者将这项工作分成了两个截然不同的角色，就像一名列车长和一名当地站长。

1. 当地站长 (BWEC)：“在哪里加速”
LATCH 的第一部分被称为 块级早期提交 (BWEC)，它扮演着当地站长的角色。它观察火车的早期车厢（非最终块）。如果某一节车厢里的乘客看起来很有信心并且已经确定了方向，站长就会说：“太好了，这节车厢完成了！让我们跳过这节车厢剩余的停靠点，进入下一节。”这显著加快了答案中那些仅仅是中间步骤部分的旅程，比如在写出最终句子之前先进行数学运算的过程。

2. 列车长 (CVC)：“何时停止火车”
第二部分是 置信度验证提交 (CVC)，它是那位严格的列车长，负责决定整列火车何时可以停止。这是最关键的部分。列车长不仅仅观察乘客看起来有多“开心”；他们实际上会检查答案本身。

他们会不断地重新阅读 AI 正在生成的最终答案。
他们会询问：“这个答案是否已经连续好几步都没有变化了？”
他们会询问：“AI 对这个答案真的有把握吗？”
只有当答案在特定的步数内保持稳定且具有置信度时，列车长才会拉下紧急制动闸并说：“好了，我们得到答案了。停止火车。”

他们的发现

研究团队在 11 个不同的任务上测试了 LATCH，涵盖了从简单的选择题到需要长链推理的困难数学题。他们使用了两种不同的 AI 模型——LLaDA 和 Dream，并发现 LATCH 是一个游戏规则改变者。

速度： 对于短小、简单的答案，LATCH 比标准方法快 9.3 到 17.8 倍。对于长篇、复杂的推理任务，速度提升了 2.0 到 3.3 倍。
准确性： 尽管如此早地停止，LATCH 并没有出错。它的准确率与完整的、缓慢的方法相比，误差保持在 2.0 个百分点以内。在许多情况下，它获得了与慢速方法完全相同的得分。
无需训练： 最棒的一点是，LATCH 不需要针对每个新任务进行重新训练或学习新技巧。团队设定好规则后，这些规则在所有 11 个任务和两种模型上都能完美运行，无需任何更改。

他们排除了哪些可能性

论文明确反对了这样一种观点，即你可以仅仅通过观察“置信度分数”或“进度条”来决定何时停止。

旧方法失败的原因在于它们观察整个序列并看到高置信度分数，便认为工作已完成。但作者证明了，在长篇推理任务中，AI 可能会对一个错误的答案表现出很长时间的高置信度，然后在最后一秒突然转向正确的答案。
他们证明了仅根据“经过了多少时间”或“填充了多少 Token”来停止是危险的。如果你在数学题的过程中过早停止，你可能会在计算真正完成之前就冻结了答案。
他们还表明，你不能用同样的“停止规则”来应对短问答和长文章。停止的规则必须针对答案本身，而不是仅仅针对过程。

核心结论

作者认为 LATCH 是一种非常高效的、“无需训练”的方法，可以在不损失智能的前提下，让这些强大的 AI 模型变得更快。通过将“加速中间步骤”的任务与“验证最终答案”的任务分离，他们创建了一个知道在哪里加速以及何时停止的系统。这就像拥有一位导游，他知道什么时候可以跳过博物馆中无聊的部分，但又坚持要留下来直到欣赏完杰作，确保你不会为了节省几分钟而错过最精彩的部分。

技术摘要：面向扩散语言模型的候选感知解码 (Candidate-Aware Decoding for Diffusion Language Models)

1. 问题陈述

扩散语言模型 (DLMs) 通过对全掩码序列进行迭代去噪来生成文本。与自回归模型不同，DLMs 在每一个中间步骤都会为每个位置保留一个临时预测。这为无需训练的加速 (training-free acceleration) 提供了两个不同的维度：

自适应采样 (Adaptive Sampling)： 决定在解码继续进行时，各个位置提交（commit）Token 的速度（例如：Fast-dLLM, SlowFast, KLASS）。
生成时提前退出 (Generation-Time Early Exit)： 决定何时停止整个序列的生成并填充所有位置，同时冻结剩余的所有位置（例如：Prophet, SchED）。

现有方法无法有效平衡这两个维度，因为它们依赖的证据与决策范围不匹配：

过早终止 (Premature Termination)： 现有的早期退出门控（如 Prophet）通常依赖于固定的区域置信度统计或基于调度规则的方法。这些方法聚合了位置层级的信号，即使底层候选答案仍在波动，这些信号也可能表现得十分稳定。因此，这些门控会在长链式思考 (CoT) 任务中过早触发，在序列稳定之前就冻结了序列，导致显著的准确率下降（在某些设置下高达 69 个百分点）。
低效采样 (Inefficient Sampling)： 自适应采样器控制着 Token 提交的节奏，但从未验证序列是否已经完成。即使答案已经稳定，它们仍会继续解码每一个剩余的 Token，从而错失了全局停止所带来的潜在节省。
任务依赖性 (Task Dependency)： 候选答案稳定的时机高度依赖于任务。短答案任务可能在约 4% 的解码步骤后趋于稳定，而长推理任务通常直到最后 4% 才会稳定。单一的“基于进度”的规则无法同时服务于两者。

2. 方法论：LATCH

作者提出了 LATCH（局部加速与追踪候选停止，Localized Acceleration with Tracked-Candidate Halting），这是一个无需训练的框架，它将两个加速维度分离，并为每个维度应用特定的门控，使证据与决策范围相匹配。

A. 置信度验证提交 (Confidence-Verified Commit, CVC)：决定何时停止

CVC 控制全局终止决策（填充并停止）。与以往监控固定区域的方法不同，CVC 基于动态提取的候选片段 (dynamically extracted candidate span) 进行操作。

机制： 在每一步，CVC 根据任务的输出格式（例如，数学任务中的尾部部分）从缓冲区中重新提取候选答案。
联合收敛准则： 只有当以下两个条件在提取的候选片段上同时满足时，门控才允许终止：
1. 置信度 (Confidence)： 候选部分的平均 Softmax 置信度 ( $c_t$ ) 超过阈值 ( $\tau_{CVC}$ )。
2. 稳定性 (Stability)： 候选值在持续的步数内保持不变 ( $run_t$ )。该计数器仅在提取的值与前一步完全一致时递增；如果无法提取候选值，计数器则暂停。所需的运行长度是动态的： $run_t \ge \max(p_{min}, \lceil \gamma \cdot changes_t \rceil)$ ，其中 $changes_t$ 是数值变化的次数。
收益： 这确保了序列仅在答案本身趋于稳定时才停止，防止了在长推理任务中发生过早终止——在这些任务中，中间的推理过程可能看起来很稳定，但最终答案仍在被修正。

B. 分块早期提交 (Block-Wise Early Commit, BWEC)：决定在哪里加速

BWEC 控制非最终块的局部提交节奏。

机制： 它对 $B_0$ 到 $B_{N-2}$ 的块应用更廉价的局部置信度规则。如果一个掩码位置的置信度超过阈值 ( $\tau_{BWEC}$ )，它会立即提交，绕过预定的 top- $k$ 重掩码 (remasking) 过程。
保护机制： 最终块 ( $B_{N-1}$ ) 被排除在 BWEC 之外。它遵循基准调度，以确保最终答案不会因局部规则而被过早提交。全局终止仍严格受 CVC 控制。
收益： 这加速了中间推理步骤（这些步骤通常较早趋于稳定），同时不会危及最终答案的完整性。

3. 核心贡献

任务相关的稳定性分析： 作者证明了候选答案稳定的时机在不同任务间差异巨大（从 4% 到 96% 的解码进度），使得仅基于进度的早期提交变得不可靠。
LATCH 框架： 一个双门控系统，实现了“在哪里”（用于非最终块的 BWEC）与“何时”（用于全局终止的 CVC）的分离。
- CVC 在停止前验证动态提取的候选对象的身份与稳定性。
- BWEC 利用局部置信度信号加速非最终块。
零样本、跨骨干网络的迁移能力： LATCH 仅需一套在单个骨干网络（LLaDA）上校准一次的冻结超参数集 ( $\tau_{CVC}=0.7, \gamma=2.0, p_{min}=3, \tau_{BWEC}=0.9$ )。它无需调优即可迁移到不同的骨干网络（Dream），并在 11 个多样化任务中实现无须针对每个任务进行调优或构建后缀提示词 (suffix-prompt) 的直接应用。

4. 实验结果

在 11 个任务（6 个短答案，5 个长推理）的零样本设置下，对 LLaDA-8B-Instruct 和 Dream-7B-Instruct 进行了评估：

准确率 (Accuracy)： 在所有 22 个评估设置中，LATCH 与全量解码准确率的差距保持在 2.0 个百分点以内。
- 相比之下，现有的终止门控（Prophet, SchED）和采样器（SlowFast）在长推理任务上经常会超过这一容差范围，准确率下降幅度在 5 到 69 个百分点之间。
- LATCH 避免了先前工作对“后缀提示 (suffix-prompt)”的依赖，在自由格式提示下表现稳健。
加速比 (TPS)：
- 短答案任务： 实现 9.3× – 17.8× 的加速。
- 长推理任务： 实现 2.0× – 3.3× 的加速。
效率： 长推理任务的加速主要由 BWEC（加速中间块）驱动，而短答案任务的加速则主要由 CVC（实现早期全局终止）驱动。

5. 意义与主张

本文声称，现有 DLM 加速的主要失败模式在于证据（聚合的位置级信号）与决策范围（全局序列终止）之间的不匹配。

验证对象而非代理： LATCH 将验证目标从代理指标（固定区域置信度）转向了对象本身（动态提取的候选内容）。这使得系统能够区分瞬时的稳定猜测与真正的收敛答案。
可组合性： 自适应采样（局部提交）与早期退出（全局停止）的节省效果是相互叠加而非相互竞争的。通过利用 CVC 保护最终块，同时利用 BWEC 加速早期块，LATCH 实现了一种单靠其中任何一个维度都无法在不牺牲准确率的情况下实现的加速效果。
实用性： 该框架完全无需训练，不需要后缀提示工程，并且可以通过一套超参数集在不同模型架构间迁移，是高效部署 DLM 的实用解决方案。