🤖 AI

CORA-Diff: Confidence-Oriented Residual Acceptance for Efficient Diffusion Language Model Inference

CORA-Diff 是一种无需训练的方法，它通过利用原生的置信度和持久性信号来提前接受稳定的 Token，从而在不修改模型主干的情况下，在保持任务性能的同时显著减少扩散语言模型的推理运行时间。

原作者： Yifan Wu, Yufeng Zhang, Kenli Li

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Yifan Wu, Yufeng Zhang, Kenli Li

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：计算机不再像人翻书那样一个词一个词地阅读，而是试图一次性猜出整个故事，然后再修正其中的错误。这就是**扩散语言模型（Diffusion Language Models）**那令人兴奋又略显混乱的世界。把它们想象成一群正在尝试画出一只猫的艺术家。起初，他们只是到处乱涂乱画（即“噪声”）。然后，一步步地观察这团乱麻，并说：“好吧，这条线看起来像一只耳朵，我们保留它”或者“这个色块肯定不是尾巴，把它擦掉”。他们不断地同时精炼整幅画作，直到它看起来完美无缺。

问题在于，这种“一次性修复一切”的方法速度极其缓慢。即使艺术家们已经确定了猫有耳朵和胡须，他们仍在一遍又一遍地重画整幅画，只为了确保万无一失。这就像是在擦拭一只已经闪闪发光的鞋子。科学家们想知道：我们能否告诉计算机停止处理那些已经完美的图像部分？ 如果可以，计算机就能完成工作得更快，节省时间与能源。这就是研究人员正在攻克的难题：我们如何让这些聪明的、具备并行思维能力的计算机在不犯错的前提下，停止浪费精力？

于是，CORA-Diff 登场了，它是一个巧妙的新技巧，就像是这些 AI 艺术家的超级观察力敏锐的编辑。这项方法的背后研究者 Yifan Wu、Yufeng Zhang 和 Kenli Li 提出了一个简单而强大的问题：我们需要训练一个新的 AI 来告诉我们何时停止吗，还是我们可以直接倾听 AI 已经在发出的信号？

他们的回答是肯定的：“倾听信号”。他们发现，AI 自身的“思维过程”中包含两个秘密线索，可以告诉我们什么时候一个词已经准备好被永久锁定。

两个线索：置信度与持久性
想象一下你正在尝试猜测句子中的下一个词。

置信度（Confidence）： 这是 AI 有多确定。如果它说：“我有 99% 的把握下一个词是‘猫’”，那就是高置信度。如果它在“猫”和“狗”之间犹豫不决，那就是低置信度。
持久性（Persistence）： 这是 AI 坚持同一个猜测持续了多久。如果 AI 在第 1 步认为词是“猫”，在第 2 步仍然认为是“猫”，在第 3 步又是“猫”，那么它就表现出了“持久性”。这就像一个朋友不断坚持说：“我肯定是对的！”即便对话一直在进行。

CORA-Diff 使用这两个线索作为“停止信号”。如果 AI 对某个特定词汇非常有信心且具有持久性，系统就会说：“好了，我们搞定这个了！让我们锁定这个词，停止浪费时间反复检查它。”随后，它会跳过句子中该部分的剩余步骤并继续进行。

无需新训练，只需更聪明的时机
CORA-Diff 的特别之处在于它不需要教计算机任何新知识。它不需要一个单独的“裁判”AI 在一旁监视，它只是利用了模型本身已经在产生的原生信号。这就像意识到你不需要教练来告诉你拼图什么时候完成；你只需要观察碎片，看它们是否不再移动即可。

结果：速度提升且不牺牲质量
团队在一些具有挑战性的任务上测试了它，比如解决数学题 (GSM8K) 和编写代码 (HumanEval)。他们发现，与标准的、谨慎的方法相比，CORA-Diff 能让 AI 的工作速度提高 2.70 倍到 3.32 倍。在某些特定的、冗长的测试中，它的速度甚至快了 13.14 倍！

但最棒的部分是，它并没有让 AI 变笨。在大多数情况下，答案与缓慢、谨慎的版本一样好。研究人员发现，通过信任那些“自信且持久”的词汇，他们可以跳过大量的无效工作。例如，在一项数学测试中，这种新方法快了近 5 倍，而且几乎每次都能得到正确答案。

他们排除了什么
研究人员非常谨慎地证明了他们不需要改变 AI 的大脑或添加复杂的过滤器。他们证明了简单的、原生的信号已经足够了。他们还表明，你不需要等到最后一步才停止；只要特定部分趋于稳定，你就可以针对该部分提前停止。

他们有多确定？
团队并非凭空猜测，而是进行了测量。他们在真实的数据库上运行了测试，发现他们的方法一致地减少了计算机花费的工作时间。他们甚至通过数学计算解释了为什么这行得通：如果一个预测既有置信度又保持不变，那么从统计学上讲，它极有可能是最终的正确答案。虽然他们也指出，在某些罕见的、棘手的案例中，信号可能会有些模糊，但在绝大多数情况下，这种“置信度与持久性”的闸门是一种可靠的加速方式。

简而言之，CORA-Diff 是一种无需训练的简单方法，可以告诉忙碌的 AI：“嘿，这部分你已经搞定了！停止打磨，继续前进吧。”它提醒我们，有时，计算机能做的最聪明的事情就是知道何时停止工作。

技术摘要：CORA-Diff

问题陈述
扩散语言模型（DLMs）提供了并行生成 Token 的潜力，这与自回归模型的顺序生成特性形成对比。然而，实际的 DLM 解码器通常依赖于固定的去噪时界（denoising horizon），即在达到该时界之前，每一步都要执行密集的 Transformer 前向传递。这种方法会导致显著的计算冗余，因为许多 Token 的预测在轨迹早期就已经趋于稳定，但解码器仍会在处理整个块直至完全解决之前，对它们进行密集的处理。现有的加速方法试图缓解这一问题，但通常依赖于学习型的接受过滤器、修改后的决策分数（logits）、显式的依赖模型或专门的系统机制（例如缓存复用）。这些方法往往需要训练辅助组件或改变骨干网络，从而限制了它们的通用性和部署的便捷性。

方法论：CORA-Diff
作者提出了 CORA-Diff（面向置信度的扩散语言模型残差接受机制），这是一种无需训练的方法，旨在仅基于原生轨迹信号，识别并接受“残差”位置——即那些由原始转移规则留下的未解决位置。

核心机制： CORA-Diff 保留了原始骨干网络和原始转移规则。它引入了一个轻量级的门控机制，该机制仅应用于原始规则留下的未解决位置。
双信号门控： 如果一个 Token 在未解决位置满足以下两个源自当前解码轨迹的条件，则会被提前接受：
1. 置信度： Top-1 预测概率 ( $c^{(s)}_i$ ) 超过阈值 $\delta_p$ 。
2. 持续性： 同一个 Top-1 预测已连续存在了所需的步数 ( $m^{(s)}_i \ge m$ )。
残差接受： 被接受的 Token 会被固定为当前的预测值，并作为后续步骤的上下文可见，但它们将被排除在进一步的去噪之外。一旦所有位置都得到解决（通过原始规则或 CORA 门控），解码块即提前终止，从而跳过剩余的密集前向传递。
理论基础： 该方法基于以下假设：高置信度且具有持续性的预测在统计上很可能与固定的时界密集终点相匹配。作者推导了一个条件漂移尾部界限（conditional drift-tail bound），证明在“持续性-漂移分离”（persistence-drift separation）假设下，与密集终点不一致的概率随持续窗口 $m$ 呈指数级下降。
校准： 阈值 $(\delta_p, m)$ 在独立的校准子集（例如 1,000 个 GSM8K 提示词）上进行选择，以在限制任务得分下降和输出不一致性的同时，最小化步数比例。一旦选定，这些阈值在随后的所有评估和跨骨干网络迁移中均保持冻结。

核心贡献

无需训练的残差接受： 引入了一种无需学习接受模型、无需修改 Logits 或改变骨干网络即可加速 DLM 推理的方法。它完全依赖于原生的置信度和持续性信号。
理论形式化： 通过对密集终点不一致性的形式化分析，提出了早期接受的方法，并推导出了一个解释持续预测可靠性的基于边际的充分条件以及条件漂移尾部界限。
高效的块级终止： 证明了这种轻量级规则能够实现解码块的早期终止，从而显著减少了执行的密集步骤数量。

实验结果
该方法在 LLaDA-8B-Instruct 模型上进行了评估，涵盖四个基准测试（GSM8K, MATH, HumanEval, MBPP），并测试了其向 Dream 模型的迁移能力。

运行时间性能： 在所有八种任务长度设置（256/256 和 1024/1024 去噪时界的组合）下，CORA-Diff 均实现了最低的实测运行时间。
- 在固定时界机制隔离协议下，它实现了 4.34×–9.49× (256/256) 和 10.68×–13.14× (1024/1024) 的加速。
- 与最接近的运行时间基准（Learn2PD）相比，CORA-Diff 快了 9.1%–30.9%。
- 在 EOS 感知部署（即只有在提交了终止符后才停止解码）中，相比于 EOS 感知的密集解码，它提供了 2.70× (GSM8K) 和 3.32× (HumanEval) 的增量加速。
任务质量： 在八个设置中的五个，任务得分与密集解码持平或更高。观察到的最大性能下降仅为 1.22 分。
迁移性： 在无需重新调优的情况下，CORA-Diff 成功迁移至 Dream 骨干网络，实现了 3.18×–3.53× 的加速，且任务得分变化极小（至多 0.006）。
消融实验： 实验证实，结合置信度和持续性比单独使用其中一种信号能获得更好的权衡效果。

意义与主张
论文声称，在实践中，原生的置信度和持续性信号足以识别出将与确定性密集终点相匹配的残差位置。通过利用这些信号，CORA-Diff 通过一个简单的、无需训练的门控机制，消除了大量的重复去噪计算。该工作表明，无需辅助模型、系统特定优化或对预训练模型进行修改，即可实现显著的推理加速，同时保持任务质量。作者将此定位为现有加速器的补充方案，侧重于块完成（block completion）而非仅仅是 Token 接受或单步系统优化。

技术摘要：CORA-Diff

类似论文