🤖 machine learning

CForce: Boosting Parallel Decoding for dLLMs via Consistency Forcing

本文介绍了 CForce，一种一致性强制蒸馏方法，它通过一种新颖的置信度自适应 KL 散度目标，将早期阶段的掩码预测与后期阶段的细化进行对齐，从而改善了扩散大语言模型的速度与质量权衡。

原作者： Yuji Ren, Chenkai Xu, Zhuocheng Gong, Jianguo Li, Zhijie Deng

发布于 2026-08-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuji Ren, Chenkai Xu, Zhuocheng Gong, Jianguo Li, Zhijie Deng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个这样的世界：计算机不再像人翻阅书籍那样一个词一个词地阅读，而是可以审视整个句子并一次性猜出缺失的部分。这就是**扩散大语言模型（Diffusion Large Language Models, dLLMs）**的领域。把它们想象成一名正在试图破解谜题的侦探，而犯罪现场笼罩在浓雾之中。侦探从满是问号（掩码）的页面开始，一步步拨开迷雾，揭示隐藏的词汇。他们拨开迷雾的速度越快，写故事的速度就越快。

然而，这里有一个陷阱。如果侦探为了节省时间而试图一次性拨开过多的迷雾，他们可能会在早期猜错词。一旦做出了错误的猜测，就很难修正，整个故事可能会偏离轨道。这篇论文专门解决这个问题：如何让这些“拨开迷风”的侦探既能超高速运行，又不会变得粗心大意。作者引入了一种名为**一致性强迫（Consistency Forcing, CForce）**的新型训练技巧，旨在帮助模型即使在赶进度时，也能更加信任自己早期的猜测。

问题所在：高峰时段的错误

想象一群艺术家正试图共同创作一幅壁画。在传统的设置中，他们画完一小块区域，等它干透后，再移动到下一块。这虽然慢，但很稳妥。扩散模型就像是一个试图同时绘制十个区域的团队。这对于速度提升非常惊人，但如果由于艺术家在赶进度而导致前几个区域涂错了颜色，那么剩下的壁画看起来就会很奇怪，而且后期修复将是一场噩梦。

论文指出，当这些模型试图追求极速（使用“激进的并行化”）时，它们往往会在早期阶段做出不可靠的猜测。这些早期的错误会像坏消息传闻一样蔓延，从而毁掉最终的结果。目标不仅仅是让模型更快，而是要让其早期的猜测足够可靠，以应对这种速度。

解决方案：“时空旅行”教练

于是有了一致性强迫（CForce）。想象一位观察运动员练习的教练。通常，教练可能只会说：“再来一次。”但 CForce 是一个特殊的教练，它使用了一种“时空旅行”的技巧。

其工作原理如下：

自我博弈（Self-Play）： 要求模型自主生成一个故事，创建一个从空白页面到完整句子的完整路径。这就是它的“自我展开（self-rollout）”。
阶段划分： 教练并不观察每一个微小的步骤，而是将这条路径分解为若干个“阶段”。这就像是在快进观看电影，但只在情节发生重大变化时才暂停。
教学过程： 教练取一个早期阶段（此时故事仍处于模糊和不确定的状态），并将其与一个后期阶段（此时故事已更清晰、更完整）进行对比。教练告诉模型：“嘿，你在故事还很模糊时的那个猜测，应该看起来和你故事变清晰后的猜测非常相似。”

模型被训练去使其早期的、摇摆不定的预测，与后期的、自信的预测保持一致。这就像在告诉一名学生：“你论文的第一稿就应该已经具备了正确的核心观点，因为你的终稿肯定会有这些观点。”

秘诀：信心与锚点

为了让这种训练完美运作，作者添加了两个聪明的工具：

置信度自适应 KL 散度（Confidence Adaptive KL Divergence）： 这是一种高级说法，意思就是“当你确定时，多听一点”。如果故事的后期阶段对某个词非常确定，模型就会被强烈要求去匹配那个预测。如果后期阶段仍然不确定，模型则被允许具有更高的灵活性。这是一个动态的老师，知道何时严格，何时宽容。
CE 锚点（CE Anchor）： 这充当了一个安全网。当一个词最终被揭示出来（被画在壁画上）时，模型会得到一个额外的推动，以确保它完全正确。这可以防止模型在决定某个词的关键时刻偏离航线太远。

研究发现：速度与质量并存

团队在两类模型上测试了这种方法：一种仅用于生成新文本的模型（非编辑型），以及一种可以回溯并修正错误的模型（具备编辑能力型）。

对于“修复型”模型： 结果令人印象深刻。使用 CForce 时，模型每次前向传播可以生成 9.08 个 token（单词或词的一部分），高于之前的 6.94，同时准确率反而提高了（从 85.57% 跳升至 86.41%）。它在变快的同时也变得更聪明了。
对于“写作型”模型： 这里存在权衡，但也是有利的权衡。模型每次可以生成 6.42 个 token（高于 3.60），这是一个巨大的速度提升。虽然其准确率相比于缓慢、谨慎的版本略有下降，但仍远优于其他快速方法。

论文表明，这种方法之所以奏效，是因为它教会了模型与其自身保持一致。通过强迫早期的、低上下文的猜测去匹配后期的、高上下文的现实，模型学会了从一开始就做出更好的决策。

总结

这篇论文并不声称已经解决了 AI 速度的所有问题，但它为处理文本生成中的“高峰时段”提供了一种非常有前景的新途径。通过利用模型的“未来自我”来引导其“现在自我”，**一致性强迫（Consistency Forcing）**帮助扩散模型在运行得更快的过程中，不会被自己的脚步绊倒。它提醒我们，有时，快速前进的最好方式是确保你看向的方向与未来的你所看向的方向一致。

技术摘要：CForce：通过一致性强制提升 dLLM 的并行解码能力

1. 问题陈述

扩散大语言模型（dLLMs）通过在单次前向传播中预测多个掩码标记（masked tokens）来加速文本生成，从而实现高并行性。然而，在激进的并行解码策略下（即根据置信度阈值同时提交大量标记时），由于上下文信息有限，早期去噪阶段往往会出现预测不可靠的问题。这些早期错误会传播到后续阶段，从而降低整体生成质量。

现有的加速方法面临两个主要局限性：

推理侧方法（如缓存、投机采样）并未修改模型参数以提高内在预测的可靠性。
基于训练的方法通常依赖于构建的、由教师生成的或具有特权信息的轨迹。这些目标与学生模型实际的推理状态（低上下文、基于阈值决策的路径）存在不匹配。

核心挑战在于：如何在不依赖外部教师或改变基本解码算法的情况下，提高高并行解码模式下早期阶段预测的可靠性。

2. 方法论：一致性强制 (CForce)

CForce 是一种蒸馏方法，旨在将模型自身解码轨迹中早期、低上下文去噪阶段的预测，与后期、信息更丰富的阶段进行对齐。

2.1 分阶段轨迹构建

CForce 并非在每个原生解码步骤上进行训练，而是从预训练 dLLM 的自回测（self-rollouts）中构建“分阶段”轨迹：

自回测： 模型使用基于置信度的并行解码生成一条轨迹（揭示高于阈值 $\tau$ 的标记）。
阶段划分： 轨迹根据累计新揭示标记的数量（阶段大小 $S$ ）进行下采样，而非基于原生步数。这确保了相邻阶段代表了显著的上下文变化。
相邻对： 训练对由一个早期阶段 ( $\bar{s}_i$ ) 和一个稍后的阶段 ( $\bar{s}_{i+1}$ ) 组成。较后的阶段作为较早阶段的梯度停止（stop-gradient）目标。

2.2 训练目标

该方法采用复合损失函数来强制执行一致性：

置信度自适应 KL 散度 (CAD)：
- 应用于在两个阶段中都保持掩码状态的位置 ( $U_i$ )。
- 根据后期阶段预测的置信度 ( $c_j$ )，在正向 KL（Forward KL）和反向 KL（Reverse KL）之间进行动态插值。
- 正向 KL： 最小化分布漂移（具有稳定性）。
- 反向 KL： 鼓励模式寻求（使预测更加尖锐），但通过置信度进行加权，以避免在不确定目标上发生崩溃。
- 公式： $L_{CAD} = \frac{1}{|U_i|} \sum_{j \in U_i} [D_{KL}(p^{tar}_j \| p^{stu}_j) + c_j D_{KL}(p^{stu}_j \| p^{tar}_j)]$
交叉熵 (CE) 锚点：
- 应用于阶段之间新揭示的位置 ( $\Delta_i$ )。
- 将学生的预测锚定在提交前的干净目标标记上，从而稳定从掩码状态到揭示状态的过渡。
课程学习：
- 为了处理预测远前方揭示标记的难度，模型会逐渐接触完整的阶段间差距。在训练过程中，用于目标状态的揭示标记比例从 10% 逐渐增加到 100%。

2.3 向具备编辑能力的模型扩展

对于支持 Token-to-Token (T2T) 精炼的模型（如 LLaDA 2.1），CForce 利用后期阶段的修正信息：

编辑信号： 在后期阶段发生标记修订的位置 ( $\bar{E}_i$ ) 被纳入 CAD 领域。
监督： 这些 T2T 修正为早期的 Mask-to-Token (M2T) 预测提供了更丰富的监督，使模型能够从自身的自我修正能力中学习。

2.4 理论依据

论文提供了一个理论界限，表明早期阶段的预测误差受限于相邻阶段的分布漂移与揭示边界处的标记误差之和。CAD 项最小化了漂移，而 CE 锚点则最小化了边界误差，从而近似地最小化了早期阶段的预测误差。

3. 核心贡献

重构加速视角： 将 dLLM 加速的重点从单纯减少采样步数，转向提高激进阈值解码下早期阶段预测的可靠性。
一致性强制： 引入了一种蒸馏方法，利用模型自身的解码轨迹，通过同模型梯度停止目标来实现相邻阶段的对齐，消除了对冻结教师的需求。
创新目标函数： 提出了置信度自适应 KL 散度 (CAD) 以平衡分布稳定性与模式寻求，并结合了用于标记提交的 CE 锚点。
具备编辑能力的集成： 展示了 T2T 精炼信号如何为早期的 M2T 预测提供监督，从而提升了模型在编辑和非编辑场景下的性能。

4. 实验结果

实验在 LLaDA 2.0（非编辑型）和 LLaDA 2.1（具备编辑能力型）变体上针对四个基准测试进行了评估：GSM8K、MATH500、MBPP 和 HumanEval。

具备编辑能力的模型 (LLaDA 2.1-mini)：
- CForce 将平均每前向步生成标记数 (TPF) 从 6.94 提升至 9.08。
- 平均准确率从 85.57% 提升至 86.41%。
- 在代码生成基准测试（MBPP, HumanEval）上的增益尤为显著。
非编辑模型 (LLaDA 2.0-mini)：
- CForce 使模型转向了更高的并行度运行点，将平均 TPF 从 3.60 提升至 6.42。
- 虽然平均准确率略低于基础模型（由于固有的速度-质量权衡），但在高并行度下其表现显著优于 CAP 基线。
- 在固定的激进 TPF 预算（如 TPF=8）下，CForce 在所有变体中实现了最高的准确率。
吞吐量：
- CForce 的实际墙钟吞吐量相比 LLaDA 2.0-mini 平均提升了 42.82%，相比 LLaDA 2.1-mini 平均提升了 22.84%。
消融实验：
- 阶段大小： $S=8$ 在并行度和准确率之间达到了最佳平衡。
- 目标类型： 同模型梯度停止目标优于冻结教师基线。
- KL 形式： CAD 优于纯正向 KL（高并行度）和纯反向 KL（高准确率），实现了更优的折衷。

5. 意义与主张

论文声称，一致性强制有效地解决了高并行 dLLM 解码中的可靠性瓶颈。通过强制早期阶段的预测与来自自身轨迹的后期、信息更丰富的状态保持一致，CForce 实现了：

更高的并行度： 模型可以在不产生灾难性错误传播的情况下，在每次前向传播中提交更多标记。
改进的速度-质量权衡： 该方法推动了性能边界，允许在保持甚至提高质量的同时实现更快的生成，尤其是在具备自我修正信号的编辑场景中。
广泛的适用性： 该方法对标准的掩码扩散模型和具备编辑能力的模型均有效，充分利用了各自的优势（M2T 起草与 T2T 精炼）。

作者指出，该方法目前依赖于从固定初始化中预先收集的轨迹，随着训练的进行，这些轨迹可能会偏离学生的分布。建议未来的工作探索在线轨迹收集，以使强制目标能适应不断演进的模型。