💬 NLP

CreditDecoding: Accelerating Parallel Decoding in Diffusion Large Language Models with Trace Credit

该论文提出了名为 CreditDecoding 的免训练并行解码方法，通过引入“轨迹信用”（Trace Credit）机制量化并累积历史证据，从而提前确认正确但置信度不足的 token，有效解决了扩散大语言模型中因重复掩码导致的冗余迭代问题，在多个基准测试中实现了最高 5.48 倍的加速并提升了准确率。

原作者： Kangyu Wang, Zhiyun Jiang, Haibo Feng, Weijia Zhao, Lin Liu, Jianguo Li, Zhenzhong Lan, Weiyao Lin

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kangyu Wang, Zhiyun Jiang, Haibo Feng, Weijia Zhao, Lin Liu, Jianguo Li, Zhenzhong Lan, Weiyao Lin

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 CreditDecoding（信用解码）的新技术，旨在让一种新型的人工智能语言模型（称为“扩散大语言模型”或 dLLM）说话更快、更准。

为了让你轻松理解，我们可以把生成文本的过程想象成在迷雾中拼凑一幅巨大的拼图。

1. 背景：迷雾中的拼图游戏

传统模型（像写文章）： 以前的 AI 像是一个严谨的作家，必须从左到右，一个字一个字地写。写完第一个字，才能写第二个。这很稳，但很慢。
扩散模型（像修图）： 新的扩散模型（dLLM）像是一个修图师。它一开始拿到一张全是马赛克（乱码）的图，然后一步步把马赛克擦除，直到图片清晰。它的特点是可以一次性擦除很多个马赛克（并行处理），理论上应该快得多。

2. 问题：为什么现在的“修图”还是不够快？

虽然扩散模型可以一次擦除很多块，但在实际操作中，它有一个致命的效率浪费：

场景： 假设模型心里其实已经猜对了一个词（比如“苹果”），它的直觉（预测）很准。
现状： 但是，因为模型有点“缺乏自信”（置信度不够高），它不敢把这个词定下来。于是，它把这个词重新盖回马赛克，留到下一步再猜。
结果： 下一步，模型又猜对了“苹果”，但还是不够自信，又把它盖回去。
比喻： 这就像你明明知道答案选 A，但因为怕选错，反复在 A、B、C 之间犹豫，把 A 涂了又改，改了又涂。你明明已经知道答案了，却还在浪费时间去“重新猜”它。

论文发现，这种**“明明猜对了，却因为不够自信而反复重猜”**的现象，浪费了大量的计算时间。

3. 解决方案：CreditDecoding（信用解码）

为了解决这个问题，作者发明了一个叫**“信用积分”**（Trace Credit）的机制。

核心比喻：给“老好人”发勋章

想象模型是一个正在做选择题的学生：

传统做法： 老师只看学生这一秒的答案。如果学生这一秒犹豫了，老师就让他重做。
CreditDecoding 做法： 老师不仅看这一秒，还给学生发一个**“信用积分卡”**。
- 如果学生在过去几轮里，一直坚定地选“苹果”，哪怕这一秒有点犹豫，老师也会说：“别慌，你之前表现很好，信用积分很高，我信任你，直接定下来吧！”
- 如果学生之前选来选去，一会儿“苹果”一会儿“香蕉”，信用积分就很低，老师就会让他继续思考。

它是如何工作的？

积累历史证据： 系统会记录每个词在之前的每一步里被预测的情况。如果某个词连续几次都被模型认为是最好的选择，它的“信用分”就会像滚雪球一样积累起来。
** boosting（助推）：** 当模型再次预测这个词时，系统会把它的“信用分”加到当前的预测结果上。
- 这就好比给那个犹豫的学生打了一针“强心剂”，让他原本 60% 的自信瞬间变成 90%。
提前锁定： 因为自信度瞬间提高了，模型就能更早地把这个词定下来（从马赛克中擦除），不再需要反复重猜。

4. 效果：快如闪电，稳如泰山

论文在多个测试中验证了这种方法：

速度提升： 在 LLaDA-8B 这个模型上，速度提升了 5.48 倍！这意味着原本需要 10 分钟生成的文章，现在只要 2 分钟。
质量提升： 有趣的是，它不仅变快了，答案还更准了（准确率提升了 0.48%）。因为减少了反复修改带来的错误，模型生成的文本更连贯。
通用性强： 这个方法不需要重新训练模型（就像给旧手机装个新 APP，不用换手机），而且可以和各种现有的加速技术配合使用。

总结

CreditDecoding 就像是给 AI 装了一个**“记忆辅助器”**。

以前，AI 每次都要重新审视每一个字，哪怕它心里已经很有谱了，也不敢轻易下笔。现在，有了“信用积分”，AI 可以回顾自己过去的判断：“嘿，我刚才连续三次都选了这个词，看来我是对的！”于是它敢于提前锁定答案，不再做无用功。

这就让 AI 在保持聪明的同时，说话变得又快又稳。

1. 研究背景与问题 (Problem)

背景：
扩散大语言模型（dLLMs）通过迭代去噪（iterative denoising）和双向注意力机制生成文本，相比自回归模型（ARMs）在推理质量和上下文依赖上具有优势。然而，dLLMs 的推理效率是主要瓶颈，因为它们通常需要多次去噪步骤来预测所有被掩码（masked）的 token，且由于双向注意力的存在，难以像 ARMs 那样使用无损的 KV Cache。

现有方法的局限性：
目前的并行解码策略（Parallel Decoding）通常采用“阈值判定”机制：在每个去噪步中，模型预测所有被掩码的 token，仅解码置信度高于阈值 $\tau$ 的 token，其余 token 则被重新掩码（remasked）并在后续步骤中 refinement。
作者通过深入分析 dLLM 的去噪轨迹（denoising traces），发现了两个关键的低效问题：

计算冗余（Computational Redundancy）： 许多 token 在早期步骤中已经被模型“正确预测”（即模型输出了正确的 token ID），但由于置信度尚未达到阈值，它们被反复重新掩码和预测。这导致了“预测早”但“解码晚”的时间差，造成了大量的冗余迭代。
历史无关的解码（History-agnostic Decoding）： 现有的解码决策仅基于当前步的瞬时置信度，忽略了历史步骤中的预测轨迹。这导致不稳定的置信度波动可能延迟正确 token 的解码，甚至传播错误，降低了收敛的鲁棒性。

2. 核心方法论 (Methodology)

为了解决上述问题，作者提出了 CreditDecoding，一种无需训练（training-free）的并行解码策略。其核心思想是利用“痕迹信用”（Trace Credit）来量化 token 的解码潜力。

2.1 核心洞察：时间一致性 (Temporal Consistency)

研究发现，最终被解码为目标 token 的候选项，其置信度在去噪过程中通常呈现一致上升的趋势，并迅速接近 1。这种时间上的稳定性表明，历史预测轨迹可以作为当前预测的有效先验。

2.2 痕迹信用 (Trace Credit) 的定义与更新

CreditDecoding 为每个位置的每个 token 维护一个信用值 $C_{i,v}^t$ ，用于累积历史证据：

更新机制： 采用指数移动平均（EMA）风格的更新规则。
- 全局衰减 (Global Decay)： 所有 token 的信用值随步数衰减（系数 $\beta$ ），以遗忘过时的证据。
- 聚焦增强 (Focused Enhancement)： 仅对当前步置信度最高的预测 token（Top-1）增加信用值（基于其概率 $p$ 的 $\gamma$ 次方）。
- 公式： $C_{i,v}^t = \beta C_{i,v}^{t+1} + (p_{i,v}^t)^\gamma$ （若 $v$ 是当前预测 token），否则仅衰减。
作用： 这种机制使得那些在去噪轨迹中持续保持高置信度的 token 积累大量信用，而瞬态的噪声预测则被衰减过滤。

2.3 信用融合 (Credit Fusion)

将累积的信用值融合到当前的 Logits 中，以增强正确但置信度不足的 token：
$\hat{l}_{i,v}^t = l_{i,v}^t + \alpha \cdot \log(C_{i,v}^t + 1)$
其中 $\alpha$ 控制融合的强度。

效果： 这相当于在概率域对目标 token 施加了一个乘法增益，使其更容易跨越解码阈值 $\tau$ ，从而提前解码，减少重新掩码的次数。

2.4 免调参自适应调度 (Tuning-Free Schedule)

为了降低部署难度，作者提出了一种自适应策略，将超参数 $\alpha$ 和 $\beta$ 与去噪进度（掩码率 $\eta_t$ ）绑定：

在去噪早期（ $\eta_t$ 高），降低信用权重，防止不稳定置信度引入噪声。
随着去噪进行（ $\eta_t$ 降低），自动增加信用权重，利用已稳定的轨迹加速收敛。

3. 主要贡献 (Key Contributions)

问题诊断： 首次系统性地分析了基于阈值的并行解码中的计算冗余和历史无关性问题，并揭示了置信度轨迹的时间一致性作为加速先验的有效性。
CreditDecoding 方法： 提出了一种无需训练、即插即用的解码策略。通过累积历史痕迹信用来增强当前预测，显著减少了冗余迭代。
性能与效率的双重提升： 在多个基准测试和不同架构（Dense, MoE）的 dLLM 上，该方法不仅加速了推理，还提升了生成质量。
正交性与扩展性： 证明了 CreditDecoding 与主流优化技术（如 KV Cache、Kernel Fusion、Early Stop）正交，可组合使用；且在长文本（Long Context）场景下表现稳健。

4. 实验结果 (Results)

作者在 LLaDA-8B-Instruct 和 LLaDA-MoE-Instruct 等模型上，覆盖了 8 个基准数据集（包括 MMLU, GSM8K, HumanEval, SQuAD2.0 等）进行了评估：

加速比： 在 LLaDA-8B-Instruct 上，CreditDecoding 实现了高达 5.48 倍 的加速（TPF, Tokens Per Forward），相比 Fast-dLLM 提升了 27%。
精度提升： 在加速的同时，平均准确率提升了 +0.48 分。
通用性：
- 在不同参数量（8B 到 100B）和不同架构（Dense, MoE, Block Diffusion）上均有效。
- 在长文本生成（长度达 4096）场景下，相比基线保持了更稳定的性能下降曲线，并维持了约 7 倍的 TPF 加速。
正交性验证： 与 KV Cache、PyTorch Compiler、FP8 量化等技术结合时，CreditDecoding 能进一步缓解加速带来的精度损失，并带来额外的速度提升（例如结合 Early Stop 时，速度提升 6.98 倍，精度提升 0.81）。

5. 意义与价值 (Significance)

突破 dLLM 推理瓶颈： 针对扩散语言模型推理慢的核心痛点，提供了一种低成本（无需重新训练）、高效率的解决方案。
理论启示： 揭示了 dLLM 去噪过程中的“时间一致性”特征，为未来的解码策略设计提供了新的视角（利用历史轨迹作为先验）。
实用性强： 作为一种后处理模块，CreditDecoding 可以无缝集成到现有的 dLLM 推理框架中，与系统级优化（如编译器加速）和算法级优化（如 KV Cache）兼容，具有极高的落地应用价值。
逼近理论极限： 实验表明，CreditDecoding 能够将实际解码边界推向理论上的“理想解码边界”（即 token 首次被正确预测的时刻），最大限度地挖掘了并行解码的潜力。

总结： CreditDecoding 通过引入“痕迹信用”机制，巧妙地利用了 dLLM 去噪过程中的历史冗余信息，成功解决了传统并行解码中“正确预测但延迟解码”的痛点，在显著提升推理速度的同时，甚至改善了生成质量，是扩散大语言模型推理加速领域的一项重要进展。