💬 NLP

Causal Autoregressive Diffusion Language Model

本文介绍了 CARD，这是一个通过在因果注意力掩码下重新构建扩散过程，从而将自回归模型的训练效率与扩散模型的高吞吐量推理相结合的新型框架，旨在实现 ARM 级的数据效率，并实现显著降低训练延迟的动态并行解码。

原作者： Junhao Ruan, Bei Li, Yongjing Yin, Pengcheng Huang, Xin Chen, Jingang Wang, Xunliang Cai, Tong Xiao, JingBo Zhu

发布于 2026-01-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Junhao Ruan, Bei Li, Yongjing Yin, Pengcheng Huang, Xin Chen, Jingang Wang, Xunliang Cai, Tong Xiao, JingBo Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在试图教一个机器人写故事。教它有两种主要方法，且两者都存在重大缺陷。

旧方法（自回归模型）：
这就像一个学生在参加考试，必须一个词一个词地从左到右严格书写。在写完当前的词之前，他们无法写下一个词。

优点： 它们学习效率极高，且极少出错。
缺点： 速度非常慢。如果故事很长，机器人必须等待每一个词都写完后才能继续。这就像是一条单车道公路，交通流量永远只能一次通过一辆车。

新方法（扩散模型）：
这就像一位雕塑家面对一块被浓雾覆盖的石块。机器人尝试一次性猜出整个故事，然后慢慢拨开迷雾，显露出文字。

优点： 它可以同时猜测许多词（并行处理），理论上这会更快。
缺点： 为了做到这一点，它通常需要同时观察整个故事（就像观察整块石块）。这使得它很难使用能加速过程的内存快捷方式（称为“KV 缓存”），而且训练过程往往不稳定，就像在风暴中试图维持一座纸牌屋的平衡。

解决方案：CARD（因果自回归扩散模型）
论文的作者构建了一个名为 CARD 的新系统。你可以把 CARD 理解为一个聪明且适应性强的建筑施工队，它兼具了两者的优点。

以下是 CARD 的工作原理，使用简单的类比说明：

1. “严格因果”规则（单行道）

大多数扩散模型通过观察整个句子来猜测缺失的部分。然而，CARD 被强制要求只能看向缺失部分之前的词，就像那个缓慢的旧方法一样。

为什么这很重要： 因为它只向后看，所以它可以利用那些让“旧方法”变快的内存快捷方式（KV 缓存）。它将“石块”式的方法转变成了“单行道”式的方法，但同时具备了同时猜测多个词的能力。

2. “软尾部”策略（安全区）

如果你试图通过隐藏句子中的随机部分来教机器人猜词，它会感到困惑。如果你隐藏了句子的开头，机器人就没有上下文可以参考了——它完全是在黑暗中盲猜。

CARD 的解决方法： CARD 不会隐藏随机的词，而是隐藏句子末尾的词（即“尾部”）。
类比： 想象你在教某人完成一个句子。你清晰地给出前半部分（“那只猫坐在……”）并隐藏结尾。这样他们就有充足的上下文来猜测剩余部分。但如果你隐藏了开头（“……在垫子上”），他们根本不知道这个句子在说什么。CARD 确保机器人始终有一个清晰的历史记录作为“安全区”来构建内容。

3. “智能权重”系统（公正的老师）

在旧的扩散方法中，机器人会对每一个错误受到同等的惩罚，即使这个错误是无法避免的（比如在没有任何上下文的情况下尝试猜词）。这会让机器人感到困惑，并导致学习过程不稳定。

CARD 的解决方法： CARD 扮演着一位聪明的老师。如果句子的某个部分太混乱或太难以理解（周围隐藏了太多词），老师会说：“现在先别管这一部分，它现在太难了。” 它会降低这些令人困惑的部分的重要性，并将机器人的精力集中在它能够学习的部分。这保持了训练的稳定性和高效性。

4. “信心”加速机制

当机器人实际在编写故事（推理）时，CARD 不仅仅是一个词一个词地猜测。它会一次性猜测一个**块（block）**的词。

类比： 想象一名跑步者正在冲刺。如果他们确信自己知道路径，他们就会向前冲刺，填满一段完整的赛道。如果他们不确定，他们就会放慢速度并检查脚下的路。
CARD 会动态地进行这种操作。如果它很有信心，它会并行生成许多词。如果它卡住了，它会退回到逐一编写模式。这使得它比传统的“缓慢方法”快 1.7 到 4 倍，且不会损失太多质量。

他们发现了什么？

作者在一个拥有 10 亿参数（一个非常大的大脑）并在 3000 亿个词上进行训练的模型上进行了测试。

速度： CARD 的训练速度比其他“块”扩散方法快 3 倍，并且匹配了标准“缓慢”方法的速度。
质量： 它的写作水平与标准的“缓慢方法”一样出色，并显著超越了其他扩散模型。
数据效率： 当数据稀缺时，CARD 会随着练习的增加而不断进步，而标准方法则会过早停止提升。

总结：
CARD 是一种新的 AI 训练方式，它结合了逐词书写的稳定性与同时猜测多个词的速度。它通过强制 AI 只向后看（因果）、隐藏句子中“困难部分”（软尾部）、以及在训练期间忽略“不可能的部分”（智能权重）来实现这一点。其结果是一个快速、稳定且能写出高质量文本的系统。

技术摘要：因果自回归扩散语言模型 (CARD)

问题陈述

当前的语言大模型（LLMs）由因果自回归模型（ARMs）主导，这类模型提供了稳定的训练和可预测的扩展性，但其顺序解码的瓶颈限制了推理吞吐量。相反，文本扩散模型在并行推理和迭代优化方面具有理论优势，但也面临显著挑战：

推理效率低下： 标准离散扩散模型（如 MDLM）使用双向注意力机制，这阻碍了键值（KV）缓存的使用，导致其推理速度慢于 ARMs。
训练开销： 诸如块扩散（如 BD3LM）之类的混合方法试图通过将序列分割为固定块来引入因果性。然而，这引入了复杂的注意力掩码和输入重复，使训练延迟增加了高达 3 倍，内存消耗增加了 2 倍。
优化不稳定性： 在严格的因果框架内应用扩散会导致“信息崩溃”。在因果掩码中，早期 Token 缺乏历史上下文；如果这些 Token 被掩码，模型将被迫从纯噪声中进行预测，从而导致高方差梯度和不稳定的优化。

方法论：CARD 框架

作者提出了因果自回归扩散（CARD），这是一个统一了 ARMs 的训练效率与扩散模型并行推理能力的框架，通过严格的因果公式实现。

1. 移位因果注意力 (Shifted Causal Attention)

CARD 在严格的因果注意力掩码内重新构建了扩散过程。CARD 不是从干净的历史记录中预测下一个 Token（如 ARMs），也不是从整个序列的双向上下文中预测（如 MDLM），而是根据从连续时间扩散过程中采样的受损前缀 $x_{<n}^t$ 来预测原始 Token $x_n$ 。

机制： 这使得模型能够在单次前向传播中保持标准 ARMs 的 $O(L)$ 效率，同时在整个序列上生成密集的逐 Token 监督。
推理： 因果结构实现了 KV 缓存。模型可以在前缀后附加可变数量的 [MASK] Token，并通过迭代去噪并行解码它们，从而支持基于置信度的动态并行解码。

2. 软尾部掩码 (Soft Tail Masking)

为了解决因果模型中由于缺乏上下文而导致的“信息崩溃”问题，CARD 采用了软尾部掩码策略。

问题： 在因果模型中，均匀随机掩码会破坏序列起始部分，导致模型没有足够的历史记录来预测后续 Token。
解决方案： 噪声集中在一个动态尾部窗口 $[max(0, L-\lambda t \cdot L), L]$ 中。这确保了模型拥有一个干净、有效的历史前缀作为预测锚点，同时在尾部创建一个混合状态转换区。这保留了局部依赖关系（不同于严格的尾部掩码），同时保证了充足的全局历史。

3. 上下文感知重加权 (Context-Aware Reweighting)

标准的全局权重方案（如 $1/t$ ）对于因果模型是不充分的，因为有效噪声水平在局部是变化的。CARD 引入了一种基于信噪比原则的上下文感知重加权机制。

机制： 每个 Token 的损失权重会根据局部歧义得分 $S_{local}$ $S_{l oc a l}$ 进行自适应调整，该得分聚合了三个维度：
- 数量 (Quantity)： 历史记录中被掩码 Token 的总数。
- 距离 (Distance)： 噪声与目标 Token 的接近程度（立即上下文的权重更高）。
- 密度 (Density)： 连续的损坏（掩码跨度）。
效果： 它降低了高歧义、重度损坏上下文中的预测权重，减少了梯度方差，并在不严重依赖指数移动平均（EMA）的情况下稳定了优化。

4. 基于置信度的块推理 (Confidence-Based Block Inference)

在生成阶段，CARD 使用基于置信度的块采样策略。它初始化一个掩码 Token 块并执行迭代并行去噪。只有当预测概率超过阈值 $\tau$ 时，Token 才会更新。如果一个块在步数限制内未完全去噪，则立即解码剩余的掩码。这实现了对吞吐量与质量之间关系的动态控制。

关键结果

作者在 1B 参数模型上使用 300B Token 进行了评估，并与 ARMs、MDLM 和 BD3LM 进行了基准测试。

性能： CARD 实现了平均 53.2% 的零样本准确率，超过现有的扩散基准模型（MDLM 和 BD3LM）超过 5.7 个百分点，并达到了与 ARMs 相当的生成质量。它在 8 个评估领域中的 6 个领域中取得了最低的困惑度（Perplexity）。
训练效率： 与块扩散（BD3LM）相比，CARD 将训练延迟降低了 3 倍，并匹配了标准 ARMs 的吞吐量，消除了块向量化的开销。
推理速度： 通过基于置信度的解码，CARD 在质量损失微乎其微的情况下，实现了比 ARMs 快 1.7 到 4.0 倍 的实际运行时间加速。
数据效率： 扩展性分析表明，在数据受限的环境下，CARD 具有比 ARMs 更高的数据效率。不同于 ARMs 容易过早饱和，CARD 在经过多次训练轮次后仍能持续提升性能，在 FineWeb-Edu 的一个子集上经过约 11 个 epoch 后超越了 ARMs。

意义与主张

论文声称 CARD 通过调和两个此前相互冲突的目标，为下一代高效 LLM 建立了一个稳健的范式：

弥合差距： 它成功弥合了 ARMs 的训练稳定性与扩散模型的并行推理优势之间的差距。
克服架构约束： 通过使用带有软尾部掩码的严格因果公式，CARD 避免了块状架构的计算开销和双向扩散的推理延迟。
数据潜力： 该框架为高质量数据稀缺的场景提供了一种更优的扩展方案，因为它避免了自回归模型典型的早期饱和现象，并能在多次训练 epoch 中从固定的数据分布中提取更多信号。

作者总结道，CARD 证明了在因果扩散设置下的密集逐 Token 监督可以产生与 ARM 竞争力的性能，同时解锁并行生成的延迟优势。