技术摘要：协同进化连续离散扩散（CCDD）

1. 问题陈述

大型语言模型（LLM）的最新进展凸显了标准自回归（AR）架构的局限性，特别是在处理复杂推理任务（如数独、图连通性和形式语言识别）方面。理论分析表明，即使采用对数级思维链（CoT）步骤，标准 Transformer 也被限制在 $TC^0$ 复杂度类内，而循环 Transformer（LT）和连续推理方法在理论上可以达到 $TC^1$ 或更高。

然而，理论表达能力与实证性能之间存在显著差距：

• 循环 Transformer（LT）： 虽然理论上具有更强的表达能力，但由于缺乏中间监督，其可训练性较差，导致在推理阶段当循环深度与训练时不同时，会出现分布外（OOD）问题。
• 连续扩散模型（CDMs）： 这些模型通过在连续潜在空间中运行并泛化循环 Transformer，在表达能力上理论上优于离散对应模型。然而，它们在实证表现上却不如离散扩散模型（DDMs）和自回归模型。作者将此归因于实际可训练性挑战：巨大的决策空间、低质量的嵌入，以及将连续表示解码回离散 token 时的组合复杂性。
• 离散扩散模型（DDMs）： 虽然高度可训练且有效，但它们操作于显式 token 空间，可能在每一步的"logits $\to$ 采样 $\to$ 嵌入”量化过程中丢失信息。

核心问题在于表达能力与可训练性的两难困境：具有高理论表达能力（CDMs、LTs）的模型难以训练，而高度可训练的模型（DDMs、AR）可能缺乏处理复杂任务所需的潜在推理能力。

2. 方法论：协同进化连续离散扩散（CCDD）

本文提出了协同进化连续离散扩散（CCDD），这是一种将连续和离散扩散过程统一在单一框架内的新型语言建模范式。

2.1 联合扩散过程

CCDD 在离散 token 空间（$X = \Omega^L$）和连续表示空间（$Z = \mathbb{R}^{L \times d}$）的并集上定义了一个联合扩散过程。

• 前向过程： 破坏过程被分解，但同时应用于两种模态。

  • 离散组件： 通过连续时间马尔可夫链（CTMC）演化，通常使用掩码噪声（吸收态）或均匀噪声。
  • 连续组件： 在上下文嵌入空间（例如，源自预训练模型如 Qwen3-Embedding）中通过随机微分方程（SDE）或概率流常微分方程（PF-ODE）演化。
  • 联合前向核是各个核的乘积：$q_t(x_t, z_t | x_0, z_0) = q_t^{disc}(x_t | x_0) q_t^{cont}(z_t | z_0)$。

• 反向过程： 单个时间条件网络 $f_\theta(\cdot, t)$ 接收噪声对 $(x_t, z_t)$ 作为输入，并输出模态特定的头。

  • 反向更新被分解：$p_\theta(x_s, z_s | x_t, z_t) = p_\theta^{disc}(x_s | x_t, z_t) p_\theta^{cont}(z_s | x_t, z_t)$。
  • 关键在于，虽然更新规则被分解，但每种模态的估计都依赖于两种状态。离散解码器看到连续潜在变量 $z_t$，而连续解码器看到离散 token $x_t$。这使得连续组件能够为离散组件提供丰富的语义指导（隐式推理），同时离散组件为连续组件提供显式结构。

2.2 训练目标

训练损失是连续损失和离散损失的加权和：
$$\mathcal{L}_{CCDD} = \gamma_{cont} \cdot \mathcal{L}_{cont} + \gamma_{disc} \cdot \mathcal{L}_{disc}$$

• $\mathcal{L}_{cont}$：用于预测噪声或原始连续表示（例如，$\epsilon$-预测）的标准均方误差（MSE）损失。
• $\mathcal{L}_{disc}$：用于预测原始离散 token 的交叉熵损失（通常在掩码位置上）。

2.3 架构设计

本文基于扩散 Transformer（DiT）为联合去噪网络引入了几种架构：

1. MDiT（多模态 DiT）： 在 Transformer 块之前混合连续和离散嵌入。与仅离散的基线相比，它增加的参数和浮点运算量（FLOPs）可忽略不计。
2. MMDiT： 使用交错的交叉注意力和自注意力块进行多模态交互，使参数和 FLOPs 翻倍。
3. MoEDiT（专家混合 DiT）： 在共享注意力机制内为离散和连续 token 保持独立的 MLP，利用 MoE 路由根据 token 的状态动态处理它们。这在参数效率和表达能力之间取得了平衡。

2.4 推理技术

• 无分类器引导（CFG）： 连续表示充当离散 token 生成的自生成引导。模型以概率 $p_{drop}$ 将连续嵌入置零（无条件）进行训练，从而允许在采样期间进行 CFG 缩放以提高质量。
• 灵活采样： CCDD 支持用于高效性的少步确定性采样（通过 ODE）和用于高质量生成的多步随机采样（通过 SDE）。

3. 主要贡献

3.1 理论分析

• 表达能力层级： 作者证明，在轨迹级表达能力方面，连续扩散模型（CDMs）严格优于离散扩散模型（DDMs）。CDMs 产生绝对连续的边缘分布，而 DDMs 仅限于有限原子支撑，导致在每个离散采样步骤中信息丢失。
• 循环 Transformer 的泛化： 本文证明，连续扩散采样器可以模拟任何具有相同架构和参数数量的循环 Transformer rollout。反之，确定性循环 Transformer 无法模拟连续扩散产生的非退化随机路径。
• 可训练性分析： 本文将 CDMs 的实证失败归因于 LTs 中缺乏中间监督，以及 CDMs 中的解码复杂性/表示缺陷。CCDD 被提出作为解决方案，它既保留了 CDMs 的表达能力，又通过显式 token 监督获得了 DDMs 的可训练性。

3.2 实证结果

• 语言建模： 在LM1B和**OpenWebText (OWT)**数据集上，CCDD 显著优于离散基线（MDLM, SEDD）和自回归模型。
  • 在 LM1B 上，与具有相同参数量（92.1M）的离散基线相比，CCDD-MDiT 将验证困惑度降低了**>25%**。
  • 在 OWT 上，与离散基线相比，CCDD 将困惑度降低了**>35%**。
  • CCDD 以25 倍更快的训练收敛速度（4 万次迭代对比基线的 100 万次）取得了这些结果。
• 少步生成： CCDD 表现出卓越的少步生成能力。一个仅需8 次去噪步的模型，其表现优于使用256 步的离散基线（MDLM），在质量无损的情况下实现了 16 倍的生成速度加速。
• 复杂推理： 在需要强规划和回溯的任务（数独、3-SAT、倒计时）上，CCDD 超越了所有先前的方法，包括自回归模型、掩码离散扩散和循环 Transformer。例如，CCDD 仅用 2 步就在数独任务上达到了 100% 的准确率，与最佳循环 Transformer 的结果相当。

4. 意义与主张

本文声称，CCDD 成功弥合了语言建模中理论表达能力与实际可训练性之间的差距。通过定义联合扩散过程，CCDD 利用了连续潜在空间的强大表达能力（实现隐式推理、规划和全局上下文保留），同时利用离散 token 来确保可训练性和解码稳定性。

作者强调，CCDD 不仅仅是一种混合体，而是一种原则性的统一，它：

1. 泛化了现有范式（CDM、DDM、LT）到一个单一框架中。
2. 保留了在连续空间中进行“潜在推理”的能力，这对于数独和 3-SAT 等复杂任务至关重要。
3. 提高了效率，通过允许灵活的推理时缩放（少步 ODE 对比多步 SDE），并实现了比循环 Transformer 更快的训练收敛。
4. 证明了模态的结合可以产生超越各部分之和的性能提升，特别是在下游基准测试和复杂推理场景中。

这项工作表明，未来的语言建模范式应超越纯粹的离散 token 空间，利用连续潜在表示进行推理，前提是保持显式的离散监督以确保有效的训练。