💬 NLP

Dynamic Chunking for Diffusion Language Models

本文介绍了动态分块扩散模型（DCDM），该模型通过可微分的分块注意力机制，用可学习的、由内容定义的语义分块取代了僵化的位置块，从而提升了离散扩散语言模型的效率与性能。

原作者： Yichen Zhu, Xiaoming Shi, Peng Zhao, Weiyu Chen, Debing Zhang, James Kwok

发布于 2026-05-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Yichen Zhu, Xiaoming Shi, Peng Zhao, Weiyu Chen, Debing Zhang, James Kwok

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人如何写故事，方法是让它逐个猜测缺失的单词。这就是“扩散语言模型”的工作原理：它们从一个充满胡言乱语的句子开始，然后逐步清理，直到句子变得通顺。

当前实现这一目标的最佳方法（称为块扩散）的问题在于，它就像将电影切割成固定长度的胶片条，而不管场景中正在发生什么。

旧方法（固定块）：想象你有一段 10 秒的汽车追逐片段。机器人每 2 秒切割一次胶片。
- 问题：它可能会在关键爆炸发生的正中间切断，将“轰隆”声与“火焰”分离。或者，它可能仅仅因为一段安静的对话和一次巨大的撞击恰好落在同一个 2 秒窗口内，就将它们归为一组。机器人必须分别猜测爆炸和对话，尽管它们紧密相连。这种方法僵化，且忽略了故事的实际流动。

本文的作者提出了一种名为DCDM（动态分块扩散模型）的新方法。他们不是按时间切割胶片，而是按意义切割。

核心理念：“智能剪刀”

将 DCDM 想象为一把“智能剪刀”，它能审视故事，并根据情节而非计时器来决定在哪里切割。

如果故事是关于汽车追逐的，机器人会将所有“汽车”、“速度”和“撞击”相关的词归为一类，即使它们在句子中相距甚远。
如果故事切换到安静的对话，它会将这些词归为一组。
这些组（称为分块）可以大小不一，且不必在原始文本中彼此相邻。

工作原理：“俱乐部”类比

在机器人的大脑内部，有一个名为分块注意力的特殊层。将其想象为一个拥有 $K$ 个不同 VIP 房间（簇）的俱乐部保镖。

保镖的规则：保镖不是根据谁先到达（位置）让人进入，而是根据他们的穿着（意义）来判断。
子空间技巧：文中提到了一个技术细节，称为“子空间聚类”。简单来说，与其让每个房间只有一个固定的“面孔”（这太僵化且容易失效），不如让每个房间由一种风格或氛围（低维子空间）来定义。
- 类比：“摇滚”房间不仅仅是为特定长相的人准备的，而是为任何符合“摇滚氛围”的人准备的。这使得系统更加灵活和稳定，防止机器人感到困惑并将所有人都塞进同一个房间。
结果：机器人创建一个“因果掩码”。它表示：“好的，我会同时修正‘汽车追逐’房间里的所有单词，但我还不能查看‘晚餐对话’房间，因为那发生在故事的后面。”

为什么这更好？

本文将这种方法与旧的“固定块”方法和“无块”方法进行了测试对比。

更好的理解力：因为机器人将相关概念归为一组，所以它学习得更快，犯错更少。这就像备考时按相关概念分组学习（例如，罗马的所有历史），而不是按顺序学习第 1 页、第 2 页、第 3 页，哪怕第 2 页讲的是完全不同的内容。
更快的训练：机器人在更少的训练步骤中就能达到高水平的技能。
持续的优势：无论机器人是小型（05 亿参数）还是大型（15 亿参数），这种“智能切割”方法在数学、编程和一般推理等任务上始终优于旧方法。

局限性（注意事项）

论文指出了一个局限性：“VIP 房间”（分块）的数量在机器人开始学习之前是固定的。

类比：这就像有一个恰好有 16 张课桌的教室。如果有 5 名学生，就有 11 张课桌空着；如果有 20 名学生，就有 4 人必须站着。如果故事变得超级长或复杂，机器人不会自动增加课桌；它坚持使用给定的数量。不过，作者发现选择一个合理的数量（如 16 或 32）几乎适用于所有情况。

总结

本文提出了一种方法，通过让 AI 文本生成器按意义分组单词，而不是仅仅按它们在句子中的位置分组，从而使其变得更智能。这就像是将图书馆按书籍到达卡车的顺序整理，与按流派和主题整理之间的区别。其结果是一个能更好地理解上下文、学习更快、写出更连贯文本的模型。

技术摘要：扩散语言模型的动态分块

1. 问题陈述

扩散大型语言模型（dLLMs）已成为文本生成的竞争范式，具备并行解码多个 token 的能力。可扩展 dLLMs 的主流设计是块扩散（Block Diffusion），它将序列在固定大小的连续位置块上进行自回归分解。在每个块内，token 以双向并行方式进行去噪，而块之间的依赖关系则通过自回归方式维持。

作者认为，这种僵化的位置划分是对语言的一种限制性抽象。语义依赖往往不与局部连续性对齐；例如，一个实体可能支配远距离的提及，或者一个代码 token 可能受语法上相隔数行的约束。固定的位置块可能会将语义连贯的 token 分离开（使其跨越块边界），同时将无关的相邻 token 归为一组。这种不匹配迫使模型在无法反映序列语义结构的粒度上应用块自回归分解，从而可能浪费数据中已有的结构信息。

2. 方法论：动态分块扩散模型（DCDM）

为解决这种不匹配，本文提出了动态分块扩散模型（DCDM）。DCDM 用内容定义的语义块取代了固定的位置块，这些语义块是端到端学习的。

核心组件：分块注意力（Chunking Attention）

核心创新是一个称为分块注意力的可微路由层，它根据 token 的语义表示而非位置将其聚类为 $K$ 组。

子空间聚类：DCDM 不使用基于到单个点质心距离的 token 分配（这在高位空间中不稳定），而是将每个块表示为可学习的低维子空间。每个簇 $k$ 由基矩阵 $\mu_k \in \mathbb{R}^{d \times h}$ 参数化。
路由机制：Token 根据其与相应子空间的对齐（投影）被路由到某个簇。token $x_\ell$ 与簇 $k$ 之间的亲和力通过双线性门计算： $p_{k,\ell} = \mu_k^\top x_\ell$ 。
软路由与硬路由：
- 软路径：该模块计算成对亲和力矩阵，并通过 softmax 聚合它们以产生可微输出。此路径允许子空间参数 $\{\mu_k\}$ 从扩散目标接收梯度。
- 硬路径：对于实际的去噪过程，推导出硬簇分配 $c_\ell$ （通过对齐分数的 $\arg\max$ ）。这诱导了一个块因果注意力掩码，其中同一块内的 token 可以双向相互关注，但后续块中的 token 无法关注较早的块（或反之，取决于因果定义，具体为 $c_m \leq c_\ell$ ）。

训练与架构

分解：序列似然在这些动态块上进行自回归分解： $p_\theta(x) = \prod_{k=1}^K p_\theta(x^{(k)} | x^{(<k)})$ ，其中 $x^{(k)}$ 表示第 $k$ 个语义块中的 token。
双流设计：为防止训练期间的信息泄露（即输入中的干净部分可能向噪声部分揭示真实值），DCDM 采用噪声掩码。该掩码确保噪声流中被掩码 token 对应的位置无法关注干净流中其他被掩码位置的真实值。
负载均衡：为防止“质心坍塌”（即少数簇主导而其他簇接收不到梯度信号），作者实现了两种机制：
1. 序列级辅助损失：使用直通 Gumbel-Softmax 估计器，鼓励单个序列内各簇之间的 token 分布均匀。
2. 全局批次偏差校正：一个不可训练的参数项根据批次中每个簇的运行 token 计数调整路由分数，从而在训练步骤中稳定负载。

3. 主要贡献

本文概述了三项主要贡献：

分块注意力：一种基于子空间的可微路由机制，它诱导语义块因果掩码，用内容自适应的划分取代了僵化的位置划分。
DCDM 架构：一种严格泛化块扩散语言模型（BDLMs）的扩散语言模型。它在扩散目标下联合训练分块机制和去噪器。
实证验证：大量证据表明，在 0.5B 和 1.5B 参数规模下，语义分块在通用推理、数学和代码生成任务上均优于非结构化扩散（MDLM）和位置块扩散（BDLM）。

4. 实验结果

作者在标准基准测试（ARC-C, MMLU, HellaSwag, TruthfulQA, WinoGrande, PIQA, MATH, GSM8K, HumanEval）上评估了 DCDM 与基线模型（MDLM, BDLM 以及推理时自适应的 AdaBlock）的性能。

性能提升：DCDM 在几乎所有基准测试中均一致优于非结构化 MDLM 基线。更重要的是，它在几乎所有任务上都超越了位置块 BDLM 基线，这表明改进源于块的内容自适应特性，而不仅仅是块结构本身。
- 在 HellaSwag、GSM8K 和 PIQA 上观察到了显著的提升。
- 唯一的例外是 WinoGrande，在该任务上 BDLM 略优于 DCDM。
扩展性与效率：
- DCDM 相对于基线的优势在不同规模（0.5B 到 1.5B）下保持稳定。
- 训练动态显示，DCDM 比 BDLM 收敛更快，显著更早地达到后者的最终准确率。作者将此归因于梯度信号集中在块内连贯的依赖关系上，而不是被稀释到无关的位置上。
消融研究：
- 簇数量（ $K$ ）：对簇数量的消融实验显示了非单调趋势，在 0.5B 规模下 $K=16$ 表现最佳。簇过少接近非结构化扩散，而过多则导致过度碎片化。
- 子空间与点聚类：实验证实，基于点的聚类（ $h=1$ ）不稳定并导致质心坍塌，而子空间聚类（ $h=48$ ）保持了平衡的路由和更低的损失。
MoE 扩展：稀疏 DCDM 变体（MoE）显示出相对于稠密版本的一致改进，表明语义块结构与条件计算具有良好的组合性。

5. 意义与主张

本文声称，DCDM 代表了块离散扩散的严格泛化。通过用学习的语义块取代固定的位置块，模型将并行去噪的单位调整为序列的内容。

作者强调，这种方法为无块结构的并行去噪（MDLM）和僵化的块结构（BDLM）提供了明确的归纳优势。结果表明，块扩散从内容自适应的粒度中获益良多。该方法在无需显著参数开销（仅增加 $Kdh + 2d^2$ 个参数）的情况下实现了这些提升，并保持了块扩散的计算结构（KV 缓存、并行采样）。

本文结论指出，虽然 DCDM 目前将簇数量 $K$ 视为固定超参数，但该框架成功证明了基于语义内容学习序列划分是扩散语言模型中位置划分的可行且更优的替代方案。