💬 NLP

DreamOn: Diffusion Language Models For Code Infilling Beyond Fixed-size Canvas

DreamOn 是一种新颖的扩散框架，它通过引入动态长度控制状态，克服了现有扩散语言模型的固定长度生成限制，实现了灵活的可变长度代码填空，并在无需改变架构的情况下达到了与最先进的自回归模型相媲美的性能。

原作者： Zirui Wu, Lin Zheng, Zhihui Xie, Jiacheng Ye, Jiahui Gao, Shansan Gong, Yansong Feng, Zhenguo Li, Wei Bi, Guorui Zhou, Lingpeng Kong

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zirui Wu, Lin Zheng, Zhihui Xie, Jiacheng Ye, Jiahui Gao, Shansan Gong, Yansong Feng, Zhenguo Li, Wei Bi, Guorui Zhou, Lingpeng Kong

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图在一篇故事或一段代码中填补空白。你拥有开头（前缀）和结尾（后缀），而你需要写出中间的内容。

长期以来，最聪明的计算机程序（被称为自回归模型 Autoregressive Models）通过像人打字一样，从左到右一次写一个词来完成这项工作。它们做得非常出色。

随后，一种新型的程序——扩散语言模型 (Diffusion Language Model, DLM) 出现了。把它们想象成雕塑家。它们不像那样逐词书写，而是从一块中间部分被完全遮盖（掩码）的“粘土块”开始。它们通过不断修整被遮盖的部分，精雕细细琢，直到完美的文字显现出来。这种方式非常出色，因为它们可以按任何顺序修正错误，而不局限于从左到右。

问题：“固定尺寸画布”陷阱
然而，这些雕塑家有一个重大缺陷。它们只能在完全符合你所告知的尺寸的粘土块上进行创作。

如果你给它一个小块（比如 4 个隐藏词），但答案需要 20 个词，它们就会空间不足，给出破碎且不完整的答案。
如果你给它一个巨大的块（比如 64 个隐藏词），但答案只需要 4 个词，它们就会感到困惑，并用乱码或重复的废话来填充多余的空间。

论文将此称为**“固定尺寸画布” (Fixed-Size Canvas)** 问题。模型被困住了，必须等待你猜中那个完全正确的孔洞大小后才能开始工作。如果你猜错了，结果就会很糟糕。

解决方案：DREAMON
作者介绍了 DREAMON，这是一种教导这些雕塑家如何在工作过程中改变其粘土块大小的新方法。

他们在模型的词汇表中增加了两个特殊的“魔法指令”：

[expand]（扩展）：“我需要更多空间！把这一个隐藏位置变成两个隐藏位置。”
[delete]（删除）：“我的空间太多了！把这个隐藏位置完全移除。”

它是如何运作的（类比）
想象模型正在一个画框内画一幅画。

旧方法： 你告诉模型，“在 10x10 的正方形内绘画。”如果画作需要 20x20，模型就被挤压了；如果画作只有 2x2，则会造成空间浪费。
DREAMON 方法： 你给模型一个画框，但允许它持有一个遥控器。当它在绘画时，如果它意识到画作变得太大，超出了画框，它就会按下 [expand]，画框就会神奇地变大。如果它意识到画作很小而画框很大，它就会按下 [delete]，画框就会缩小。

模型完全根据它认为答案应该呈现的样子来自行完成这一过程。它不需要你预先告知长度。

实验结果
研究人员在编程任务（填充计算机程序的缺失部分）上测试了该模型。

DREAMON 出现前： 如果“孔洞”的大小与答案不完全匹配，扩散模型的表现会非常糟糕。仅仅因为尺寸稍有偏差，它们的性能就会下降约 38%。
DREAMON 出现后： 这些模型变得与最优秀的“逐词书写型”（自回归模型）一样出色。它们可以处理任何大小的孔洞，通过增长或收缩答案，直到达到完美状态。
效率： 他们还加入了一个名为“删除广播 (Deletion Broadcasting)”的小技巧。如果模型决定删除一大块框架，它不会一次只删除一小块，而是瞬间删除整个区块，这使得过程快得多。

总结
DREAMON 将一种强大但僵化的工具（扩散模型）赋予了拉伸和收缩输出的灵活性。它消除了人类需要去猜测完美答案长度的需求，使得这些模型终于能够与我们现有的最强代码编写 AI 相媲美，同时还具备了可以按任何顺序修复错误的优势。

技术摘要：DREAMON – 超越固定尺寸画布的扩散语言模型代码填充技术

1. 问题陈述

扩散语言模型（DLMs）通过实现灵活的任意顺序生成，为自回归模型提供了一种极具前景的替代方案，这在理论上非常适合代码填充任务（即在前后缀之间生成内容）。然而，目前的 DLM 面临一个关键限制：它们需要一个预先指定的、固定长度的掩码序列进行生成。

这种约束造成了“固定尺寸画布”的瓶al瓶颈。在代码填充中，理想的补全长度在不同示例之间差异显著。当预定义的掩码长度与真实解长度不匹配时，性能会剧烈下降。论文指出，当掩码长度不匹配目标时，Dream-Coder-7B 在 HumanEval-Infilling 基准测试上的平均性能下降了 38%。具体表现为：

掩码过少： 模型缺乏足够的空间来生成有意义的代码，导致解决方案不完整。
掩码过多： 模型倾向于生成多余或错误的片段以填补过剩的空间。

现有的解决方案通常依赖于专门的提示词（prompting）或变通方法，但这会破坏自然的上下文结构，因为 DLM 一直缺乏一种能够动态调整输出长度的原生机制。

2. 方法论：DREAMON

作者提出了 DREAMON，这是一个能够在不修改架构的情况下，使离散扩散模型实现动态、可变长度生成的框架。其核心创新在于引入了两个集成到扩散过程中的长度控制状态。

2.1 核心机制：特殊状态

DREAMON 通过两个特殊的哨兵标记（sentinel tokens）来扩充词表：

[expand]：当被预测时，该标记会被确定性地扩展为两个 [mask] 标记，从而有效地增加序列长度并为生成提供更多空间。
[delete]：当被预测时，该标记会移除序列中对应的位置，从而有效地收缩长度。

2.2 训练流程

训练过程涉及数据增强和损失重加权：

增强序列构建 ( $z_0$ )：从原始输入序列 ( $x_0$ ) 出发，作者构建了一个增强序列 $z_0$ 。随机的标记跨度（token spans）被合并为 [expand] 标记，并插入 [delete] 标记。这模拟了在正向扩散过程中进行长度调整的需求。
正向过程：对 $z_0$ 应用标准的掩码扩散。至关重要的是，在正向加噪过程中，[expand] 和 [delete] 状态都会被映射为 [mask]，以确保它们能为学习信号做出贡献。
损失加权：存在显著的不平衡现象，即 [delete] 目标比 [expand] 目标更频繁（因为一个 [delete] 替换一个标记，而一个 [expand] 代表多个标记的合并）。为了防止模型过度拟合删除信号，引入了损失加权方案。[delete] 预测的损失贡献被下调，使得序列中所有 [delete] 预测的总权重等于单个标准 [mask] 预测的权重。

2.3 推理流程

在推理期间，模型执行标准的去噪，但带有动态长度控制：

自适应轨迹：模型预测所有被掩码的位置。如果预测为 [expand]，则该位置被替换为两个 [mask] 标记。如果预测为 [delete]，则移除该标记。
删除广播（Deletion Broadcasting）：为了提高效率（当初始掩码远大于目标时），作者引入了一种启发式方法：如果模型预测了一个 [delete]，则其右侧的所有后续标记（如果它们全都是 [mask]）将被立即消除。这把逐个标记的删除过程转变为一种长度预测行为，显著减少了推理步骤。
约束：强制执行最大输出长度 ( $L_{max}$ ) 以防止无限制增长。

3. 核心贡献

动态长度控制：DREAMON 是第一个通过仅使用两个特殊标记（[expand] 和 [delete]）且无需改变模型架构，即可实现掩码扩散模型中原生、可变长度生成的框架。
极低的训练开销：该方法仅需对训练目标进行极小的修改（辅助状态和损失加权），并且可以应用于现有的预训练 DLM（如 Dream-Coder-7B、DiffuCoder-7B），其增加的计算量微乎其微（仅为预训练成本的 0.15%）。
性能恢复：该方法使扩散模型能够达到与最先进的自回归模型相当的性能，有效地消除了固定长度的瓶颈。

4. 实验结果

作者在 HumanEval-Infilling（单行和多行）以及 SantaCoder-FIM（Python 子集）上评估了 DREAMON。

基准对比：由于固定长度的约束，标准的扩散模型（Dream-7B, DiffuCoder-7B, DreamCoder-7B）在性能上明显落后于自回归基准模型（如 Qwen2.5-Coder-7B, Deepseek-Coder-6.7B）。
DREAMON 性能：
- DREAMON 相比扩散基准模型实现了 26.4% 的平均绝对性能提升。
- 在 HumanEval-Infilling 上，经 DREAMON 增强的模型（例如 DiffuCoder-7B + DREAMON）达到了 92.2 Pass@1（单行）和 63.1 Pass@1（多行），超越或匹配了顶尖的自回归模型如 Qwen2.5-Coder-7B。
- DREAMON 变体实现了接近 Oracle 水平的性能（即初始掩码长度与真实长度匹配时的性能），证明了无论初始掩码大小如何，模型都能成功适应正确的长度。
消融实验：
- 移除 [expand] 或 [delete] 中的任何一个都会导致性能大幅下降，证实了这两种机制都是必要的。
- 损失平衡（Loss balancing） 至关重要；如果没有它，由于过度拟合删除操作，性能平均下降了约 7%。
- 删除广播（Deletion broadcasting） 将总推理步骤减少了约 50%（例如，在掩码长度为 64 时，从 122.8 步减少到 52.4 步），且没有牺牲质量。

5. 意义与主张

论文声称 DREAMON 移除了扩散语言模型实际部署的一个根本障碍。通过实现动态长度调整，DREAMON 显著提升了 DLM 在可变长度生成任务（特别是代码填充）中的灵活性和适用性。

作者将他们的工作定位为迈向使 DLM 在输出长度未知的现实场景中与自回归模型竞争的一步。他们指出，虽然目前的方案使用的是单一扩展因子（一比二），但未来的工作可以探索更丰富的扩展词表或显式的长度预测头，以进一步优化效率。该工作强调，这些收益是在不对底层 Transformer 进行架构更改的情况下实现的，从而保留了原始扩散框架的简洁性。