💬 NLP

When to Plan, When to Polish: Noise Level as a Granularity Axis for Diffusion Language Models

本文提出了噪声依赖粒度控制（NDGC），这是一种单层扩散语言模型方法，它根据噪声水平动态调整标记分组，从而在无需显式层级架构或独立规划器的情况下，实现早期的粗粒度结构规划及随后的细粒度精炼。

原作者： Peihong Li, Yuanjie Shi, Yan Yan

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Peihong Li, Yuanjie Shi, Yan Yan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“碎片化”困境

想象你正在尝试修复一个破碎的花瓶。

标准 AI（旧方法）： 想象 AI 被给予了一堆散落的碎屑。它必须通过一次看一个微小的碎屑来猜测花瓶原本的样子。在最开始阶段，当花瓶最破碎时（高“噪声”），碎屑之间的距离非常远，AI 根本看不出形状。它只能瞎猜：“也许这个碎屑是蓝色的？”以及“也许那个是红色的？”它只会去猜测局部细节，而无法理解全局。它试图通过粘贴随机的碎片来修复花瓶，结果往往导致一团糟，比如花瓶不断重复同一个图案，或者直接崩塌。
目标： 我们希望 AI 先确定花瓶的形状（规划），然后再确定颜色和纹理（润色）。

解决方案：NDGC（噪声依赖型粒度控制）

作者提出了一种名为 NDGC 的新方法。你可以把它想象成一个聪明的装修队，它会根据房屋损坏程度的不同来更换工具。

其核心思想很简单：利用“噪声水平”（文本破碎的程度）来决定 AI 应该观察多大的局部。

高噪声（“规划”阶段）：
- 情况： 文本被高度破坏；大部分内容都被隐藏了。
- 旧方法： AI 仍然一次只看一个词。它看到的是孤立且令人困惑的片段。
- NDGC 方法： AI 被训练为一次观察词组/词块（比如一整个句子或一个短语）。它不再看散落的碎屑，而是看到可读的窗口。
- 类比： AI 不再盯着一块砖头看，而是看一整面墙。这有助于它决定：“好吧，这面墙在左边，那面墙在右边。”它在早期构建出骨架或地图。
低噪声（“润色”阶段）：
- 情况： 文本基本完整；只有极少数词被隐藏了。
- NDGC 方法： 现在“骨架”已经搭建好了，AI 切换回观察单个词。
- 类比： 房子已经建好了；现在 AI 只是在粉刷墙壁、修理门把手以及布置家具。它在精炼措辞。

它如何运作（无需额外工具）

通常，要让 AI 在“写作”之前先进行“规划”，你需要构建一个复杂的系统，包含两个独立的部分：一部分负责写大纲，另一部分负责写故事。

NDGC 的聪明之处在于，它仅用一种工具就能实现这一点。 它没有增加一个新的“规划机器人”。相反，它教会了同一个机器人如何根据噪声水平改变自己的行为：

训练阶段： 当噪声较高时，AI 被教导去观察词组。
推理（生成）阶段： 当 AI 实际在写作时，它遵循同样的规则。如果噪声高，它就致力于完成整个词组（规划）；如果噪声低，它就致力于完成单个词（润色）。

结果：发生了什么？

研究人员在一项任务上测试了该方法，该任务要求 AI 编写一个遵循特定隐藏主题顺序的故事（例如：新闻编辑室 $\rightarrow$ 太空 $\rightarrow$ 学校 $\rightarrow$ 沙漠 $\rightarrow$ 博物馆）。

旧方法（标准 AI）： AI 卡住了。它会写一大堆关于“新闻编辑室”的内容，然后感到困惑，不断重复新闻编辑室的内容，却始终无法进入“太空”或“沙漠”的部分。这就像一个作家一直在喋喋不休地重复同一句话，而从未推进剧情。
NDGC 方法： AI 成功地在早期建立了“骨架”。它迅速确立了故事从新闻编辑室开始，然后转向太空、学校等。它没有陷入循环。最终的故事更有组织性，重复较少，并且确实遵循了隐藏的计划。

总结

这篇论文声称，噪声水平不仅仅是关于隐藏了多少文本，它还是一个信号，告诉 AI “应该如何思考”。

高噪声 = 大局观思维： 通过观察词组来构建结构。
低噪声 = 细节思维： 通过观察单个词来修正语法和风格。

通过将训练（AI 看到了什么）与测试（AI 决定做什么）相统一，AI 学会了先规划后润色，而无需一个独立的规划系统。它将一场混乱的“猜谜游戏”变成了一个有结构的“建筑工程”。

技术摘要：何时规划，何时润色

问题陈述

标准的离散扩散语言模型（LMs）在整个去噪轨迹中都采用固定的逐 Token 粒度（tokenwise granularity）。在这些模型中，无论是训练时的破坏（掩码）还是推理时的承诺（揭示 Token），都是在单个 Token 层面进行的，而与噪声水平无关。

作者认为，这种固定的粒度是执行需要规划（例如长篇故事创作、结构化写作）任务时的根本局限。

问题所在： 在高噪声水平下（去噪早期阶段），统一的逐 Token 掩码会导致模型面对的是零散、孤立的词汇碎片（“词语碎屑/word crumbs”），而非连贯的语义证据。因此，模型被迫在缺乏有效线索的情况下进行局部 Token 猜测，而不是在过程早期形成连贯的全局结构（即“骨架”）。
差距所在： 虽然存在层次化规划方法（例如“规划并写作”系统或块级扩散），但它们需要显式的规划器、块级潜变量或多阶段设计。本文探讨了一个单层级扩散语言模型是否可以通过利用其现有的噪声水平作为粒度信号，在不增加外部架构复杂度的前提下，内在地支持早期规划和后期润色。

方法论：噪声依赖型粒度控制 (NDGC)

作者提出了噪声依赖型粒度控制（NDGC），该方法将训练暴露（exposure）与推理承诺（commitment）的粒度与噪声水平 ( $t$ ) 相结合。其核心直觉是：高噪声 = 规划（粗粒度组）；低噪声 = 润色（细粒度 Token）。

1. 结构化暴露（训练）

NDGC 并非独立地掩码单个 Token，而是引入了一种噪声依赖的跨度掩码（span masking）策略：

粒度系数 ( $s(t)$ )： 一个关于噪声水平 $r(t)$ 的函数，其取值从 0（低噪声）缩放到 1（高噪声）。
组大小 ( $B(t)$ )： 目标组长度计算公式为 $B(t) = \max(1, \text{round}(1 + s(t)(B_{\max} - 1)))$ 。
机制： 在高噪声时，模型是在连续的 Token 组（跨度/spans）上进行训练。如果一个组被掩码，则整个跨度被隐藏；如果被暴露，则整个跨度可见。这确保了在高噪声时，模型看到的是连贯的语义块，而非零散的碎屑。
边缘概率保持： 该方法保留了每个 Token 的边缘掩码概率 $r(t)$ ，确保期望的破坏率与标准扩散保持一致，仅改变了破坏的相关性。

2. 匹配的承诺（推理）

为了防止训练与推理之间的不匹配，推理过程镜像了训练的粒度：

分组承诺： 在高噪声步骤中，采样器会对整个组进行置信度评估（对掩码组内的 Token 置信度求平均）。
选择： 高置信度的组会被整体提交（揭示）。
细化： 随着噪声降低， $B(t)$ 逐渐缩小，最终在低噪声时回归到标准的逐 Token 承诺与细化。

3. 对齐

核心创新在于暴露与承诺的对齐。通过在训练和推理中使用相同的噪声依赖调度 $s(t)$ ，模型学会了在早期形成粗粒度的语义结构，并在后期精炼措辞，从而有效地模拟了一个“由粗到精”的去噪过程，而无需显式的规划器。

核心贡献

识别局限性： 本文指出，离散扩散中固定的逐 Token 粒度阻碍了早期结构的形成，导致模型依赖局部猜测而非全局规划。
提出 NDGC： 引入了一种单层级扩散方法，利用噪声水平作为粒度信号，将训练中的结构化跨度暴露与推理中的匹配组承诺相结合。
实证验证： 证明了 NDGC 能将骨架形成提前到去噪轨迹的早期阶段，提高主题的有序恢复能力，并与统一的逐 Token 基线相比减少了退化输出（重复）。

实验结果

作者在 SYNTHETIC-V4（一个具有有序潜在主题骨架的受控基准测试）和 WritingPrompts（一个自然主义故事生成数据集）上评估了 NDGC。

SYNTHETIC-V4 (基于 BD3LM 骨干网络)

基线失败： 标准的统一逐 Token 扩散在该任务上表现极差，最终主题覆盖率仅为 27.8%，且坏输出率高达 99.7%（由重复和缺乏多样性驱动）。
NDGC 表现： NDGC ( $B_{\max}=16$ ) 实现了 84.2% 的最终主题覆盖率，79.8% 的顺序准确率，并将坏输出降低至 3.7%。
早期形成： 至关重要的是，与基线（分别为 28.7% 和 27.5%）相比，NDGC 表现出显著更高的早期恢复（79.1%）和早期顺序（77.0%），证明了结构是在早期形成的，而不仅仅是在最后阶段被修复。
消融实验：
- 仅结构化承诺： 提高了覆盖率，但未能解决坏输出问题（89.0%），表明仅靠推理启发式是不够的。
- 仅结构化暴露： 改善了输出质量，但未能实现高精确度的骨架匹配，表明存在训练-推理不匹配。
- 逐 Token 早期： 即使使用结构化训练，在噪声较高时强制进行 Token 级承诺也会延迟骨架的形成。

跨骨干网络与自然主义检查

MDLM & SEDD： NDGC 在其他骨干网络（MDLM, SEDD）上也改善了骨架恢复并维持了健康的输出，尽管提升幅度有所不同。
WritingPrompts： 在没有金标准骨架的自然数据上，NDGC 改善了输出质量（坏输出从 22.8% 降至 10.9%）和参考对齐的片段相似度（RASC-best），同时减少了重复。

意义与主张

本文声称，噪声水平可以作为单层级扩散语言模型的语义粒度轴。

机制： 通过对齐训练暴露与推理承诺，NDGC 使模型能够在证据稀缺（高噪声）时进行“规划”（提交连贯的跨度），并在证据充足（低噪声）时进行“润色”（提交 Token）。
效率： 这种方法在不需要显式规划器、层次化架构或多阶段流水线的情况下，实现了类规划行为。
审慎性： 作者承认，其最强有力的证据来自受控的 SYNTHETIC-V4 设置。虽然 WritingPrompts 支持了关于输出健康度和连贯性的发现，但并未提供关于潜在骨架恢复的直接证据。他们指出，未来的工作可以探索学习到的语义边界和更长的文档。

总之，本文认为标准扩散中的“散落碎屑”问题可以通过动态调整去噪过程的粒度来解决，从而允许单层级模型自然地从结构规划过渡到词汇精炼。