💬 NLP

Reconsidering Positional Supervision in Masked Diffusion Language Model Training

本文证明了掩码扩散语言模型对迭代解码过程中的微小位置偏移具有敏感性，并提出通过结合一种专门的吸收不确定性标记来改进联结主义时间分类（CTC），以放宽严格的位置约束，从而在多个生成基准测试中实现了统计学意义上的显著性能提升。

原作者： Mengyu Ye, Keito Kudo, Ryosuke Takahashi, Jun Suzuki

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Mengyu Ye, Keito Kudo, Ryosuke Takahashi, Jun Suzuki

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：修复“僵硬”的文本生成器

想象你正在教一个机器人写故事。

旧方法（自回归/Autoregressive）： 机器人像人类打字一样，一次写一个词。它非常清楚自己正处于句子的哪个位置。
新方法（掩码扩散/Masked Diffusion）： 机器人面对的是一张写满了问号的白纸。它尝试同时猜测所有单词，然后揭示其中一些，再隐藏另一些，如此循环往复。它是并行进行的，就像同时在填一份填字游戏。

这种新的“并行”方式更快，但研究人员发现了一个重大缺陷：这个机器人非常害怕顺序稍微出错。

问题所在：“严厉的老师”

研究人员发现，这些并行模型是在一位“严厉的老师”（称为交叉熵损失/Cross-Entropy loss）的指导下训练的。这位老师要求每一个单词都必须落在其预先分配好的精确座位上。

类比： 想象一个教室里每个学生都有特定的课桌编号。如果学生 A 本该坐在 1 号桌，却不小心坐到了 2 号桌，即使他是正确的学生，老师也会给他不及格！
实验： 研究人员通过将一个写好的故事中仅 1% 的单词与其相邻单词进行交换（将单词向左或向右移动一个位置）来测试这一点。
结果： 模型的性能崩溃了。它对这种微小的挪动过于敏感，以至于无法识别出它自己写的那个故事。这就像一首歌，如果节奏偏移了哪怕一丁点儿，听起来就会变得极其糟糕。

解决方案：“松弛”标记

为了解决这个问题，研究人员借鉴了语音识别中的一种技巧——CTC（联结主义时间分类），并给它取了一个新名字：CTC-S。

他们不再使用“严厉的老师”，而是引入了一位“灵活的教练”。

<SLACK> 标记： 他们教会模型使用一种特殊的不可见标记，叫做 <SLACK>。你可以把它看作是单词之间的“缓冲带”或“间隔符”。
运作方式： 如果模型认为某个单词属于第 5 号座位，但上下文表明它可能更适合第 6 号座位，它不会惊慌。它可以在第 5 号座位插入一个 <SLACK> 标记，实际上是在说：“我在这里歇一会儿”，然后把单词放在第 6 号座位。
安全网： 至关重要的一点是，他们修改了规则，使得如果模型意外重复了单词（例如因为合并导致“100”变成了“10”），这种情况不会发生。模型仅使用 <SLACK> 标记来吸收时间上的误差，而不是用来删除或合并实际的单词。

实验结果：一位更稳健的作家

研究人员在四种不同的写作挑战（如创意写作、回答难题和通用聊天）上测试了这种新方法。

结果： 使用“灵活教练”（CTC-S）训练的模型，其写作水平始终优于使用“严厉老师”训练的模型。
证据： 当他们尝试对新模型的输出进行单词挪动（即同样的 1% 交换测试）时，新模型并没有崩溃。它非常稳健，能够处理这些微小的挪动而不会逻辑混乱。

总结

论文指出，要让这些快速的并行文本生成器表现出色，我们不能仅仅在它们写完之后（在解码阶段）再去试图修复它们，而是需要改变我们“教导”它们的方式。

通过在训练期间赋予模型一点点“回旋余地”（对齐灵活性），我们能让它不再如此脆弱。这就像是一个被轻轻推一下就会坏掉的机器人，与一个即便踉跄一下也能继续行走的机器人之间的区别。

简而言之： 论文表明，教导并行语言模型对单词“在哪里”保持一定的灵活性，而不是要求它们必须在“精确的位置”，会让它们写得更好。

以下是关于论文《重新审视掩码扩散语言模型训练中的位置监督》（Reconsidering Positional Supervision in Masked Diffusion Language Model Training）的技术总结。

问题：对位置错位的敏感性

掩码扩散语言模型（MDLM）通过并行解掩码（unmasking）来生成文本，其结构类似于非自回归翻译（NAT）。这两种范式通常都依赖于逐位置的交叉熵（CE）损失，这强制要求预测的 token 与固定的输出位置之间保持严格对齐。虽然这种方式简化了训练，但也引入了“位置僵化”的问题。

在 NAT 中，已有研究证实，使用 CE 训练的并行解码器对微小的位置偏移非常敏感；一个正确的 token 如果被放置在错误的位置，受到的惩罚与错误的 token 同样严重。然而，对于采用迭代并行解码（即误差可能在去噪步骤中累积）的 MDLM 是否也存在这种敏感性，目前尚不明确。作者假设 MDLM 同样容易受到轻微位移的影响，即使 token 的身份（identity）保持正确，这种位移也会降低生成质量。

方法论

本文提出了一个两部分的方法：首先，诊断 MDLM 对位置偏移的敏感性；其次，通过改进的训练目标来缓解这一问题。

1. 诊断性干预
为了测试敏感性，作者在 LLaDA-8B-Instruct 模型的解码过程中应用了一个受控干预。他们将未掩码的 token 与相邻的掩码位置进行交换，在保持 token 身份不变的情况下引入了一个位置的偏移。

结果： 即使仅将生成的 token 中的 1% 进行单位置偏移，也会导致在 Arena-Hard 基准测试上的胜率大幅下降（远低于 50% 的基准线）。这证实了 MDLM 在迭代并行解码下确实对微小的位置偏移具有敏感性。

2. 提出的解决方案：CTC-S（带有松弛机制的 CTC）
受 NAT 中利用连接时序分类（CTC）处理对齐灵活性的成功启发，作者将 CTC 适配到了 MDLM 的监督微调（SFT）中。标准的 CTC 允许模型发射“空白”（blank）符号，将仅在空白放置位置上存在差异的输出序列视为等价。然而，标准 CTC 也会合并相邻的重复 token（例如，将 “100” 压缩为 “10” 或将 “**” 压缩为 “*”），这会扭曲文本的表面形式。

为了解决这个问题，作者引入了 CTC-S，这是一个包含两个关键组件的改进目标：

<SLACK> Token 增强： 在训练期间，目标响应会通过一个特殊的 <SLACK> token 进行增强（该 token 起到 CTC 空白符号的作用）。<SLACK> token 的比例随扩散时间步 $t$ 单调递减，以匹配生成过程。
修改后的折叠映射（ $\beta_{slack}$ ）： 与标准 CTC 不同，CTC-S 的折叠映射仅移除 <SLACK> token，并保留相邻的重复内容 token。这确保了模型可以在吸收位置不确定性的同时，不扭曲目标表面形式（例如，保持 “100” 为 “100”）。
组合目标： 最终的训练损失结合了标准的掩码交叉熵损失（ $L_{CE}$ ）和 CTC-S 损失（ $L_{CTC-S}$ ）：
$L_{SFT} = L_{CE} + \lambda L_{CTC-S}$
其中， $L_{CE}$ 在经过 slack 增强的数据上计算，而 $L_{CTC-S}$ 则针对原始干净的目标进行计算，从而鼓励模型在需要时发射 <SLACK> token 以适应位置不确定性。

核心贡献

敏感性的经验证据： 本文提供了第一个直接证据，证明了 MDLM 在迭代解码下对微小位置偏移具有敏感性，并通过受控的交换干预进行了验证。
CTC-S 目标函数： 引入了一种专门为文本生成定制的改进型 CTC 目标，它在放宽位置对齐的同时，通过避免重复合并来避免扭曲表面形式。
训练侧设计维度： 该工作识别出“训练侧对齐灵活性”是提升 MDLM 性能的一个补充设计维度，与现有的推理侧方法（如重掩码或引导）相辅相成。

结果

作者使用 LLaDA-8B-Instruct 基座模型在四个开放式生成基准测试上评估了该方法：Arena-Hard、MT-Bench、WildBench 和 Creative Writing Bench v3。

性能提升： CE + CTC-S 模型在所有四个基准测试中均一致优于原始 LLaDA 模型以及匹配的 CE-Only 基准模型（后者在相同的增强数据上使用标准 CE 损失进行训练）。
统计显著性： 与上述两个基准模型相比，其改进在所有四个基准测试中均具有统计学显著性。
鲁棒性检查： 当接受用于诊断阶段的相同位置偏移干预时，CE + CTC-S 模型保持了鲁棒性（胜率维持在 50% 或以上），而 CE-Only 模型则表现出与原始模型相同的极高敏感性。
通用能力： 在通用能力基准测试（GPQA、MMLU、MBPP、IFEval、GSM8K）上的评估显示，CTC-S 目标并未降低模型的推理或编程能力；在某些情况下（IFEval、GSM8K），其表现与基座模型持平甚至略有超越。
与推理侧修复的比较： 作者将他们的训练侧方法与推理侧的“块扩散”（Block Diffusion）扫描（即限制解码画布大小）进行了对比。即使采用了最优调优的块大小，CE-Only 基准模型也无法达到 CE + CTC-S 模型的性能，这表明训练侧的灵活性提供了推理侧调优无法恢复的增益。

意义与主张

论文声称，弥合 NAT 与 MDLM 研究之间的差距揭示了标准 MDLM 训练的一个关键弱点：逐位置监督的僵化性。通过将 CTC 适配到 MDLM 环境中，作者证明了对齐灵活性是 MDLM SFT 中一个至关重要但此前未被充分利用的设计维度。

作者将这项工作定位为一种方法论上的贡献，旨在缩小 MDLM 在开放式生成任务中与自回归模型之间的性能差距。他们明确指出，该方法并未引入超出基座模型本身的新能力，而是优化了训练目标，以更好地处理并行解码固有的不确定性。这项工作表明，未来的研究应探索在预训练阶段放宽位置对齐，并将这些灵活的对齐目标扩展到其他 MDLM 实例化模型中。