🤖 machine learning

Neither Parallel Nor Sequential: How DiffusionGemma Actually Commits Tokens

通过对 DiffusionGemma 26B 进行插桩，本研究揭示了其标记提交过程既非纯粹的并行，也非严格的顺序，而是一种依赖于机制的、部分从左至右偏置的过程，它形成了大规模的同步批次，证明了感知的解码顺序通常是测量粒度而非固定架构属性的产物。

原作者： Ali Asaria, Tony Salomone, Deep Gandhi

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ali Asaria, Tony Salomone, Deep Gandhi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个巨大且混乱的艺术工作室，一个机器人正试图在一块巨大的画布上绘画（或写故事）。

在旧的工作方式中（称为“自回归”模型），机器人严格地从左向右绘画，就像读一本书一样。它完成一个词，然后再进行下一个，一个接一个地进行。

在新的“扩散”（Diffusion）方式中，机器人从一个充满了空白遮罩方块的画布开始。它应该同时观察整幅画，并同时填充许多方块。研究人员提出的核心问题是：这个新机器人是真的在同时绘制整幅画布，还是实际上在偷偷地回到左边，依然是一个词一个词地进行绘画？

这篇论文的作者决定在机器人的大脑里放一个微型摄像机，观察它究竟是如何绘画的。他们研究了一个名为 DiffusionGemma 的特定模型。

以下是他们的发现，用简单的方式进行了解释：

1. 它既不是“同时完成”，也不是“逐一进行”

机器人既不会通过一次神奇的闪现就画完整幅画，也不会像人类读书那样严格地从左向右。

相反，它以**大型、混乱的批次（batches）**进行绘画。

类比： 想象一位老师正在批改一叠 20 篇论文。一个严格从左向右的机器人会先改第一篇，然后是第二篇，接着是第三篇。
DiffusionGemma 的做法： 它一次抓起一捆论文（比如 15 篇），同时批改它们，然后放下；再抓起另一捆，继续批改。
结果： 在这一捆论文内部，机器人并不在意先改哪一篇。这是一个“批次”的工作。因为它是进行这些大批量的作业，所以顺序看起来有点乱，但随着它处理这些批次，仍然存在一种轻微的从左向右移动的倾向。

2. “16 块”的神话

早期人们认为机器人是以完美的 16 个单词为一个块进行工作的（就像一列拥有 16 节车厢的火车）。

发现： 研究人员通过观察机器人以 4、8、16、32 和 64 个单词为一组的工作情况来测试这一点。
真相： 机器人并没有在 16 个单词处突然跳入某种完美的模式。仅仅是随着组别的增大，其模式变得更加平滑且更趋向于“从左向右”。16 这个数字并不是机器人的特殊规则；它只是研究人员在观察数据时选取的数字。机器人的运作比这更加流畅。

3. “JSON”的例外

机器人的行为会根据它被要求做什么而改变。

对于故事、代码和数学： 它遵循那种“混乱批次”式的从左向右模式。
对于结构化数据（如 JSON）： 它的表现几乎像是随机散布。如果你要求它填写带有特定键（keys）和值（values）的表单，它完全不在乎顺序。它会在任何它觉得合适的地方填入内容，没有任何从左向右的偏好。

4. “置信度”检查

机器人有一个“置信度计”（它衡量在锁定一个词之前对其确定程度的度量）。

在数学题上： 如果机器人的置信度很高（低熵），它通常是正确的。如果它不确定，它出错的可能性就更高。置信度计在这里很有效。
在事实性问题上： 置信度计毫无用处。机器人可以表现得超级自信，但仍然弄错事实。这就像一个学生百分之百确定法国的首都是“伦敦”，这种自信并非源于正确，而是源于他的主观确定感。

5. “提前完成”的惊喜

机器人被分配了一个最多可以进行 48 个“步长”（思考轮次）的预算来完成任务。

现实情况： 它几乎从不使用全部预算。它通常在短短 3 到 17 步内就快速完成了任务。它会非常迅速地锁定答案，通常是在它已经非常有信心的时候，远在耗尽时间之前。

6. 它和旧的机器人一样好吗？

当研究人员将这种新的扩散机器人与旧的“从左向右”机器人（Gemma-4）进行比较时，他们发现它们在处理数学、事实和 JSON 任务并获得正确答案方面是同样出色的。新机器人只是以一种略微不同的、稍微混乱一点的方式到达终点。

总结

论文得出结论，DiffusionGemma 既非纯粹的并行，也非纯粹的顺序执行。它是一个混合体：

它以大型、同步的批次进行工作。
它具有微弱的从左向右移动的倾向，但只有当你从远处观察时才会发现。
它会提前完成，并在感到自信后停止思考。
它的“置信度”是数学成功的良好预测指标，但对于事实则是糟糕的预测指标。

作者强调，我们需要停止假设这些模型是完美的方块或完美的直线。它们更像是成组工作的画家，有时重叠工作，有时提前结束，并且会根据任务的不同而完全忽略顺序。

技术摘要：既非并行，亦非顺序

问题陈述
开放式扩散语言模型（DLM）在理论上被定性为并行的、非自回归的解码器，通过对掩码画布进行去噪来迭代地提交（commit）标记。然而，实际部署的检查点最终确定标记的具体顺序却鲜有实证测量。目前尚不清楚这些模型究竟表现出严格的并行性、清晰的块自回归（block-autoregression），还是某种混合行为。这种模糊性掩盖了该范式的真实延迟优势和解码动态。

方法论
作者对公开检查点 google/diffusiongemma-26B-A4B-it 进行了仅限推理的解释性研究。该模型是一个基于 Gemma 4 构建的 25.2B 参数（3.8B 激活）掩码离散扩散混合专家模型（MoE）。

工具化： 研究通过挂钩 Hugging Face transformers 库中的 EntropyBoundSampler.accept_canvas 方法。这使得作者能够记录每一次生成过程中，哪些画布位置在每次 accept-call 时被提交，以及提交时的每个位置的熵（entropy）。
实验设计： 评估利用了包含六个范式的 686 个提示词探测套件：数学（GSM8K）、代码补全（HumanEval）、代码合成（MBPP）、事实检索、开放式指令和受限 JSON。
强化运行： 为确保稳健性，作者执行了一次“强化运行”，使用 5 个随机种子和每个范式 20 个提示词（每个范式 100 条轨迹，共计 600 次生成）。
指标：
- 顺序（Order）： 主要指标是标记的提交调用索引（commit-call index）与从左至右位置之间的考虑平局的肯德尔秩相关系数（ $\tau_b$ ）。
- 粒度（Granularity）： 在分箱大小 $B \in \{4, 8, 16, 32, 64\}$ 上进行了块- $\tau_b$ 扫描，以测试是否存在特权的架构块。
- 置信度-正确性（Confidence-Correctness）： 提交置信度（负熵）对正确性的预测能力通过 AUROC 和可靠性曲线进行衡量，且严格在范式内进行，以避免辛普森悖论（Simpson's paradox）。
- 控制组： 使用了一个合成的块顺序控制组（提交时间 = 位置 // 16），用以界定预期中纯块自回归过程的 $\tau_b$ 。

主要发现

部分、依赖于粒度的从左至右偏置：
DiffusionGemma 并不表现出清晰的块自回归。相反，它显示出一种部分的从左至右偏置，这种偏置在标记层面较为温和，并随着分析分箱大小的增加而平滑地向顺序行为靠拢。
- 标记级 $\tau_b$ ： 范围从 0.43（代码）到 0.60（代码合成），显著低于严格自回归的 +1，也远低于块顺序控制组的 0.94–0.96。
- 分箱大小敏感性： 块- $\tau_b$ 随分箱大小单调上升（例如：对于数学任务， $B=4$ 时为 0.59， $B=64$ 时为 0.91）。至关重要的是，在 $B=16$ 处没有出现跳跃，这表明 16 是分析师选择的分箱，而非特权的架构块大小。
- 子块无序性： 实际标记顺序与块顺序控制组之间的差距证实了块内部存在真实的无序现象。
大规模提交批次与未解决的顺序：
提交以大规模批次形式发生。平均每次 accept-call 会提交 13–26 个内容标记。很大一部分标记对（高达 0.72，针对 JSON）在同一次调用中提交，这意味着它们的相对顺序是未解决的。测得的 $\tau_b$ 反映的是一种 accept-call 级别的倾向，而非严格的步内排序。
范式依赖性：
- 结构化 JSON： 受限 JSON 范式近似于顺序无关（ $\tau_b \approx -0.044$ ），这与散文、代码和数学范式的适度正向偏置截然不同。
- 置信度-正确性判别： 提交置信度能预测数学任务的正确性（GSM8K AUROC 为 0.749，置信区间不包含随机水平），但在事实检索上失效（AUROC 为 0.471，置信区间包含 0.5）。将这些范式合并会产生辛普森悖论伪影，从而反转趋势。
激进的早期停止：
尽管有 48 步去噪预算，生成过程仍会在少量的 accept-calls 爆发中完成（3.3–17.1 次调用）。提交时的熵远低于 0.1 边界（0.002–0.012 nats），表明模型在耗尽步数预算之前就已提交了内容。
准确性：
在可评分范式（数学、事实、JSON）上，DiffusionGemma 的准确性与其匹配的自回归兄弟模型 Gemma-4 26B-A4B 相当，尽管本研究并未针对等效性检验进行效能设计。

意义与贡献
本文声称修正了对扩散解码的理解——即从“秘密的从左至右”或“结构化的乱序”转向一种更细致的现实：一种部分的、依赖于粒度的从左至右偏置，且具有范式特异性，并以大规模、未解决的提交批次为特征。

在方法论上，本文贡献了一个用于测量解码顺序的框架，解决了特定的陷阱：

EOS 填充伪影： 朴素的指标会被填充标记的早期提交所主导；因此，将分析限制在内容位置是必不可少的。
辛普森悖论： 将具有不同基础准确率和熵尺度的不同范式的置信度-正确性数据进行合并，会导致无效结论。
提交非单调性： 本研究通过定义“首次接受顺序”来处理“取消接受”（re-masking）事件，并在严格单调的子集上验证了鲁棒性。
分箱大小敏感性： 研究表明，感知的块大小通常是分析师分箱选择的产物，而非模型架构的体现。

作者得出结论，通过观察已发布的采样器（sampler）的每步提交情况，而非提出一种新的策略，这种仪器化视角为审计扩散语言模型的实际行为提供了必要的工具。