🤖 machine learning

DACA-GRPO: Denoising-Aware Credit Assignment for Reinforcement Learning in Diffusion Language Models

DACA-GRRO 通过引入去噪进度分数和分层掩蔽似然，解决了现有强化学习方法在扩散语言模型中的局限性，从而实现了时间维度的信用分配并降低了平均场偏差，进而在多种推理与生成基准测试中取得了显著的性能提升。

原作者： Amin Karimi Monsefi, Dominic Culver, Nikhil Bhendawade, Lokesh Boominathan, Manuel R. Ciosici, Yizhe Zhang, Irina Belousova

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Amin Karimi Monsefi, Dominic Culver, Nikhil Bhendawade, Lokesh Boominathan, Manuel R. Ciosici, Yizhe Zhang, Irina Belousova

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一名学生写故事，但这位学生不是像正常人那样从左到右逐字书写，而是从一页满是空白开始，然后一个接一个地慢慢填满，直到故事完成。这就是扩散语言模型（Diffusion Language Models）的工作原理。它们是一种让 AI 生成文本的新方法，而且速度非常快，因为它们可以一次性填补许多空白。

然而，当研究人员尝试使用强化学习（一种让 AI 因给出好答案而获得“积分”、因给出坏答案而遭受“皱眉”的方法）来训练这些模型以提升性能时，他们遇到了两个大问题。你提供的论文DACA-GRPO通过两个巧妙的技巧解决了这些问题。

以下是问题与解决方案的分解说明，使用了简单的类比。

两大难题

1. “盲目评分”问题（缺乏时间维度的信用分配）
想象一名学生正在参加数学考试。他们花费了 90% 的时间反复擦除并重新擦除同一个数字，但唯一那个最终写下正确公式的时刻才是最重要的部分。

旧方法：老师（AI 训练器）查看整份试卷并给出一个单一分数。他们将学生工作的每一秒都视为同等重要。他们没有意识到，学生算出公式的那一刻才是至关重要的“顿悟时刻”，而其余时间只是忙碌的无效劳动。
结果：AI 学习缓慢，因为它在填补一个空白上获得的“信用”与解决一个高难度逻辑谜题时获得的信用相同。它在简单的事情上浪费精力，却错过了重要的教训。

2. “孤立猜测”问题（有偏的似然估计）
想象你正在尝试猜测句子中的下一个词。

旧方法：AI 被要求猜测下一个词，但它被迫假装对句子中的其他词一无所知。它必须在不知道“那只猫”是什么的情况下，猜测“那只猫坐在……"。这使得猜测变得非常困难且极易出错，从而导致糟糕的训练数据。
结果：AI 正在接受一场对其不利的考试。它试图在零上下文的情况下预测一个词，这产生了一种“偏差”，混淆了学习过程。

解决方案：DACA-GRPO

作者提出了一种名为DACA-GRPO的“即插即用”升级方案。把它想象成一位聪明的教练，它观察学生的整个写作过程，并给予更公平的评分。它使用两个主要工具：

工具 1：去噪进度分数（Denoising Progress Scores, DPS）——“顿悟时刻探测器”

DPS 不再给写作过程的每一秒赋予相同的分数，而是观察学生在每一步中理解程度发生了多大变化。

工作原理：当 AI 填补空白时，它会预测那里可能填入什么词。有时，AI 非常不确定。然后，突然之间，它揭示了一个词，而它对句子其余部分的信心随之飙升。
类比：想象一名侦探在破案。大部分时间，他们只是在查看线索（常规工作）。但随后，他们发现了一个特定的指纹，突然让整个案件豁然开朗。
解决方法：DPS 识别出这些“顿悟”时刻。它会说：“嘿，模型弄清楚结构的这个特定步骤超级重要！让我们给这个步骤额外的加分。”它会忽略那些枯燥的常规步骤。
额外优势：这是免费获得的！AI 在工作时本来就在计算这些预测；旧方法只是把它们丢弃了。这种方法将它们保存下来，用作评分工具。

工具 2：分层掩蔽似然（Stratified Masking Likelihood, SML）——“富含上下文的评分员”

这个工具解决了“孤立猜测”问题。

工作原理：SML 不再要求 AI 在零上下文中猜测一个词，而是让它在看到句子中大部分其他词的情况下猜测一个词。
类比：想象你在玩“疯狂填词”（Mad Libs，一种填空游戏）。
- 旧方法：你必须在不看句子的情况下猜出缺失的词。（很难！你可能会把“香蕉”填进“那只猫坐在……"里。）
- 新方法（SML）：你被允许看到句子 75% 的内容。你看到了“那只猫坐在……"，然后你必须猜最后一个词。现在，“垫子”或“沙发”就是更好的猜测。
解决方法：通过在评分时给 AI 提供更好的句子视角，它获得的“分数”要准确得多。它不再因缺乏上下文而感到困惑。

结果：发生了什么？

研究人员在三种不同类型的 AI 训练器和七种不同类型的任务上测试了这位新教练（DACA-GRPO）。结果就像给学生提供了一本更好的教科书和一位更聪明的老师：

数学与逻辑（数独、倒计时）：AI 的表现有了显著提升。对于数独，准确率大幅跃升（在某些情况下提高了高达 90%）。这很合理，因为数独完全依赖于那些“顿悟时刻”，即一个数字迫使网格其余部分归位。
编程：AI 编写了更好的代码，尤其是针对更长的程序。
数学问题：AI 更准确地解决了复杂的数学问题。
JSON（结构化数据）：AI 在遵循严格的格式规则方面有了很大进步，这通常对 AI 来说非常困难。

总结

该论文指出，当前的 AI 训练器对写作过程中最重要的时刻是“盲目”的，并且因糟糕的测试方法而“被操纵”。DACA-GRPO通过以下方式解决了这个问题：

识别“顿悟”时刻（DPS）并给予额外加分。
给予 AI 更公平的测试（SML），让它在受训时能看到更多上下文。

其结果是，AI 学习得更快，犯错更少，并且在数学、编程和逻辑谜题等复杂任务上表现更好。最棒的是？这是一个轻量级的升级，可以添加到几乎任何现有的 AI 训练系统中，而无需从头重建。

技术摘要：DACA-GRPO

问题陈述

扩散大语言模型（dLLMs）通过支持高吞吐量、并行文本生成，为自回归模型提供了一种极具吸引力的替代方案。然而，将强化学习（RL），特别是组相对策略优化（GRPO），应用于 dLLMs 时，面临着现有方法未能解决的两个根本性弱点：

缺乏时间信用分配：与按顺序生成 token 的自回归模型不同，dLLMs 在每个去噪步骤中同时预测所有被掩码的位置。现有的 RL 方法为整个生成结果分配统一的标量优势值，忽略了去噪轨迹。这将所有步骤视为同等重要，无法区分“决定性”步骤（模型在此做出关键结构选择，例如数学中的运算符或代码中的控制流）和“常规”步骤（简单的填充）。因此，编码了模型不断演化的理解的中间预测被丢弃，导致梯度更新效率低下。
有偏且高方差的似然估计：dLLMs 中的标准策略优化依赖于对生成结果的 log-likelihood 进行估计。目前的主流方法是将所有生成 token 掩码，并在零 token 间上下文（平均场近似）下预测它们。这引入了系统性偏差（无上下文预测更难）和高方差（单一随机掩码模式可能无法代表典型难度），从而破坏了策略梯度。

方法论：DACA-GRPO

作者提出了DACA-GRPO（面向 GRPO 的去噪感知信用分配），这是一个轻量级、即插即用的框架，通过整合两种互补机制来解决上述弱点。

1. 去噪进度分数（DPS）

DPS 通过量化模型在去噪步骤中的信念演变，解决了缺乏时间信用分配的问题，且无需额外的前向传播。

机制：在每个去噪步骤 $k$ ，模型预测所有被掩码位置的分布。DPS 通过测量模型在下一步（ $k+1$ ）仍被掩码的位置上的平均 log-概率的变化，计算“进度增量”（ $\delta_k$ ）。具体而言， $\delta_k = S(k+1, k+1) - S(k, k+1)$ ，其中 $S$ 是步骤 $k+1$ 时仍被掩码位置集合上的平均 log-概率。
解释：较大的正 $\delta_k$ 表明在步骤 $k$ 揭示 token 显著提升了模型的理解（即决定性步骤）。较小或负的 $\delta_k$ 则表明是常规进展或困惑。
实现：这些原始增量在批次内按步骤进行归一化（z-score），以处理非平稳尺度。归一化后的分数用于调节 RL 损失中的每个 token 优势值： $\tilde{A}_i = A \cdot (1 + \lambda \cdot \bar{\delta}_{\text{birth}(i)})$ 。这放大了在决定性转换期间生成的 token 的学习信号，并衰减了常规步骤的信号。
成本：零额外前向传播，因为它复用了生成过程中自然计算的 logits。

2. 分层掩码似然（SML）

SML 通过确保 token 在具有大量上下文的情况下被预测，解决了似然估计中的平均场偏差问题。

机制：SML 不是掩码所有 token（0% 上下文），而是将输出 token 位置划分为 $K$ 个互不相交的分层。对于每个分层 $S_k$ ，模型在保持所有其他分层可见的情况下预测 $S_k$ 中的 token。
估计：序列级似然是所有分层 log-概率的总和： $\log p_{\text{SML}} = \sum_{k=1}^K \sum_{n \in S_k} \log p_\theta(o_n | o_{\setminus S_k}, q)$ 。
效果：每个 token 在预测时拥有 $(K-1)/K$ 的序列作为上下文（例如，当 $K=4$ 时为 75% 上下文），显著减少了由零上下文假设引入的偏差。
集成：
- 对于无比率方法（如 wd1），SML 作为辅助损失项添加。
- 对于基于比率的方法（如 Diffu-GRPO, GDPO），SML 被集成到重要性比率中，通过将完全掩码的预测与分层预测取平均值，以保持与生成模式的一致性同时减少偏差。

主要贡献

弱点识别：本文正式确定了时间信用分配的缺失和平均场似然估计的系统性偏差是当前 dLLM RL 方法的主要瓶颈。
去噪进度分数（DPS）：一种新颖机制，能够从中间预测中提取每个 token 的重要性权重，无需额外计算成本，从而实现步骤级的信用分配。
分层掩码似然（SML）：一种位置分层估计器，通过利用丰富上下文评估 token 来减少平均场偏差，补充了现有的方差缩减技术。
统一框架：将 DPS 和 SML 集成到一个即插即用框架（DACA-GRPO）中，兼容各种 GRPO 变体（Diffu-GRPO, wd1, GDPO）。

实验结果

作者在 LLaDA-8B-Instruct 基础模型上评估了 DACA-GRPO，涵盖了七个基准测试：

数学推理：MATH-500, GSM8K。
代码生成：MBPP, HumanEval。
约束满足：Countdown, Sudoku。
受限生成：JSON Schema Adherence。

主要发现：

一致的改进：DACA-GRPO 在所有基准测试和基础方法上均取得了持续的提升。
- 数学推理：最高提升 5.6 个百分点 (pp)。
- 代码生成：最高提升 7.4 pp。
- 约束满足：最高提升 36.3 pp（特别是在 Sudoku 上，wd1 + DPS 的每单元格准确率从约 34% 跃升至约 70%）。
- JSON 遵循：最高提升 5.9 pp。
互补性：DPS 和 SML 具有互补性。DPS 通过识别决定性步骤，在结构化、短生成任务（如 Sudoku, Countdown）上产生最大增益。SML 在长文本任务（如数学、代码）上提供最大增益，这些任务中 token 间依赖性强且平均场偏差严重。
适用边界：SML 对长输出有效，但在短且紧密约束的任务（如 Sudoku）上会导致模式崩溃，因为在这些任务中部分上下文 trivially 决定了答案。在这些情况下，仅使用 DPS 就足够且非常有效。

意义与主张

本文主张，扩散生成中被“浪费”的中间预测包含了足够的信号，若得到适当利用，可有意义地改善训练。DACA-GRPO 的主要意义在于：

效率：它利用现有计算（logits）来改善信用分配，而无需显著开销（DPS 增加的时间不到 1%；SML 增加的成本与 $K$ 成比例且适度）。
通用性：缺失的信用分配结构似乎是不同损失公式（基于比率与无比率）和不同领域（数学、代码、约束）共享的瓶颈。
实际影响：在 Sudoku 等结构化任务上的显著改进表明，当前的统一信用分配严重低估了具有紧密 token 间依赖的任务。

作者总结道，虽然 DPS 是一个通用的附加组件，但 SML 应优先用于似然质量是约束瓶颈的方法和任务，特别是长文本生成。他们承认 SML 在短且受限输出上的适用性存在局限性，并建议未来的工作集中在自适应步长选择以及将分层估计扩展到预训练目标上。