💬 NLP

Entropy Aware Reward Guidance for Diffusion Language Model Alignment

本文介绍了 EntRGi，这是一种新颖的方法，它基于预测熵在连续令牌松弛与硬令牌之间进行动态插值，从而为离散扩散语言模型实现有效的奖励引导，并在测试时适应以及通过奖励引导强化学习（RGRL）的后训练方面，展现出相较于最先进方法的持续改进。

原作者： Atula Tejaswi, Litu Rout, Constantine Caramanis, Sanjay Shakkottai, Sujay Sanghavi

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Atula Tejaswi, Litu Rout, Constantine Caramanis, Sanjay Shakkottai, Sujay Sanghavi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位才华横溢但略显困惑的艺术家，名叫Diffusion。这位艺术家试图通过从一块完全被静态噪声覆盖的画布（就像没有信号的电视）开始，并逐渐清除噪声以显露图像，来创作一幅画（或撰写一个故事）。

通常，这位艺术家在一个“连续”的世界中工作，就像混合颜料一样，你可以混合出任何色调的蓝色。但在这篇论文中，这位艺术家使用的是离散 token——可以将它们想象成 distinct、独立的乐高积木。你无法将一块“红色”积木与一块“蓝色”积木混合成“紫色”；你必须在两者之间做出选择。

作者们要解决的问题是：如何利用奖励模型（一位评判最终画面的评论家）来告诉这位艺术家：“不，不是那块红色的积木！把它变成一块更好的红色积木”。

核心问题：“翻译器”的失效

在旧有的方法（连续模型）中，艺术家和评论家说着同一种语言。评论家可以说：“把画笔稍微向左移动一点”，艺术家就能确切地知道如何调整。

但在这些乐高积木模型中，评论家只知道如何评判已完成的、坚硬的积木。

“期望”方法：有些人尝试给评论家提供积木的“模糊”版本（红色和蓝色的混合），以便艺术家能获得平滑的指令。但评论家仅是在尖锐、真实的积木上训练过的。这就像要求一位美食评论家去评判由胡萝卜和芹菜混合而成的冰沙；他们不知道该说什么，因为他们从未品尝过这种东西。反馈是不可靠的。
“APS"方法（之前的最佳方案）：其他人尝试向评论家展示一块真实、尖锐的积木以获得高分，然后告诉艺术家假装这块积木仍然是模糊的，以便获得平滑的指令。这就像向法官展示一块完美的牛排，然后告诉厨师：“想象这块牛排是液态汤”的同时给出指令。指令与现实不匹配，导致困惑。

解决方案：EntRGi（“置信度计”）

作者们引入了EntRGi（熵感知奖励引导）。将其想象为艺术家的一台智能置信度计。

随着艺术家的工作，他们有时非常确定该选择哪块积木（低熵/高置信度），有时则完全在猜测（高熵/低置信度）。

当艺术家自信时：置信度计会说：“你知道自己在做什么！向评论家展示真实的、坚硬的积木。”这确保了评论家能给出可靠、准确的评分，因为他们评判的是自己理解的东西。
当艺术家在猜测时：置信度计会说：“你不确定！让我们向评论家展示可能性的模糊混合。”这允许艺术家获得平滑、连续的指令来改进，而不会破坏创作流程。

魔力所在：EntRGi 根据艺术家的确定程度，逐块积木自动在这两种模式之间切换。它集两者之长：既获得了评论家可靠的反馈，又为艺术家提供了平滑、准确的指令。

结果：更好的作品与新训练

论文表明，这种方法在两个层面上优于之前的尝试：

测试时适应（“实时编辑”）：当艺术家正在创作画面时，EntRGi 帮助他们引导过程以生成更好的最终图像，而无需从头重新训练艺术家。这就像在片场有一位导演，确切地知道何时给予温和的提示，何时让演员即兴发挥。
RGRL（奖励引导强化学习）：作者们还创造了一种新的训练配方，称为RGRL。他们不再仅仅是向艺术家展示一幅完成的画作并说“做得好”或“做得差”（这很模糊），而是利用来自 EntRGi 的平滑反馈来教导艺术家如何变得更好。这就像一位教练根据球员当前的状态提供具体、详细的训练，而不仅仅是记分。

结论

论文声称，通过使用这种“置信度计”（EntRGi），他们能够引导这些离散的乐高积木模型产生比以往更高质量的结果。他们在大型模型（70 亿参数）上进行了测试，发现无论是在生成过程中仅引导模型，还是将其用于训练模型使其更智能，该方法始终优于之前的最佳方法。

他们还指出，即使艺术家和评论家使用略有不同的“词汇表”（不同的乐高积木集合），该方法依然有效，这是一个常见的现实世界问题。

简而言之：他们找到了与这位困惑的乐高艺术家沟通的方法，既让评论家满意，又让艺术家不断学习，从而创作出更好的故事和图像。

技术摘要：面向扩散语言模型对齐的熵感知奖励引导

问题陈述

奖励引导（或后验采样）已被证明对连续扩散模型极为有效，其中来自奖励模型的可微反馈允许对生成步骤进行迭代优化。然而，将这一范式应用于离散扩散大语言模型（dLLMs） 时面临根本性挑战：dLLMs 生成的是离散的 token，而这些 token 是不可微的。

现有方法试图弥合这一差距，但面临着奖励模型可靠性与梯度准确性之间的关键权衡：

连续松弛（期望值）： 向奖励模型输入“软”嵌入（token 概率的期望值）可实现梯度流动。然而，奖励模型通常是在硬 token 上训练的；因此，软性的、词表外的输入会导致奖励信号不可靠，从而降低性能。
直通估计器（STE）： 如 APS（Rout 等人，2025c）之类的方法在采样的硬 token 上评估奖励（确保可靠性），但将梯度传播视为输入是软性的。这导致奖励评估位置与梯度应用位置之间存在不匹配，从而产生近似误差，特别是在模型预测熵较高时（即去噪过程的早期步骤）。

方法论：EntRGi

作者提出了EntRGi（熵感知奖励引导），这是一种机制，能够在连续 token 松弛与采样的硬 token 之间，基于每个 token 进行动态插值。其核心创新在于利用扩散模型自身的每 token 预测熵来确定插值权重。

机制

在去噪过程中的每个掩码位置 $l$ ，EntRGi 为奖励模型构建输入嵌入 $e_l^{EntRGi}$ ，作为凸组合：
$e_l^{EntRGi} = (1 - w_l)e_l^{soft} + w_l e_l^{hard}$
其中：

$e_l^{soft}$ 是从模型概率分布导出的期望软嵌入。
$e_l^{hard}$ 是采样的硬 token 的嵌入。
$w_l$ 是根据 token 的熵 $H(q_l)$ 导出的自适应权重，具体为 $w_l = H(q_l) / \log K$ 。

自适应逻辑：

低熵（高置信度）： 当模型置信度高（低熵）时， $w_l \to 0$ 。输入主要为软嵌入，允许干净的梯度流动，且由于软嵌入与硬嵌入非常接近，不会产生显著的近似误差。
高熵（高不确定性）： 当模型不确定（高熵）时， $w_l \to 1$ 。输入向硬 token 嵌入偏移。这确保奖励模型接收到真实的、分布内的输入，从而保持奖励的可靠性，尽管此时梯度近似误差较高。

这种方法通过以下策略解决了张力：在模型自信时信任软嵌入，在不确定性高时回归离散 token。

后训练：RGRL

本文还提出了RGRL（奖励引导强化学习），这是一种后训练方案，利用 EntRGi（或 APS）生成奖励引导的完成结果。这些完成结果用于通过自蒸馏微调 dLLM，从而创建一个密集的奖励 - 梯度反馈循环，而不是像 diffu-GRPO 等标准 RL 方法那样仅依赖标量奖励。

主要贡献

EntRGi： 一种针对离散扩散 LLM 的新型熵感知奖励引导机制，能够自适应地平衡梯度准确性与奖励模型可靠性。
测试时适应的优越性： 实证验证表明，EntRGi 在多个基准测试中优于之前的最先进方法（APS）及其他基线（期望值、Best-of-N），特别是在熵较高的更高采样温度下。
RGRL 后训练： 一种利用奖励引导样本进行微调的新训练方案。作者证明，RGRL-EntRGi 显著优于 diffu-GRPO（一种广泛采用的 dLLM RL 算法），在特定数据集上的奖励分数实现了高达 70% 的相对提升。
对 Tokenizer 不匹配的鲁棒性： 即使 dLLM 和奖励模型的 tokenizer 不匹配（例如 LLaDA 与 Qwen/Llama），该方法依然有效，这是现有基于梯度的方法经常难以应对的常见现实场景。

实验结果

作者在五个多技能数据集和四个奖励模型上，对 70 亿参数模型（Dream-v0-Instruct-7B 和 LLaDA-8B-Instruct）评估了 EntRGi。

推理时性能： 与 APS 和期望值方法相比，EntRGi 始终实现了更高的 Top@1 和 Avg@4 奖励分数。值得注意的是，虽然 APS 在较高温度（ $\tau=0.7$ ）下性能显著下降，但 EntRGi 保持或提升了性能，证明了其有效处理高熵状态的能力。
后训练效率： 与 diffu-GRPO 相比，RGRL-EntRGi 显示出更快的收敛速度和更高的最终奖励分数。在初始奖励较低的数据集（如 WildChat-IF）上，提升最为显著，表明该方法特别适用于困难的对齐任务。
消融研究： 分析证实，基于熵的加权优于其他启发式方法（如 L2 范数距离），并且该方法在熵最高的去噪早期步骤中减少了近似误差。

意义

本文声称，EntRGi 为扩散语言模型中“离散与可微”的冲突提供了一个原则性的解决方案。通过利用模型不确定性作为调节反馈融入的信号，EntRGi 实现了：

更强的推理时引导： 允许 dLLMs 在不重新训练的情况下优化特定任务目标，其可靠性可与连续扩散模型相媲美。
可行的后训练替代方案： 解锁密集的奖励 - 梯度反馈，作为 dLLMs 监督微调和标量奖励 RL 的更有效替代方案。

作者将这项工作定位为迈向使奖励引导的适应和后训练对于新兴的离散扩散语言模型类别变得稳健且可扩展的必要步骤。