🤖 machine learning

GDSD: Reinforcement Learning as Guided Denoiser Self-Distillation for Diffusion Language Models

本文介绍了引导去噪器自蒸馏（GDSD），这是一种针对扩散语言模型的强化学习框架，它通过将优势引导的教师模型直接蒸馏至去噪器，从而绕过基于 ELBO 的似然代理的偏差，进而在推理基准测试中实现更稳定的训练和显著的性能提升。

原作者： Xiaohang Tang, Keyue Jiang, Che Liu, Qifang Zhao, Xiaoxiao Xu, Sangwoong Yoon, Ilija Bogunovic

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Xiaohang Tang, Keyue Jiang, Che Liu, Qifang Zhao, Xiaoxiao Xu, Sangwoong Yoon, Ilija Bogunovic

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《GDSD：强化学习作为扩散语言模型的引导去噪器自蒸馏》的通俗解释，辅以生动的类比。

宏观图景：一种教导 AI 思考的新方法

想象你有一位非常聪明的艺术家（扩散大语言模型，即 dLLM），他擅长绘画，但很难按指令画出完美的杰作。你希望借助一位老师（强化学习）来教导他变得更好。

问题在于，这位艺术家的创作方式很奇特。与从左到右逐字书写的普通作家不同，这位艺术家是从一块布满静态噪声的空白画布开始，慢慢“去噪”，一次性猜测出最终画面的样子。由于这种独特的风格，传统数学老师用来给艺术家作品打分的方法（称为似然度）根本无法计算。这就像试图通过计算一种根本不存在的笔触数量来给画作打分。

由于数学行不通，以前的老师试图使用一种“最佳猜测”的估计值（称为ELBO）来给作品打分。但这造成了一个严重问题：老师是基于一套与艺术家实际作画方式不匹配的“假规则”来打分的。这导致艺术家感到困惑，进而表现不佳，甚至导致学习过程完全崩溃。

GDSD 是一种全新的教学方法，它通过彻底改变游戏规则来解决这个问题。它不再试图给画作的“概率”打分，而是直接告诉艺术家：“看看你刚才做了什么，看看‘完美’版本的它应该是什么样子，然后试着去匹配那个完美版本。”

核心问题：“假规则书”（训练 - 推理偏差，TIM Bias）

把旧方法（基于 ELBO 的强化学习）想象成一位教你开车的教练，但他教的是用坏掉的速度表开车。

训练过程：教练告诉你：“根据这个坏掉的速度表，你现在的时速是 60 英里。”
现实情况：当你实际上路驾驶（推理）时，汽车真实的速度表显示你只有 40 英里。
结果：你感到困惑。你试图根据错误的数学逻辑驾驶，但汽车的反应并不像数学预测的那样。这种不匹配被称为训练 - 推理不匹配（TIM）。这就像试图通过在陆地上练习游泳（使用海洋地图）来学习游泳；一旦你真正跳进水里，就会沉下去。

该论文指出，以前的方法试图用复杂的数学来修复这个坏掉的速度表，但它仍然是一本导致 AI 失败的“假规则书”。

解决方案：GDSD（“完美复刻”法）

作者提出了GDSD（引导去噪器自蒸馏）。以下是其工作原理，借用雕塑家与杰作的类比来说明。

1. “自我导师”（优势引导的去噪器）

想象 AI 艺术家创作了一座雕塑（一句话）。

如果雕塑很好（高奖励），导师会说：“太棒了！让我们为这座雕塑制作一个‘完美版本’。”
如果雕塑很差（低奖励），导师会说：“太糟糕了。让我们制作一个与这个完全相反的‘完美版本’。”

这个“完美版本”就是导师。它是一个数学上的理想模型，确切知道 AI 为了获得高分应该产出什么。

2. “自蒸馏”（复制导师）

AI 不再试图计算那座雕塑的“概率”（这太难了），而是直接查看导师的完美版本，并尝试复制其形状。

旧方法：“计算我正确制作这座雕塑的几率。”（太难，容易导致错误）。
GDSD 方法：“这是完美的雕塑。让你的下一座雕塑看起来和这个一模一样。”

这被称为自蒸馏。AI 正在将其自身“完美自我”（即导师）中的知识“蒸馏”到当前的自我中。

3. “无需归一化”的窍门（去除噪声）

在数学中，复制一个“完美版本”通常需要知道所有可能雕塑的总“体积”，这是一个无法计算的数字（归一化常数）。

论文的窍门：他们意识到，如果你只看形状之间的差异（即 logits），而不是绝对大小，就不需要知道总体积。
类比：想象你要模仿一首歌。你不需要知道音乐厅的总音量，就能知道歌手是否唱对了音符。你只需要匹配音高即可。GDSD 匹配的是“音高”（logits），而无需进行那个不可能的“音量”计算。

为什么这更好（结果）

该论文在两个强大的 AI 模型（LLaDA-8B 和 Dream-7B）上，针对三项困难任务测试了这种新方法：

规划：解决数独和倒计时等谜题。
数学：解决复杂的数学问题。
编程：编写计算机代码。

研究发现：

稳定性：旧方法就像过山车；AI 会学得快，然后崩溃并遗忘一切。GDSD 则像平稳的电梯；它稳步学习，不会崩溃。
性能：GDSD 显著优于之前的最佳方法。
- 在 Dream-7B 模型上，它在规划任务上的准确率提高了高达 19.6%（这是一个巨大的飞跃）。
- 在 LLaDA-8B 模型上，它在所有数学、编程和规划基准测试中 consistently 提高了分数。

一句话总结

GDSD 不再试图计算那些不可能的数学概率来教导 AI，而是直接向 AI 展示一个它“本该做到”的“完美范例”，让 AI 直接复制该范例，从而使学习过程更快、更安全，且效果显著。

技术摘要：GDSD：作为扩散语言模型引导去噪器自蒸馏的强化学习

1. 问题陈述

扩散大语言模型（dLLMs）通过同时生成多个令牌并打破严格的从左到右生成顺序，相比自回归模型（ARMs）提供了显著的推理效率提升。然而，dLLMs 目前的生成质量仍落后于最先进的 ARMs，因此需要有效的微调方法，如强化学习（RL）。

将 RL 应用于 dLLMs 的核心障碍在于策略似然（policy likelihood）的不可处理性。现有解决方案通常分为两类：

轨迹似然方法：通过累积转移概率来估计精确似然。虽然无偏，但计算成本高昂，且与预训练目标不一致。
序列似然（ELBO）方法：使用从随机掩码序列估计的证据下界（ELBO）作为真实似然的代理。这些方法计算高效且与预训练一致。

核心问题：本文指出，基于 ELBO 的 RL 方法存在**训练 - 推理不匹配（TIM）**偏差。该偏差源于两个因素：

似然差距：ELBO 是真实似然的下界，存在不可忽略的差距，这在策略梯度（PG）或 PPO 目标中使用的重要性采样比率引入了偏差和方差。
采样分布不匹配：dLLM 推理使用迭代重掩码和块级解码，诱导出的采样分布（ $\pi^{rm}_{old}$ ）不同于通过 ELBO 估计的训练策略分布（ $\hat{\pi}_{old}$ ）。

这种不匹配导致重要性采样校正失效，从而造成性能下降，在严重情况下甚至导致训练崩溃。

2. 方法论：引导去噪器自蒸馏（GDSD）

作者提出了引导去噪器自蒸馏（GDSD），这是一个将 dLLMs 的 RL 重新框架化为离线策略自蒸馏问题的框架，从而绕过对似然估计的需求并避免 TIM 偏差。

2.1 理论基础

在反向 KL 正则化 RL 下，最优策略 $\pi^*$ 具有闭式解：
$\pi^*(x_0) \propto \pi_{old}(x_0)^{1-\beta} \cdot \pi_{ref}(x_0)^\beta \cdot \exp(\psi A(x_0))$
其中 $A(x_0)$ 是优势函数， $\beta$ 是正则化系数， $\psi$ 是引导系数。

作者表明，该最优策略为掩码扩散模型诱导了一个引导去噪分布（即“教师”去噪器 $p^*$ ）：
$p^*(x_0|x_t) = p^{ref}_{old}(x_0|x_t) \cdot \exp(\psi A(x_0) - A_t(x_t))$
其中 $p^{ref}_{old}$ 是旧策略和参考策略的几何混合， $A_t(x_t)$ 是归一化常数。

2.2 GDSD 目标

GDSD 不优化基于似然的目标，而是通过匹配 logits，直接从教师 $p^*$ 蒸馏当前的去噪器 $p_\theta$ 。该目标最小化学生与教师 logits 之间的平方 $L_2$ 距离：
$\mathcal{L}_{GDSD} = \mathbb{E} \left[ \left( \log p_\theta(x_0|x_t) - \log p^*(x_0|x_t) \right)^2 \right]$

2.3 无归一化重构

实现这一目标的主要挑战在于教师分布中不可处理的归一化常数 $Z_t$ （或 $A_t$ ）。作者提出了两种消除该常数的方案：

直接匹配：利用 Softmax 算子的平移不变性，如果学生 logits 与未归一化的教师 logits 匹配（相差一个加性常数），则可以忽略该常数。
令牌级 Logit 中心化（TLC）：为了防止迭代更新过程中 logits 尺度发生不受控的偏移，作者提出对 logits 进行中心化。通过减去每个令牌位置上词汇表的平均 logits，归一化常数被完全从目标中消除。

最终的实际目标（含 TLC）为：
$\mathcal{L}_{GDSD} = \mathbb{E} \left[ \left( \log \bar{p}_\theta(x_0|x_t) - \log \bar{p}_{old}(x_0|x_t) - \psi A(x_0) \right)^2 + \beta \left( \log \bar{p}_\theta(x_0|x_t) - \log \bar{p}_{ref}(x_0|x_t) \right)^2 \right]$
其中 $\bar{p}$ 表示 logits 中心化的模型。

3. 主要贡献

归约为自蒸馏：本文确立了 dLLMs 的反向 KL 正则化 RL 等价于从源自闭式最优策略的自教师中蒸馏引导去噪器。
GDSD 框架：一种新颖的、无似然的自蒸馏方法，通过设计消除了 TIM 偏差，因为它不依赖重要性采样比率或 ELBO 代理。
无归一化优化：引入令牌级 Logit 中心化（TLC），使得无需计算不可处理的配分函数即可进行高效的在线 RL。
理论统一：本文证明，现有的基于 ELBO 的方法（如 wd1、DMPO、SPG、UniGRPO）可被视为使用不同散度度量（前向 KL 或反向 KL）进行蒸馏的特例，但它们存在数据效率低下或 GDSD 所避免的 TIM 偏差。

4. 实验结果

作者在六个基准测试中评估了 LLaDA-8B 和 Dream-7B 上的 GDSD：

数学推理：GSM8K, MATH500
规划：Countdown, Sudoku
编码：HumanEval, MBPP

主要发现：

性能提升：GDSD 始终优于最先进的基于 ELBO 的方法。在 Dream-7B 模型上，GDSD 在规划任务（Sudoku 和 Countdown）上的测试准确率提升了高达 +19.6%。在 LLaDA-8B 上，规划、数学和编码基准测试的改进幅度在 +0.6% 到 +5% 之间。
训练稳定性：与基于 ELBO 的基线（如 SPG、ESPO）相比，GDSD 表现出显著更稳定的训练奖励动态，后者表现出振荡或崩溃。
消融研究：令牌级 Logit 中心化（TLC）组件被证明能进一步稳定训练，并在某些情况下（如 Sudoku），帮助模型跳出局部极小值以实现更高的最终奖励。

5. 意义与主张

本文主张，直接去噪器自蒸馏为 dLLMs 提供了一种比基于 ELBO 的 RL 更稳定且有效的替代方案。通过消除对似然代理的依赖，GDSD 避免了重要性采样方法固有的结构偏差。结果表明，观察到的性能提升不仅仅是超参数调整的结果，而是源于一种更原则性的优化路径，该路径使训练目标与 dLLMs 的实际推理分布保持一致。作者得出结论，ELBO 对于 dLLMs 的 RL 并非必要，去除它会导致更鲁棒的对齐和推理能力。