🤖 machine learning

Dropout-GRPO: Variational Stochasticity for Continuous Latent Reasoning

该论文提出了 Dropout-GRPO，这是一种引入结构化 Dropout 的方法，旨在为连续潜性推理模型（continuous latent-reasoning models）生成必要的轨迹方差，从而实现有效的组相对策略优化（Group Relative Policy Optimization），并展示了在 GSM8K 上的性能提升。

原作者： Wooil Jung

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Wooil Jung

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

DROPOUT-GRPO 论文解析：使用简单语言与创意类比

核心问题：“机器人克隆”困境

想象一下，你正在试图教一个机器人解决数学题。你有一种特殊的训练方法叫做 GRPO（组相对策略优化）。

通常 GRPO 是如何工作的：
想象一位老师在向一个由 32 名学生组成的班级提问，让他们解决同一个数学问题。

每位学生尝试独立解决问题。
因为每个人的思考方式不同，他们会采取不同的路径。有些人会犯错，有些人会做对。
老师观察全班的平均分数。
如果某个学生的表现优于平均水平，他们会获得“做得好”的奖励；如果表现低于平均水平，则会受到“再试一次”的惩罚。
这种对比有助于整个班级更快地学习，因为每个人都能看到自己与同伴相比处于什么位置。

“潜性推理”（Latent Reasoning）模型的缺陷：
这篇论文关注的是一种新型 AI（例如 COCONUT），这类 AI 不会用文字“大声思考”。相反，它在一种隐藏的、连续的“大脑状态”中进行思考（就像一段秘密的内部代码）。

问题在于： 如果你要求这种特定的 AI 解决同一个问题 32 次，它表现得就像一个完美的机器人克隆体。因为它的内部思考过程是确定性的（在数学上是固定的），所以这 32 个“学生”每次都会产生完全相同的答案。
结果： 老师（GRPO）观察班级，发现所有人的得分都完全一样，并计算出“平均分”。由于每个人都是完全相同的，任何学生与平均值之间的差异都为零。
崩溃： 当差异为零时，老师就无法告诉学生该如何改进。学习过程陷入停滞。这就像试图驾驶一辆没有方向盘的汽车；你无法左转或右转，因为系统认为你已经处于完美中心了。

解决方案：“共享掩码”技巧

作者 Wooil Jung 意识到，他们需要引入一些“混乱”或随机性，让这 32 名学生表现得各不相同，但他们不能直接随机改变 AI 的大脑（因为那会破坏数学逻辑）。

他们使用了一个被称为结构化 Dropout 的聪明技巧。

类比：“共享墨镜”
想象 AI 正通过一副墨镜在观察数学题。

设置： 对于 3 2 名学生（rollouts）中的每一位，老师都递给他们一副不同的墨镜。
掩码（Mask）： 这些墨镜的镜片上有随机的孔洞（这就是“dropout”）。有些学生的孔洞在数字上，而有些学生的孔洞在运算符上。
规则： 一旦学生戴上墨镜，他们在解决问题的整个过程中都会一直戴着。他们不会在中途摘下或更换墨镜。
效果： 因为学生 A 是通过一副“有孔”的眼镜看问题，而学生 B 是通过另一副不同的“有孔”眼镜看问题，所以他们看到的题目版本略有不同。他们采取了不同的路径，并得到了不同的结果。
学习： 现在，老师终于能看到谁的表现比平均水平更好。 “做得好”和“再试一次”的信号重新回归，AI 开始学习了。

“重放”（Replay）的秘密：
这里有一个细节。为了正确地教导 AI，老师需要知道学生在得到答案时究竟看到了什么。

论文指出：“我们保存了每个学生所使用的墨镜（掩码）的具体模式。”
随后，当老师更新学生的脑部参数时，他们会将同样的墨镜重新戴回学生身上。这确保了老师是在针对他们之前看到的那个精确的思考过程进行评分，只是此时大脑已略有更新。这保持了数学上的诚实，并防止了混乱。

为什么这很重要

它解锁了一种新型 AI： 在此之前，你无法在这类“沉默思考者”AI 模型上使用这种强大的组学习方法（GRPO），因为它们太完美且太容易预测了。这种方法恰到好处地打破了那种完美，从而实现了学习。
它行之有效： 作者在 GSM8K 数学数据集上进行了测试。
- AI 最初的分数是 27.29%。
- 使用了这个“共享墨镜”技巧后，分数上升到了 29.01%。
- 它还解决了一个问题，即 AI 在训练过程中实际上变得更差了；新方法帮助它找回了失去的技能。
它在理论上是成立的： 论文从数学上证明了这不仅仅是运气好。通过将“墨镜”视为采样 AI 大脑不同版本的一种方式，该方法在统计学上是有效且高效的。

一句话总结

这篇论文解决了一个问题：由于 AI 模型过于完美而无法相互学习，通过给每个“克隆体”一副独特的、临时的“遮眼布”（dropout 掩码），使他们看到的世界各不相同，从而让组学习算法终于找到了提升它们的方法。

技术摘要：用于连续潜空间推理的 Dropout-GRPO

1. 问题陈述

本文解决了组相对策略优化（GRPO）与连续潜空间推理模型（特别是 COCONUT 架构）之间存在的一个根本性的结构性不兼容问题。

GRPO 的要求： GRPO 依赖于一组内 $K$ 个采样（rollouts）之间的多样性来计算非零的组均值优势（ $A^{(k)} = r^{(k)} - \mu_r$ ）。如果所有采样都产生完全相同的轨迹，则优势值会坍缩为零，从而导致优化停滞。
潜空间推理的挑战： 与通过随机 Token 采样获取多样性的标准思维链（CoT）模型不同，连续潜空间推理模型（如 COCONUT）通过确定性的隐藏状态递归进行运算。给定一个提示词（prompt）和固定的参数，多次采样会产生完全相同的潜空间轨迹和答案。
后果： 将标准的 GRPO 应用于这些模型会导致零方差（ $\sigma_r = 0$ ），导致策略梯度消失，从而无法产生任何学习信号。

2. 方法论：Dropout-GRPO

作者提出了 Dropout-GRPO，该方法通过结构化 Dropout 在潜空间推理过程中注入必要的随机性，同时保持变分推理的理论保证。

核心机制：共享掩码变分 Dropout (Shared-Mask Variational Dropout)

该方法并非采用标准的 Token 级采样，而是在参数层面引入随机性：

掩码生成： 对于每个采样 $k$ ，抽取一个单一的伯努利掩码 $\xi^{(k)}$ 。
一致性： 该掩码在特定采样内的所有 $T$ 个潜空间递归步骤中保持恒定。
扰动： 掩码对网络权重产生结构化扰动 $\tilde{\theta}(\xi)$ 。潜空间递归变为 $h_t = f_{\tilde{\theta}(\xi)}(h_{t-1})$ 。
掩码重放（Mask Replay）： 至关重要的是，在采样阶段会存储掩码的随机数生成器（RNG）种子。在策略更新期间，重新生成并应用相同的掩码。这确保了用于评估奖励的轨迹与在 $\theta = \theta_{old}$ 时用于梯度计算的轨迹是**位一致（bit-identical）**的。

理论解释

贝叶斯模型平均： 遵循 Gal 和 Ghahramani 的理论，共享掩码将每次采样视为来自参数结构化分布的单个后验样本。边缘策略 $\bar{\pi}_\theta$ 被解释为一种贝叶斯模型平均。
梯度无偏性： 作者证明，使用仅含均值的优势函数（ $A^{(k)} = r^{(k)} - \mu_r$ ）的代理梯度是期望奖励之梯度（针对边缘策略）的无偏估计量，缩放因子为 $(1 - 1/K)$ 。
方差缩减： 通过在更新时重用与采样时相同的掩码（共同随机数法），该方法比在更新时重新采样新的掩码具有更低的方差。

实现优化

为了稳定训练，引入了四项具体的改进措施：

Huber 化 $k_3$ KL： 使用 Huber 式扩展取代标准 KL 散度估计中的截断（clamping），以防止梯度在具有大对数比例的 Token 上消失，避免“逃逸”的 Token 在缺乏正则化的情况下发生漂移。
置信区间退火（Trust-Region Annealing）： KL 系数 $\beta$ 随学习率 $\eta_t$ 按比例退火，以防止策略被锁定在 KL 拉力抵消策略梯度的平衡点上。
组级准确率过滤器： 丢弃经验准确率 $\mu_r$ 超出配置窗口（例如 $[0.20, 0.95]$ ）的组。这起到了一种涌现式课程学习的作用，将计算资源集中在具有非平凡方差的提示词上。
DDP 协调跳过（DDP-Coordinated Skip）： 在丢弃组时确保分布式训练的一致性。

3. 主要贡献

开创潜空间强化学习的新范式： 本文识别了确定性潜空间递归是导致 GRPO 失效的原因，并提出了共享掩码变分 Dropout，这是一个极简且在理论上清晰的解决方案。它是第一个成功将组相对强化学习应用于连续潜空间推理模型的方案。
理论证明：
- 证明了在标准 Transformer 正则性条件下，潜空间雅可比矩阵 $\partial h_T / \partial \theta$ 是定义良好的。
- 证明了针对边缘策略的代理梯度的无偏性。
- 论证了掩码重放通过共同随机数实现了方差缩减。
实验验证： 成功将 GRPO 应用于 GSM8K 基准测试上的 COCONUT 模型，在这一领域，确定性 GRPO 会完全失效。
参考实现： 发布了能够实现整个潜空间递归过程中位一致掩码重放的代码。

4. 实验结果

实验使用 Qwen2.5-1.5B 作为基座模型，潜空间深度设为 $T=6$ 。

性能提升： Dropout-GRPO 将 GSM8K 的 pass@1 准确率从 COCONUT 基线的 27.29% 提升至 29.01%。
能力恢复： 该方法逆转了由课程训练导致的 SVAMP 数据集 1.33 个百分点的性能退化，将其恢复至 44.00%（匹配基座模型的方差）。
消融研究：
- 确定性 GRPO： 完全失效，由于优势值为零，其训练轨迹呈现出与 SFT 初始化完全一致的平坦状态。
- REINFORCE + Dropout (EMA)： 由于高方差而失败；单次采样的梯度噪声太大，无法稳定 SFT 初始化。
- Dropout-GRPO： 是唯一能产生可行学习信号的配置，证实了在这一设定下，组相对基线对于方差缩减至关重要。

5. 重要性与主张

本文将这项工作定位为一种实用且具有理论依据的方法，用于后训练（post-training）潜空间推理大语言模型（LLM）。

可行性： 它证明了对直接在隐藏状态中进行推理的模型进行 RL 后训练是可行的，而此前这种能力因缺乏采样多样性而被阻断。
机制： 它将 Dropout 重新定义为一种结构化外生随机性来源，而非传统的正则化手段（在现代 LLM 中 Dropout 通常会被禁用），这对于变分策略优化是必需的。
局限性： 作者对提升幅度表现得较为谦逊（在 GSM8K 上仅提升 1.72 个百分点），并将其归因于基座模型规模较小（1.5B）以及缺乏合适的简洁步骤推理数据集。他们指出，部署策略（不带 Dropout 的推理）与优化的边缘策略存在差异，这引入了一个取决于 Lipschitz 常数的偏差。

总之，Dropout-GRPO 弥合了组相对强化学习与连续潜空间推理之间的鸿沟，使得此前因确定性内部动力学而无法利用 GRPO 的模型得以进行优化。