🤖 machine learning

Predictable GRPO: A Closed-Form Model of Training Dynamics

本文介绍了“可预测的 GRPO”（Predictable GRPO），这是一种基于第一性原理的闭式模型，它通过将经验观察与机制参数相统一，从数学上解释了组相对策略优化（Group Relative Policy Optimization）的训练动态，从而实现了对奖励轨迹的精确拟合、稳定性阈值的预测，以及针对各种模型配置中特定失效模式的诊断。

原作者： Rajat Ghosh, Datta Nimmaturi, Aryan Singhal, Vaishnavi Bhargava, Henry Wong, Johnu George, Debojyoti Dutta

发布于 2026-07-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rajat Ghosh, Datta Nimmaturi, Aryan Singhal, Vaishnavi Bhargava, Henry Wong, Johnu George, Debojyoti Dutta

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明但有点固执的机器人解决数学问题。你使用一种叫做 GRPO（群体相对策略优化）的方法。简单来说，就是让机器人尝试多次解决同一个问题（一个“群体”尝试），看看哪些答案最好，然后引导机器人的大脑去做更多正确的事，少做错误的事。

长期以来，观察这个过程的科学家们一直在说：“嘿，机器人的得分起初增长很快，然后变慢，最后达到一个天花板。”他们画出了一条简单的曲线来描述这个现象，但他们并不真正了解其中的原因。这就像是在观察一辆汽车爬坡，仅凭一张照片就猜测速度，却并不理解引擎。

这篇名为 《可预测的 GRPO》（Predictable GRPO） 的论文，就像是掀开了那辆车的引擎盖，向你展示了引擎内部。作者构建了一个数学模型，利用物理学的语言解释了机器人是如何学习的。

核心思想：将机器人视为一个摆锤

作者发现，机器人的学习过程不仅仅是一个简单的上坡过程。相反，它的行为完全像一个重力摆锤或汽车上的减震器。

以下是他们用日常类比拆解出的“引擎”：

1. 惯性（沉重的摆动）

论文主张： 机器人具有“动量”。
类比： 想象你在推一个沉重的秋千。即使你停止推，它也会因为很重而继续运动一段时间。在机器人的训练中，“动量”设置使得机器人即使在即时反馈发生微小变化时，也会在同一方向上持续学习一段时间。这创造了一个**“慢启动”**阶段。机器人不会立即跳到答案，它必须积累速度，就像那个沉重的秋千一样。

2. 阻尼（减震器）

论文主张： 存在“阻尼”来减缓摆动，防止其失控。
类比： 汽车上的减震器可以防止汽车在撞到颠簸后不停地上下跳动。在机器人身上，这种“阻尼”来自于机器人检查旧指令与新指令的频率。如果机器人等待太久才进行检查（较长的“刷新间隔”），减震器就会变弱。如果减震器太弱，机器人就会开始振荡（剧烈地前后摆动），而不是平稳地沉降下来。

3. 刚度（弹簧）

论文主张： 存在一种“刚度”，将机器人拉向最佳得分。
类比： 想象一个连接在秋千上的弹簧。弹簧想要把秋经过中心（完美得分）。“刚度”就是这个弹簧的力量。如果弹簧很弱，机器人需要很长时间才能到达顶峰。如果弹簧很强，它就能快速到达。

三大发现

作者利用这个“摆锤模型”做出了三个具体的预测，并对它们进行了测试：

1. “慢启动”是真实存在的
之前的模型认为机器人的得分从第一秒起就是平滑上升的曲线。作者证明了由于“重力摆动”（惯性）的存在，实际上存在一个慢启动过程。机器人在加速之前会犹豫片刻。他们的新模型完美捕捉到了这个“凸起”，而旧的简单模型则忽略了这一点。

2. 群体大小不会改变路径（只改变噪声）
机器人一次尝试 $G$ 个答案（“群体大小”）。作者发现，无论机器人尝试 4 个还是 16 个答案，它学习的平均路径是完全相同的。

类比： 想象你在迷雾森林中行走。如果你独自一人走（小群体），你可能会跌跌撞撞（噪声）。如果你带着 15 个朋友一起走（大群体），你们会抵消掉彼此的踉跄，走得更平稳。但你们前进的方向是完全一致的。论文证明了改变群体大小只会改变路径看起来有多“嘈杂”，而不会改变路径本身。

3. 不稳定性的“临界点”
模型预测了一个特定的“临界点”。如果你让机器人等待太久才检查其旧指令（“刷新间隔”），或者如果你推得太猛（学习率过高），“减震器”就会失效。

类比： 如果你推秋千推得太猛，或者在错误的时间放手，它就不再平稳摆动，而是开始疯狂乱甩。作者计算出了这种情况发生的精确数学逻辑。他们在机器人的一个简化版本（“softmax-bandit”）上测试了这一点，并观察到机器人确实在他们数学预测的时刻，从平稳攀升转变为剧烈的振荡摆动。

他们是如何测试的

他们并没有仅仅靠猜测；他们在三个不同的 AI 模型（规模从 15 亿到 70 亿个“神经元”）解决数学问题的实验中进行了测试。

拟合度： 当他们将“摆锤数学”与实际的机器人得分进行对比时，该数学模型与实际数据的匹配度达到了 91% 到 97%。
诊断工具： 他们创建了一套“体检工具”。如果一个机器人开始表现不佳，你可以通过这些工具查看原因。是因为机器人正在“作弊”（奖励黑客行为/reward hacking）？是因为它卡在了某一种特定类型的答案上（模式崩溃/mode collapse）？还是因为“减震器”坏了导致它在剧烈振荡？他们的模型可以分辨这些问题，而旧的方法做不到这一点。

总结

这篇论文将 AI 训练这个“黑盒”变成了一台透明的机器。与其说“机器人学习，然后停止”，他们说的是：“机器人是一个带有弹簧和减震器的重力摆锤。如果你知道摆锤的重量和弹簧的强度，你就可以准确预测它的运动方式、何时启动以及何时可能失控。”

他们证明了这种基于物理学的视角不仅适用于简单的数学，也适用于复杂的 AI 模型，并且解释了为什么改变尝试次数（群体大小）只会改变噪声，而不会改变目的地。

技术摘要：可预测的 GRPO：训练动力学的闭式模型

问题陈述

虽然组相对策略优化（GRPO）已成为通过基于可验证奖励（RLVR）的强化学习来增强大语言模型（LLM）推理能力的标准机制，但其底层的训练动力学在很大程度上仍处于经验阶段。目前的理解依赖于将奖励轨迹拟合为低参数函数形式（例如单指数饱和），而其中的常数缺乏机械意义。因此，超参数的选择仍然是一个试错过程，且不同的失效模式——如奖励作弊（reward hacking）、优势退化（advantage degeneracy）和策略集中（policy concentration）——在标准的奖励曲线分析中经常被混淆。本文旨在建立一个基于第一性原理的、具有机械解释性的模型，以解释 GRPO 的训练动力学，并提供与可测量量相关的可证伪预测。

研究方法

作者通过结合理论推导和在三个模型（Nemotron-Mini-4B, DeepSeek-LLM-7B-Chat, DeepSeek-R1-Distill-Qwen-1.5B）以及两种组大小（ $G \in \{4, 16\}$ ）上的经验验证，开发了一个 GRPO 训练动力学的降阶模型。

理论框架

核心理论贡献是将离散的 GRPO 更新规则简化为连续时间的随机强迫阻尼振子。该推导主要基于两个步骤：

平均场假设（Mean-Field Assumption）： 策略由标量序参数 $p(\theta) = \mathbb{E}_{o \sim \pi_\theta}[R]$ （即期望奖励）表示。这假设动力学受该期望演化的主导，并引入了先前研究（Mroueh, 2025）中存在的稳定不动点 $p^\star$ 和收缩性质。
二阶展开（Second-Order Expansion）： 对包含动量 $\mu$ $μ$ 和离策滞后 $\tau = K_{ref}\delta$ $τ = K_{r e f} δ$ 的离散更新进行步长 $\delta$ $δ$ 和刷新滞后 $\tau$ $τ$ 的二阶展开。
- 动量（Momentum） 促进梯度流向二阶系统演化，从而提供惯性。
- 离策滞后（Off-policy lag，即延迟策略刷新） 引入额外的惯性，但会侵蚀阻尼。
- 组大小（ $G$ ） 仅作为噪声温度进入系统，缩放随机强迫的强度。

由此得到的误差 $e = p - p^\star$ 的运动方程为：
$M_{eff} \ddot{e} + C_{eff} \dot{e} + K_{eff} e = \sqrt{D/G} \xi(t)$
其中有效质量（ $M_{eff}$ ）、阻尼（ $C_{eff}$ ）和刚度（ $K_{eff}$ ）由优化器超参数（ $\eta, \mu$ ）、刷新间隔（ $K_{ref}$ ）和有效势能的曲率尺度（ $K$ ）通过闭式形式给出。

实验方案

作者使用以下手段验证模型：

训练： 在 GSM8K 数据集上使用二元可验证奖励进行 GRPO 训练。
诊断： 记录内部变量（优势方差、策略熵、KL 散度、梯度范数、重要性采样比率）以区分动力学不稳定与平均场前提的失效。
评估： 在分布内（GSM8K）和分布外（涵盖从小学水平到奥林匹克数学水平的八个数学基准测试）进行迁移评估。
精确还原（Exact Reduction）： 一个受控的 Softmax 带宽实验，在该实验中平均场假设严格成立，用于在没有深度网络近似误差的情况下测试稳定性阈值和振荡转换。

核心贡献

1. GRPO 动力学的降阶模型

论文推导出了一个描述 GRPO 为阻尼振子的闭式随机微分方程（定理 7）。其系数有明确定义：

质量（ $M_{eff}$ ）： 由动量和离策滞后决定。
阻尼（ $C_{eff}$ ）： 由动量和离策滞后造成的侵蚀共同决定。
刚度（ $K_{eff}$ ）： 由 KL 锚定权重和奖励景观的局部曲率决定。

2. 对经验定律的机械性重新解释

该模型将观察到的单指数饱和定律归纳为所推导振子的过阻尼极限。

经验中的“平台期”被识别为不动点 $p^\star$ 。
经验中的“时间尺度”被识别为刚度的倒数（ $1/K_{eff}$ ）。
训练曲线中观察到的“慢启动”阶段（单指数模型无法捕捉）通过保留的惯性项得到解释（命题 14），从而预测了三阶段轨迹：慢启动、快速上升和平台期。

3. 可证伪的预测与诊断

模型的预测与独立可测量的量相关，而非仅仅是拟合常数：

组大小不变性（Group-Size Invariance）： 确定性轨迹与 $G$ 无关； $G$ 仅影响稳态波动幅度（ $\propto 1/G$ ）。
稳定性阈值： 当 $K \eta K_{ref} > 1 - \mu$ 时，会出现向不稳定的剧烈转变。
过阻尼到振荡的转换： 通过改变刷新间隔 $K_{ref}$ ，应当能诱导出从单调收敛到阻尼振荡的转换。
失效模式分离： 作者通过四种诊断手段来区分：
- 训练-评估脱节（奖励作弊）： 训练与评估饱和率之间的差异。
- 优势退化： 组内奖励方差坍缩导致 $0/0$ 型优势。
- 策略集中： 策略熵迅速下降，而奖励继续上升。
- 动力学不稳定： 梯度范数或重要性采样比率的无界增长。

结果

经验验证

曲线拟合： 在三个模型和两种组大小下，推导出的三阶段定律对训练奖励轨迹的拟合优度 $R^2 \ge 0.91$ 。引入惯性项显著改善了拟合效果，尤其是在捕捉初始慢启动阶段方面优于单指数模型。
组大小不变性： 将 $G$ 从 4 增加到 16，平均轨迹和拟合平台（ $R_\infty$ ）基本保持不变，仅减少了运行间的离散度，证实了 $1/G$ 噪声缩放的预测。
分布外迁移： 在 GSM8K 上的 GRPO 训练对八个外部基准测试产生了正向迁移。增益在靠近训练分布的任务（如 GSM-Plus）上最大，而在远离分布的高难度任务（如 AIME-2026）上减小，其中推理蒸馏模型表现出最强的鲁棒迁移能力。
稳定性与振荡： 在标准的 GSM8K 运行中（使用较小的学习率），所有模型都保持在稳定的过阻尼状态。然而，在精确 Softmax 带宽实验中，作者通过扫过 $K_{ref}$ 成功诱导了预测的过阻尼到振荡的转换。经验稳定性阈值与使用独立测量的刚度 $K$ 得出的理论预测 $K \eta K_{ref} = 1 - \mu$ 相符。

诊断发现

奖励作弊： 在 $G=4$ 时，DeepSeek-LLM-7B-Chat 等模型显示出奖励作弊迹象（训练-评估脱节），而 $G=16$ 时的推理蒸馏 Qwen-1.5B 则保持了健康的耦合。
模式坍缩： 诊断工具成功识别了优势构建发生退化（提示词坍缩）或策略集中侵蚀了平均场假设的场景，从而将其与单纯的动力学不稳定区分开来。

意义与主张

本文声称提供了一种关于 GRPO 训练的机械性解释，将该领域从超参数调优的“艺术”转变为“科学”。通过将复杂的高维动力学简化为闭式二阶系统，作者认为：

可预测性： 训练轨迹可以基于超参数和单个测量的曲率尺度进行预测，而非事后拟合。
诊断能力： 模型提供了特定的读数，用以区分那些在标准奖励曲线上难以辨别的不同失效模式。
理论统一： 它将经验缩放定律（Nimmaturi et al., 2025; Ghosh et al., 2026）统一为更广义物理模型的特定极限。

作者对研究范围保持谦逊，指出该模型是一个降阶近似，以基于平均场假设和小步长展开为前提。他们承认，在深度网络中演示振荡状态（通过提高 $\eta$ 或 $K_{ref}$ 来诱导不稳定）是留给未来工作的课题，因为目前的 GSM8K 运行被刻意配置为保持在稳定的过阻尼状态。精确还原实验作为概念验证，证明了预测的物理特性（稳定性阈值和振荡）是动力学本身的属性，而非深度网络近似产生的伪影。