技术摘要：面向 GRPO 的 Rollout 级优势优先经验回放

问题陈述

使用组相对策略优化（GRPO）进行基于可验证奖励（RLVR）的强化学习已成为大语言模型（LLM）后训练推理的标准。然而，GRPO 本质上是样本效率低下的。在标准的在策略（on-policy）设置中，针对每个提示词生成一组候选 rollout，用于单次梯度更新，随后便被丢弃。对于那些携带强学习信号的 rollout（例如一组错误答案中的罕见正确答案），这种做法尤其浪费。

经验回放（ER）是其他强化学习领域提高样本效率的常用技术，但它无法直接迁移到 GRPO，主要有两个原因：

1. 策略快速漂移： LLM 策略在每次梯度步长中都会发生显著变化。存储的 rollout 会迅速变得“陈旧”，且在没有控制的情况下使用它们会导致训练不稳定。
2. 组级粒度： 标准 GRPO 将每个 rollout 的学习信号聚合为单个查询级的价值。朴素的重放方案通过存储和采样整个组（查询级）会无法隔离出驱动学习的高信号特定 rollout。

现有的尝试将重放应用于 GRPO 的方法通常面临无界陈旧性的问题，或者依赖于查询级优先信号（如组方差），而后者无法解析出其中包含最具信息量梯度的组内少数派 rollout。

方法论

作者提出了一种专门为 GRPO 设计的 Rollout 级优势优先经验回放缓冲池。该方法集成了三个核心组件来解决陈旧性和信号隔离问题：

1. 年龄驱逐（陈旧性控制）

为了限制重用数据的策略滞后，缓冲池采用了年龄驱逐机制。每个存储的 rollout 都被标记了一个“出生步数”（$t_b$）。在任何训练步 $t$，该 rollout 的年龄为 $t - t_b$。任何年龄超过最大阈值 $\tau_{max}$ 的 rollout 都会被驱逐。

• 与随模型规模和数据难度变化的容量驱动驱逐不同，年龄驱逐提供了一个与模型大小无关的步级陈旧性界限。
• 这确保了没有任何更新会在超过固定训练步数后重复使用某个 rollout，从而减轻了在显著偏离策略的数据上进行训练的风险。

2. 新鲜锚定组合

作者拒绝了标准的“池化组合”（即将新鲜数据和重放数据混合进同一个 batch），转而采用新鲜锚定组合。

• 在每个训练步，保留完整的、新鲜的在策略（on-policy）rollout 批次。
• 从缓冲池中采样一组独立的重放 rollout，并将其连接（concatenate）到新鲜批次之后。
• 这确保了每一次梯度更新都包含一个“新鲜锚点”，从而独立于重放部分来限制最坏情况下的策略滞后。这在较大模型规模下至关重要，因为观察发现，在单个池中混合陈旧数据和新鲜数据会使性能下降到标准 GRPO 以下。

3. Rollout 级 $|A_i|$ 优先级

该缓冲池不存储和采样整个组（查询级），而是存储并采样单个 rollout。

• 优先级信号： 采样的优先级是单个 rollout 的绝对优势幅度 $|A_i|$。在 GRPO 中，$A_i$ 是组相对优势。具有较大 $|A_i|$ 的 rollout（通常是偏斜组中的少数派，例如一组错误答案中的单个正确答案）提供了大部分的学习信号。
• 机制： 通过在 rollout 级别进行采样，该方法可以有选择地回收这些在高信号少数派中经常被丢弃的高价值 rollout。这与查询级信号（如组方差 $\sigma_g$）形成对比，后者将组内的所有 rollout 视为同等对待，无法优先处理特定的少数派实例。

训练过程（算法 1）包括：生成新鲜的 rollout，过滤掉零方差组，基于 $|A_i|$ 优先级从经过年龄门控的缓冲池中采样重放 rollout，并在连接后的批次上执行 GRPO 更新。

核心贡献

1. 新型重放架构： 本文引入了一种专为 GRPO 设计的重放缓冲池，结合了年龄驱逐、新鲜锚定组合和 Rollout 级 $|A_i|$ 优先级。
2. 经验优越性： 该方法在三个模型规模（0.6B、1.7B 和 4B）以及五个数学推理基准测试上，表现优于标准 GRPO 和朴素重放基线（均匀采样和 $\sigma_g$ 优先级配合池化组合）。
3. 规模化收益： 性能增益随模型规模增长。在 4B 规模下观察到最大的提升，与 GRPO 相比，五个基准测试的平均准确率提升了 4.35 个百分点 (pp)。
4. 效率分析： 使用同时衡量准确率和 Token 生成长度的准确率-效率得分（AES），该方法显示出相对于 GRPO 的显著效率优势，尤其是在 4B 规模下（+0.579 AES）。
5. 消融实验： 各维度的消融验证了每个组件的必要性：
   • 年龄驱逐： 一个适中的上限（$\tau_{max}=10$）平衡了重放量与陈旧性；较大的上限会导致由于策略滞后而导致的性能下降。
   • 组合方式： 新鲜锚定组合在规模化时至关重要；池化组合会导致 4B 模型性能跌至标准 GRPO 以下。
   • 优先级： Rollout 级 $|A_i|$ 优先级显著优于查询级信号（$\sigma_g$ 或均匀采样），特别是在提高 pass@k（采样多样性）方面。

结果

• 准确率： 在五个基准测试平均值（MATH-500, AIME25, AIME26, HMMT-F25, HMMT-F26）上，所提方法使 4B 模型达到了 31.06% 的准确率，而标准 GRPO 为 26.71%，最佳朴素基线为 26.70%。
• 采样多样性： 该方法提高了 pass@k 指标，表明它保留了标准 RLVR 常会收窄的采样多样性。在 4B 规模下，该方法在 pass 指标上超过 GRPO +10.06 pp。
• Token 效率： AES 分析揭示了响应长度的不对称变化：模型为正确 rollout 生成更长的响应（4B 时 +34.9%），并为错误 rollout 生成更短的响应（4B 时 -10.2%）。这表明该方法通过将更多 Token 分配给高概率正确解，同时压缩错误尝试，从而优化了 Token 预算。

意义与主张

本文声称其方法为 GRPO 在可验证奖励数学推理任务上提供了一种样本高效的训练程序。其意义在于证明了经验回放可以成功适配 LLM 后训练的独特约束（快速漂移和组相对优势），而不会导致训练不稳定。

作者对其贡献进行了审慎的界定，指出：

• 该方法目前仅限于二元可验证奖励（数学推理），并未声称在无需进一步研究的情况下能泛化到非可验证奖励（如学习到的奖励模型）或其他 RL 算法（如 PPO、REINFORCE）。
• 观察到的规模化趋势是在测试范围（0.6B 至 4B）及特定提示集内进行的；尚未验证其在更大规模或非数学领域的迁移能力。
• 结果基于单一训练种子和特定的评估设置，尽管使用多个基准测试提供了间接的稳定性指标。

最终，这项工作确立了Rollout 级优先级结合严格的陈旧性控制，能够有效地回收 GRPO 中的高价值学习信号，从而随着模型规模的增加，在准确率和 Token 效率方面均实现实质性提升。