想象一下，你是一位正在试图帮助一群学生（即大型语言模型）学习如何解决困难数学题的老师。你拥有的课堂时间（即“展开预算”，rollout budget）是有限的，你需要用这段时间来处理大量的练习题。

旧方法：“一刀切”模式

在标准方法（称为 GRPO）中，老师对待每个学生和每个问题的方式都是完全一样的。无论一个问题是极其简单、难如登天，还是难度适中，老师投入的时间都完全相同。

问题所在： 如果一个学生已经掌握了某个问题的答案，那么花更多时间在上面就是在浪费时间。如果一个问题太难以至于学生完全无法理解，那么即使多花时间也是徒劳且令人沮丧的。老师在那些无法教给学生新知识的问题上浪费了宝贵的时间，导致留给那些真正能帮助学生进步的问题的时间变少了。

新方法：CERO（“智能导师”）

这篇论文介绍了一种名为 CERO 的新方法。你可以把 CERO 想象成一位聪明的、具有适应能力的导师，她会密切观察学生，并决定动态地将剩余的课堂时间花在何处。

CERO 的运作方式如下，我们使用简单的类比来解释：

1. “信心计” (Beta 后验概率)
对于每一个问题，CERO 都会维持一个心理上的“信心计”。它不仅仅是猜测学生是否能答对；它还会追踪不确定性。

如果学生每次都能答对，计数值会说：“这个我们已经掌握了。别再浪费时间了。”
如果学生每次都答错，计数值会说：“这个现在太难了。让我们换一个。”
如果学生一半时间答对，一半时间答错，计数值会说：“这就是黄金分割点！我们还不确定答案，但我们很接近了。让我们在这里多花点时间！”

2. “收益递减”规则
CERO 知道，针对一个难题进行最初的几次尝试是非常有价值的。但是，如果你一遍又一遍地重复同一个问题，每一次新尝试的价值就会下降（就像吃一块美味的蛋糕：第一口非常惊艳，第十口就只是填饱肚子了）。CERO 使用一个数学规则来确保它不会在某个问题上陷入死循环。

3. “全局预算” (Fenchel-Dual 技巧)
老师有一个严格的总课堂时间限制。CERO 使用一种巧妙的数学技巧（称为“Fenchel-dual 重构”）来充当一个动态的价格标签系统。

想象一下，每个问题都有一个基于其能教给学生的程度而定的“价格”。
“全局预算”就像是老师的钱包。
如果老师花钱（花时间）太快，新问题的“价格”就会上涨，使老师变得更加挑剔。
如果老师还有剩余时间，价格就会下降，从而允许尝试更多的题目。
这确保了老师在下课之前永远不会用完时间，同时始终挑选最有价值的问题。

实验结果

研究人员在几种不同的 AI 模型上通过数学问题测试了该方法。

结果： CERO 在帮助 AI 学习方面始终优于标准方法。
原因： 因为 CERO 不再在 AI 已经掌握或目前无法解决的问题上浪费时间。相反，它将有限的时间集中在那些“金发姑娘原则”（Goldilocks）下的问题上——即那些难度恰到好处，既能提供挑战又不会难到无法完成的问题。
效率： AI 学习得更快，并且在数学竞赛（如 AIME 和 AMC）中的得分更高，且不需要任何额外的计算能力或改变 AI 学习的核心方式。

总结

CERO 就像一位聪明的教练，他不会在运动员已经掌握或目前还做不到的训练项目上浪费练习时间。相反，他专注于那些能在有限时间内最大限度提升运动员表现的特定训练，确保每一分钟的练习都发挥出最大的价值。

技术摘要：用于强化学习后训练的跨轮次自适应采样优化 (CERO)

1. 问题定义

通过强化学习（RL）进行大语言模型（LLM）后训练（特别是使用 GRPO 等算法时），通常依赖于为每个提示词（prompt）采样固定数量的采样序列（rollouts）。这种统一分配策略忽略了不同提示词提供的训练信号的异质性。某些提示词是平凡的（产生一致的成功或失败，方差较低），而另一些则过于困难或已被掌握，从而呈现出递减的边际收益。因此，全球采样预算中的很大一部分被浪费在了学习价值有限的提示词上。

本文将此问题形式化为一个在固定全局预算 $B$ 下的跨轮次在线资源分配问题。与以往进行批次内重新分配或生成后过滤的方法不同，这项工作解决了跨提示词和跨训练轮次的采样分配问题。其目标是最大化收集到的样本的累积效用，其中效用受限于提示词层级的递减收益。该问题在数学上定义为：在满足全局预算约束 $\sum_{i,k} N_{i,k} \le B$ 的条件下，最大化提示词特定效用函数之和 $\sum_i U_i(\sum_k N_{i,k})$ ，其中 $N_{i,k}$ 是在第 $k$ 轮次分配给提示词 $i$ 的采样数量。

2. 方法论：CERO

作者提出了 CERO（Cross-Epoch Adaptive Rollout Optimization，跨轮次自适应采样优化），这是一种基于贝叶斯原-对偶（primal-dual）的在线算法，旨在根据估计的提示词信息量来自适应地分配采样。

2.1 信息量与效用设计

Beta 后验建模： 对于每个提示词 $x_i$ ，CERO 维护一个关于其潜在成功概率 $p_i$ 的 Beta 后验分布，并根据历史采样记录 $H_i^k$ 进行更新。
信息量得分 ( $q_{k,i}$ )： CERO 并非使用成功概率的点估计，而是估计期望伯努利方差： $q_{k,i} = E[p_i(1-p_i) | H_i^k]$ 。当 $p_i \approx 0.5$ （中等难度）时，该得分达到最大值；而对于简单（ $p_i \approx 1$ ）或困难（ $p_i \approx 0$ ）的提示词，该得分趋于零。这有效地识别出了那些提供最具不确定性、从而最具信息量学习信号的提示词。
效用函数： 定义了一个凹的、饱和的效用函数 $U_i(n) = 1 - \exp(-\eta q_i n)$ ，其中 $n$ 是累积采样次数。这捕捉了递减收益的特性：早期在信息丰富的提示词上进行的采样极具价值，但随着采集样本的增加，其边际价值会下降。

2.2 通过 Fenchel-Dual 重构进行优化

效用函数的时序耦合性（依赖于累积分配）使得直接进行在线优化变得困难。CERO 通过 Fenchel-dual 重构解决了这一问题：

问题被转化为一个涉及提示词级对偶变量 $\theta_i$ 和全局预算乘子 $\mu$ 的对偶目标。
这种重构将具有时序耦合性的问题分解为由对偶变量协调的每轮次分配子问题。

2.3 在线原-对偶算法

CERO 可以作为现有 RL 流水线（如 GRPO）之上的一个“即插即用”层运行：

分配决策： 在每一轮次，针对每个提示词，算法求解一个线性子问题。如果一个提示词的估计边际价值（对偶变量 $\theta_i$ ）超过当前的全局预算价格（ $\mu$ ），则该提示词获得最大允许采样数（ $N_{max}$ ）；否则，其获得的采样数为零。
反馈更新： 在生成响应并观察奖励后，更新提示词的 Beta 后验分布，并刷新信息量得分 $q_{k,i}$ 。
对偶变量更新：
- 提示词级 ( $\theta$ )： 通过投影在线梯度下降进行更新，以平衡分配的采样数与当前信息量估计所隐含的效用。
- 预算级 ( $\mu$ )： 根据实际采样消耗与目标预算速率之间的差异进行更新。如果消耗超过速率， $\mu$ 会增加，使未来的分配更具选择性；如果低于速率， $\mu$ 则会减少。

3. 核心贡献

问题形式化： 本文首次将 LLM RL 后训练的采样分配形式化为一个具有提示词特定递减收益的跨轮次固定预算在线优化问题，通过共享的全局预算显式地将决策在整个训练周期内耦合起来。
算法设计： 引入了 CERO，这是一种基于贝叶斯原-对偶算法，利用提示词层级的采样价值后验估计来指导预算分配。它利用后验期望伯努利方差作为可学习性的代理指标，并采用 Fenchel-dual 重构来处理时间上的非可分性。
理论与实证验证：
- 理论： 在固定提示词效用的假设下，作者证明了相对于离线分配基准的 $O(\sqrt{K})$ 遗憾界（regret bound），其中 $K$ 为轮次数。
- 实验： 在数学推理任务（AIME, AMC）上对四种开源 LLM（参数量从 1.5B 到 7B 不等）进行的广泛实验表明，CERO 一致地优于 vanilla GRPO。

4. 实验结果

作者在 DAPO-Math-17K 数据集上使用 DeepSeek-R1-Distill-1.5B、Qwen3-4B（Base 和 Instruct 版）以及 Qwen2.5-Math-7B 对 CERO 进行了评估。

性能： CERO 在所有模型和基准测试中均实现了相对于 vanilla GRPO 的持续提升。根据模型不同，平均增益在 +1.53 到 +6.04 分之间。
效率分析： CERO 的“有效提示词比例”（包含成功和失败响应的提示词在 batch 中的比例，这些响应会产生非零梯度）显著高于 GRPO。
- 在基线 GRPO 中，有效提示词比例随训练进行而急剧下降，表明模型已掌握了许多提示词，导致采样组退化。
- CERO 通过将预算从已掌握的提示词自适应地转移到具有更高不确定性的提示词上，维持了更高的有效提示词比例。
开销： 采样分配更新机制引入的计算开销微乎其微（每次更新小于一秒）。

5. 重要性与主张

本文声称，自适应采样预算分配是提高 RL 后训练样本效率的一个原则性且有效的方向。通过摒弃统一分配，CERO 确保了固定的生成预算被用于提供最具信息量训练信号的提示词。

作者将 CERO 定位为一个“即插即用”的自适应数据收集层，它修改了哪些提示词接收采样以及如何分配采样数量，而不改变底层的策略梯度目标。这项工作强调，当前 RL 后训练的低效不仅源于策略更新规则，还源于次优的数据收集策略。

作者注明的局限性：

理论上的遗憾保证假设提示词效用是固定的，而实现中使用了动态的、逐轮次的插件式后验估计。因此，分析并未完全捕捉到由策略更新和后验刷新引起的非平稳性。
目前的实证验证仅限于数学推理任务；未来工作建议在其他领域和奖励模型上进行更广泛的验证。