🤖 machine learning

ESPO: Early-Stopping Proximal Policy Optimization

该论文提出了 ESPO（早停近端策略优化），这是一种强化学习算法，通过动态终止失败的推理轨迹以消除噪声并节省计算资源，从而在 AIME 和 MATH-500 等基准测试中提升数学推理性能，同时将 token 使用量降低 20% 以上。

原作者： Zihang Li, Rui Zhou, Yingcheng Shi, Wenhan Yu, Zhewen Tan, Zixiang Liu, Zeming Li, Binhua Li, Yongbin Li, Tong Yang, Jieping Ye

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zihang Li, Rui Zhou, Yingcheng Shi, Wenhan Yu, Zhewen Tan, Zixiang Liu, Zeming Li, Binhua Li, Yongbin Li, Tong Yang, Jieping Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教导一位非常聪明但有时过于自信的学生（一个大语言模型）如何解决复杂的数学问题。

问题：错误转向的“沉没成本”

在当前的模型训练方法（称为 PPO）中，学生被给定一个问题，并被要求逐步写出完整的解题过程。

这里有个陷阱：如果学生在第一句话中就犯了一个微小的错误——比如误认了一个数字或选错了公式——那么整篇文章的其余部分就注定失败了。无论他们接下来写的 500 个单词多么优美，答案都是错误的。

然而，标准的训练方法迫使学生在犯错后继续写作，直到达到严格的字数限制。

浪费：计算机花费时间和能量生成数百个毫无用处的单词，这些单词永远不会获得“好成绩”。
困惑：当老师（算法）查看整篇文章以决定如何教导学生时，它会感到困惑。它看到结尾处巨大的“坏”文本块，会认为“哦，学生在句子的末尾表现不好”，而不是意识到问题始于开头。这种“噪声”使得学习过程更慢、效率更低。

解决方案：ESPO（“早期停止”教练）

这篇论文介绍了一种名为ESPO（Early-Stopping Proximal Policy Optimization，早期停止近端策略优化）的新方法。将 ESPO 想象成一位实时观察学生的教练，他有权说：“停！你已经偏离轨道了。让我们重新开始。”

以下是 ESPO 的工作原理，使用简单的类比：

1. “后悔”雷达
每当学生选择一个单词时，模型都会计算一个“后悔分数”。

类比：想象学生有一种直觉，知道哪个单词最好（即“贪婪”选择）。如果他们选择的单词与这种直觉大相径庭，后悔分数就会上升。
神奇之处：ESPO 不需要新老师或人类来评估每一步。它只需查看学生自己的内部“直觉”（单词选择背后的数学逻辑），就能判断他们是否在犹豫或胡乱猜测。

2. “价值”闸门
教练还会检查一个“价值表”。这个表预测当前路径中还有多少“好”东西。

逻辑：如果学生走在一条看似有希望的路径上（高价值），教练会给他们一点余地来从一个小错误中恢复。但如果路径看起来毫无希望（低价值），并且学生表现出高后悔（困惑），教练会立即切断电源。

3. “吸收失败”规则
当 ESPO 叫停学生时，它不仅仅是说“再试一次”。它将该特定时刻标记为终端失败。

类比：ESPO 不会让学生写 500 个胡言乱语的单词，然后给整篇文章打零分，而是说：“你在这里犯了错。文章其余部分不存在。”
好处：这向学生发出了一个非常清晰、尖锐的信号：“错误发生在这里，而不是在结尾。”这帮助学生确切地知道他们哪里错了，而不会被随后产生的垃圾文本所干扰。

结果：更快、更聪明、更便宜

这篇论文在不同规模的模型上针对数学问题（如 AIME 和 AMC 竞赛）测试了这种方法。

更好的成绩：与标准方法相比，使用 ESPO 训练的模型在这些高难度数学测试中实际上获得了更高的分数。它们正确解决了更多问题。
节省能量：由于模型在知道自己出错时就停止写作，它们节省了通常浪费在生成无用文本上的20% 以上的计算机算力（token）。
无需额外老师：与其他需要雇佣人类来评估推理每一步的方法不同，ESPO 利用模型自身的内部信号自动完成这一过程。

总结

简而言之，ESPO 是一种训练技术，它能阻止语言模型在已经崩溃的思维链条上浪费时间和能量。通过尽早切断“坏”的部分并清晰标记错误发生的位置，它帮助模型学习得更快、解决更难的问题，并减少计算资源的消耗。

技术摘要：ESPO（早停近端策略优化）

问题陈述

在大型语言模型（LLM）的强化学习（RL）中，特别是在长程推理任务中，近端策略优化（PPO）等标准算法存在“ rollout 延续问题”。当模型犯下早期且不可恢复的推理错误（例如数学计算错误或逻辑谬误）时，标准 PPO 会强制策略继续生成 token，直到达到固定时间步（ $T_{max}$ ）。

该过程引入了两个关键的低效问题：

计算浪费：模型在永远不会获得正向奖励的 token 上消耗了大量算力。
梯度噪声：这些失败后的 token 与来自成功轨迹的 token 一起被纳入优势估计中。这用“失败后噪声”污染了梯度方向，使学习过程偏离实际的失败模式，并可能激励策略压缩其 logit 分布，而非解决任务。

现有的解决方案，如过程奖励模型（PRMs），需要对中间步骤进行昂贵的人工标注。其他方法如 GRPO 或 DAPO 改进了信用分配，但仍为每条轨迹耗尽完整的时间步。学习终止模块（如 Option-Critic）增加了模型复杂度，并需要单独的优化目标。

方法论：ESPO

作者提出了ESPO（早停近端策略优化），这是一种轻量级机制，可在线检测轨迹失败并提前终止 rollout，而无需额外的奖励模型或人工标注。ESPO 修改的是 rollout 收集阶段，而非 PPO 目标本身。

核心组件

每步代理遗憾（ $g_t$ ）：
ESPO 使用 Actor 已生成的 logits 在每个时间步计算遗憾信号。它衡量采样 token 与策略最偏好（贪婪）动作之间的偏差：
$g_t = \max_{a \in V} \log \pi_\theta(a | s_t) - \log \pi_\theta(a_t | s_t)$
较大的 $g_t$ 表明模型采样了一个显著低于其模式偏好的动作，暗示可能偏离了正确的推理路径。
归一化累积停止统计量（ $z_t$ ）：
为了处理训练过程中的尺度变化， $g_t$ 使用批次级别的指数移动平均（EMA）统计量（ $\mu_g, \sigma_g$ ）进行归一化。该归一化信号随后在时间上进行平滑，形成累积遗憾值：
$z_t = \alpha_s z_{t-1} + (1 - \alpha_s) \tilde{g}_t$
关键在于，EMA 统计量仅在批次边界更新，以防止当前 rollout 中未来步骤的信息泄露。
价值门控早停：
如果累积遗憾显著超过当前状态的估计价值，则终止 rollout：
$z_t > \beta \cdot \max(V_\phi(s_t), \epsilon)$
该门控机制确保具有高预测未来回报（高 $V_\phi$ ）的状态对偏差具有更大的容忍度，从而防止对正确但非模式 token（高熵步骤）的过早终止。
吸收失败转移：
一旦终止，轨迹被视为吸收失败状态。停止步骤接收终端惩罚（ $r_{fail}$ ），且不再进行进一步解码。这将负的时间差分（TD）误差集中在检测到的失败步骤上，允许误差信号通过广义优势估计（GAE）干净地向后传播，而不会受到后续无关 token 的噪声干扰。
Critic 预热：
为了防止由随机初始化的 Critic 的高方差引起的虚假早停，ESPO 采用自适应预热期。在 Critic 表现出稳定的学习动态之前，停止规则将被禁用。

主要贡献

高效的 rollout 终止：ESPO 引入了一种机制，仅利用标准 Actor-Critic PPO 中已有的信号（logits 和价值估计）来检测和截断失败轨迹，所需的额外计算可忽略不计。
噪声减少：通过将截断视为带有终端惩罚的吸收失败状态，ESPO 将负 TD 误差隔离到失败点，消除了通常在标准 PPO 中破坏梯度更新的“失败后噪声”。
正交性：该方法与现有的信用分配改进（如 GRPO 或 DAPO）正交，可以叠加在任何 PPO 风格的优势估计器之上。
无需外部监督：与 PRMs 不同，ESPO 不需要步骤级的人工标注或单独的奖励模型。

实验结果

作者在 DeepSeek-R1-Distill-Qwen-1.5B 和 7B 模型上评估了 ESPO，这些模型在三个基准测试中进行了数学推理训练：AIME 2024、AMC 2023 和 MATH-500。

性能提升

7B 规模：ESPO 在所有基准测试中均优于标准 PPO 和 DAPO：
- AIME 2024：46.28%（对比 PPO 的 45.25%，DAPO 的 45.57%）
- AMC 2023：85.83%（对比 PPO 的 82.94%，DAPO 的 83.76%）
- MATH-500：87.42%（对比 PPO 的 85.43%，DAPO 的 85.95%）
- 平均准确率：73.17%（对比 PPO 的 71.20%，DAPO 的 71.76%）。
1.5B 规模：ESPO 实现了 59.09% 的平均准确率，超过了 PPO（57.03%）和 DAPO（58.29%）。

效率提升

Token 节省：在 7B 规模上，ESPO 相比 PPO 减少了 >20% 的累积 rollout token，相比 DAPO 减少了 ~19%。
消融研究：
- 移除 Critic 预热 使性能下降了 2.1 分，证实了其在防止未校准价值基线偏差方面的作用。
- 移除 终端失败惩罚 使性能下降了 2.6 分，突显了集中负 TD 信号的重要性。
- 随机停止（变体 F）尽管 Token 节省相似，但准确率显著较低（42.4% 对比 46.3%），证明改进源于轨迹被截断的位置（基于遗憾/价值），而不仅仅是训练更短的序列。

意义与主张

该论文声称，ESPO 为提升 LLM 的长程推理提供了一个可扩展、计算高效的框架。其主要意义在于通过以下方式解决 rollout 延续问题：

消除浪费的计算：针对无法恢复的轨迹。
净化策略梯度：通过移除失败后噪声，而无需辅助奖励模型或人工标注。
保持探索：该方法不会导致熵崩溃；事实上，通过移除原本会迫使策略针对非失败 token 锐化其分布的虚假梯度信号，它减缓了熵衰减的速度。

作者指出了模型的局限性，即针对“错误但高度自信”（logit 差距较小）的模型，以及需要手动调整截断率的超参数，并建议未来的工作应集中在自适应机制及扩展到多轮代理设置上。