💬 NLP

EBPO: Empirical Bayes Shrinkage for Stabilizing Group-Relative Policy Optimization

本文提出了 EBPO 框架，通过利用经验贝叶斯收缩估计器将局部组基线正则化为全局先验，有效解决了 GRPO 在小样本和全零奖励场景下的估计方差高及梯度消失问题，从而显著提升了大语言模型强化学习的训练稳定性与推理性能。

原作者： Kevin Han, Yuhang Zhou, Mingze Gao, Gedi Zhou, Serena Li, Abhishek Kumar, Xiangjun Fan, Weiwei Li, Lizhu Zhang

发布于 2026-02-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Kevin Han, Yuhang Zhou, Mingze Gao, Gedi Zhou, Serena Li, Abhishek Kumar, Xiangjun Fan, Weiwei Li, Lizhu Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇文章介绍了一种名为 EBPO 的新方法，旨在让大语言模型（LLM）在解决数学、逻辑等复杂问题时变得更聪明、更稳定。

为了让你轻松理解，我们可以把训练 AI 想象成教一群学生参加数学竞赛。

1. 背景：现在的训练方法出了什么问题？

目前主流的方法叫 GRPO（组相对策略优化）。它的运作方式有点像**“小组讨论”**：

老师（算法）给出一道题（Prompt）。
让同一个学生（模型）尝试写出 $G$ 个不同的答案（比如 4 个或 8 个）。
然后，老师把这 $G$ 个答案放在一起比较：谁做对了给奖励，做错了给惩罚。
核心逻辑：如果这组答案里大部分都错了，老师就认为“这题太难了”，大家都不用受罚；如果大部分都对了，只有个别错了，那个错的就要受重罚。

GRPO 的两大痛点：

“人少好办事”的陷阱（小样本方差大）：如果老师只让每个学生试 2-3 次（小组人数 $G$ 很小），运气成分太大。比如学生刚好蒙对了一个，老师就以为他全会了；或者刚好全蒙错了，老师就以为这题太难直接放弃。这种“盲人摸象”导致训练很不稳定。
“全军覆没”的尴尬（梯度消失）：如果一道题特别难，学生试了 4 次全错了（奖励全是 0）。在 GRPO 看来，既然大家都一样错，那就没有“相对优势”了，老师就停止教学（梯度为 0），这一轮训练就白费了。

2. EBPO 的解决方案：引入“全校平均分”

EBPO（经验贝叶斯策略优化）的核心思想是：不要只看眼前这个小小组，要参考全校的历史表现。

创意比喻：从“班级小考”到“全校大考”

想象一下，你正在教一个学生做奥数题。

GRPO 的做法（只看小组）：
你让学生做 4 道题，结果全错了。
- GRPO 说：“哎呀，这 4 道题全错了，说明这组题太难了，或者学生今天状态不好，反正大家表现一样，我不评价了，下一题！"
- 结果：学生失去了改进的机会，因为老师没有给出具体的反馈。
EBPO 的做法（结合全校）：
你让学生做 4 道题，结果全错了。
- EBPO 说：“虽然这 4 道题全错了，但我记得全校历史上，这种类型的题目（比如代数题）通常有 60% 的通过率。这说明这题其实没那么难，是你这次发挥失常了！”
- 行动：EBPO 会给学生一个**“惩罚信号”**，告诉他：“你比平均水平差，需要反思！”
- 如果题目真的很难（全校历史上这种题只有 5% 的通过率）：
  EBPO 会说：“好吧，这题确实难，大家全错也正常，我不怎么惩罚你，我们换个思路。”

核心技术：收缩估计（Shrinkage Estimator）

EBPO 使用了一种叫“收缩估计”的数学技巧。它把**“眼前小组的平均分”和“全校历史平均分”**做一个加权平均。

如果小组人数多、表现稳定，就主要听小组的。
如果小组人数少、或者表现太离谱（全对或全错），它就更多地参考“全校历史数据”，把极端的判断“拉回”到合理的范围。

这就好比**“去噪”**：把那些因为运气好或运气坏产生的噪音过滤掉，保留真实的信号。

3. EBPO 带来的三大好处

永不放弃的反馈（解决梯度消失）
哪怕学生一次都没做对，EBPO 也能根据题目难度给出反馈。如果是简单题全错，它会严厉批评（给负反馈）；如果是难题全错，它会温和鼓励。这样，每一轮训练都有意义，不会浪费数据。
小样本也能练好（节省算力）
以前的方法必须让模型试很多次（比如 32 次）才能算出个准数，非常烧显卡。EBPO 因为借用了“全校历史数据”作为参考，哪怕只试 4 次甚至 8 次，也能练得非常好。这大大降低了训练成本。
循序渐进的“课程表”（课程学习）
论文还发现，如果把题目按**“从易到难”**排序（先做简单的，再做难的），EBPO 的效果会爆炸式提升。这就像教学生：先做简单的加减法建立信心，再慢慢上奥数。EBPO 能更好地利用这种顺序，让模型学得更稳。

4. 总结

EBPO 就像一位经验丰富的老教练：
他不仅看学生这一次的表现，还会结合过去所有学生的表现和题目的难度来综合判断。

当学生表现波动大时，他靠经验稳住局面。
当学生全军覆没时，他依然能给出建设性的批评，而不是直接放弃。
他懂得因材施教，用更少的练习次数（小样本），达到更好的训练效果。

最终结果：在数学竞赛（如 AIME、奥林匹克数学）的测试中，使用 EBPO 训练的模型比传统方法更强、更稳，而且更省钱（算力消耗更低）。

EBPO 论文技术总结：基于经验贝叶斯收缩的组相对策略优化稳定化

1. 研究背景与核心问题

在大语言模型（LLM）的后训练阶段，可验证奖励强化学习（RLVR） 已成为提升模型推理能力（如数学解题、代码生成）的关键范式。目前主流的 组相对策略优化（Group Relative Policy Optimization, GRPO） 方法通过在一个 Prompt 下采样一组回答并计算组内相对优势来避免训练额外的价值网络（Critic），具有计算高效的优势。

然而，GRPO 在实际应用中面临两个关键的稳定性挑战：

小样本下的高方差估计：当组大小（Group Size, $G$ ）较小时，仅依赖局部组内均值作为基线（Baseline）会导致优势估计（Advantage Estimation）方差极高，产生噪声梯度。
饱和失败模式下的梯度消失：在“饱和失败”场景下（即模型对某个困难 Prompt 的所有尝试均失败，所有奖励为 0），组内相对优势变为 0，导致梯度消失（Vanishing Gradients），训练步骤被浪费。现有的改进方法（如 DAPO）通常通过丢弃这些不稳定样本解决，但这造成了数据浪费。

2. 方法论：EBPO (Empirical Bayes Policy Optimization)

作者提出了 EBPO，一种将经验贝叶斯（Empirical Bayes, EB） 推断引入 GRPO 框架的新方法。其核心思想是“借用全局统计信息的强度”来正则化局部的组基线。

2.1 核心机制：收缩估计器 (Shrinkage Estimator)

EBPO 不再孤立地估计每个 Prompt 的基线，而是假设每个 Prompt 的潜在成功概率来自一个全局分布。它构建了一个收缩估计器，动态平衡局部组统计量与全局先验：

全局先验：利用模型的历史表现估计全局平均成功率 $\mu_{glob}$ 和全局方差 $\tau^2$ 。
局部统计：当前 Prompt 组内的奖励均值 $\mu_{group}$ 和组内方差 $\sigma^2$ 。
智能基线 (Smart Baseline)：
$V^{EB}_q = (1 - S_q)\mu_{group} + S_q\mu_{glob}$
其中收缩因子 $S_q$ $S_{q}$ 由组内方差与组间方差的比率动态决定：
$S_q = \frac{\sigma^2/G}{\sigma^2/G + \tau^2}$
- 当组内噪声大（ $\sigma^2$ 大）或组间差异小（ $\tau^2$ 小）时， $S_q$ 增大，基线更多地向全局均值收缩，降低方差。
- 当组内信号强时， $S_q$ 减小，保留局部信息。

2.2 在线更新与扩展性

为了适应在线训练，EBPO 使用 Welford 在线算法 动态维护全局均值 $\mu_{glob}$ 和方差 $\tau^2$ 的估计，避免了小批量统计带来的噪声，确保计算高效且可扩展。

2.3 课程学习 (Curriculum Learning)

为了解决训练数据异质性（如混合简单算术与复杂微积分）导致的全局先验“不匹配”问题，EBPO 引入了聚类采样策略：

主题聚类 (Topic Clustering)：按数学领域（代数、几何等）分组。
难度聚类 (Difficulty Clustering)：按模型通过率从易到难排序。
这种策略使得在线估计器能更快适应局部分布，减少估计误差。

3. 理论贡献与保证

论文从理论上证明了 EBPO 优于标准 GRPO：

非消失梯度 (Non-Vanishing Gradients)：在饱和失败场景（所有奖励为 0）下，GRPO 的梯度为 0，而 EBPO 由于引入了全局先验 $\mu_{glob}$ ，会产生非零的惩罚信号（ $-S\mu_{glob}$ ），指导模型学习。
均方误差 (MSE) 降低：证明了 EBPO 基线在估计真实任务难度 $\theta_q$ 时，其均方误差严格低于 GRPO 的无偏样本均值。这是通过引入少量偏差（Bias）换取方差（Variance）的大幅降低来实现的。
熵衰减边界：理论分析表明，EBPO 通过收缩正则化协方差，严格限制了策略熵的衰减速度，防止策略过早坍缩（Mode Collapse），从而维持更好的探索能力。

4. 实验结果

作者在多个基准测试（AIME-2024/2025, OlympiadBench, MATH-500 等）和不同规模的模型（LLaMA3-8B, Qwen3-8B/14B）上进行了验证。

4.1 性能表现

全面超越：EBPO 在绝大多数模型和基准测试中均优于 GRPO、DAPO、Dr. GRPO 等基线。
Qwen3-8B 案例：在 AIME-2024 等基准上，EBPO 的平均 Pass@1 达到 64.39%，比 GRPO 高出 5% 以上。
小样本高效性：在组大小 $G=8$ 的极端资源受限设置下，EBPO 比 GRPO 高出 11.28% 的性能，证明了其在小样本下极强的稳定性。

4.2 训练稳定性

梯度流：EBPO 在整个训练过程中保持了健康的梯度范数，避免了 GRPO 在后期出现的梯度消失现象。
更新幅度：EBPO 严格限制了每一步的 KL 散度（更新幅度），防止了策略的剧烈震荡和崩溃。
探索能力：EBPO 维持了更高的策略熵，表明其能更好地平衡利用（Exploitation）与探索（Exploration），从而在验证集上表现出更强的泛化能力和峰值性能。

4.3 课程学习效应

结合难度分层的课程学习（EBPO-diff），EBPO 在解决高难度竞赛级问题（如 AIME, OlympiadBench）时表现尤为突出，证明了结构化数据排序对稳定经验先验估计的重要性。

5. 意义与总结

EBPO 的核心贡献在于将经验贝叶斯推断引入在线强化学习循环，解决了组相对策略优化中固有的方差高和梯度消失问题。

理论层面：提供了严格的 MSE 降低证明和非消失梯度保证，填补了理论空白。
实践层面：显著降低了训练对大组大小（Large Group Size）的依赖，使得在计算资源受限的情况下也能进行高效的推理模型训练。
方法论创新：首次将收缩估计器直接集成到 GRPO 的优势计算中，并通过难度/主题聚类优化了先验估计，为 LLM 的强化学习训练提供了一种更稳健、更高效的范式。

这项工作表明，通过在强化学习中引入共享的语义先验（Shared Semantic Rationales），可以显著提升模型在复杂推理任务上的表现，是通往精英级数学推理能力的一条理论稳健且计算高效的路径。