🤖 machine learning

Hindsight-Anchored Policy Optimization: Turning Failure into Feedback in Sparse Reward Settings

该论文针对稀疏奖励下强化学习面临的梯度崩溃与分布偏差难题，提出了一种名为“后见之锚策略优化”（HAPO）的新方法，其通过基于汤普森采样的门控机制引入合成成功注入，在利用教师演示作为临时支架的同时，随着策略提升自动退火教师信号，从而在理论上实现了渐近一致性并恢复无偏的策略梯度。

原作者： Yuning Wu, Ke Wang, Devin Chen, Kai Wei

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuning Wu, Ke Wang, Devin Chen, Kai Wei

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种名为 HAPO（后见之锚策略优化）的新方法，旨在解决人工智能（特别是大语言模型）在“稀疏奖励”环境下学习困难的问题。

为了让你轻松理解，我们可以把训练 AI 的过程想象成教一个学生解数学题。

1. 核心难题：学生学不会，老师教太死

在传统的训练方法中，我们面临两个极端：

纯强化学习（RL）的困境：
想象老师让学生自己做题，做对了给糖（奖励），做错了没糖。但在高难度数学题（稀疏奖励）中，学生可能做了几百道题都全错，根本拿不到一次“糖”。因为没有反馈，学生就像在黑暗中摸索，不知道哪里错了，最后要么放弃，要么瞎猜。这就是论文说的“优势崩溃”。
混合策略（SFT+RL）的困境：
为了解决这个问题，以前的方法是：老师直接给学生看标准答案（监督微调 SFT），或者让学生一半时间自己猜，一半时间看答案。
但这有个大问题：老师给的“标准答案”可能不是最优解，或者学生已经学会了，老师还在那儿死板地教，反而限制了学生发挥。就像学生已经能解微积分了，老师还非要让他背乘法口诀，这会导致学生永远无法超越老师，甚至忘了自己原本学会的东西（分布偏移）。

2. HAPO 的解决方案：聪明的“后悔药”与“智能开关”

HAPO 的核心思想是：只在学生真正“卡壳”的时候，才给他看标准答案；一旦学生有能力了，就立刻放手让他自己飞。

它通过两个关键机制来实现：

A. “合成成功注入” (SSI) —— 聪明的“后悔药”

场景：老师给出一组题目，让学生尝试。
传统做法：不管学生做得多烂，都按部就班地教。
HAPO 的做法：老师会观察这一组尝试。如果学生这一组全错了（或者大部分错了，信心很低），老师就会说：“好吧，看来你们现在搞不定。在这个最差的尝试里，我把你的答案擦掉，强行换成一个经过验证的正确答案（老师示范）。”
比喻：这就像学生做题做崩了，老师立刻递给他一张“作弊小抄”（但只给最烂的那次），让他看看正确答案长什么样，帮他找回信心。这叫“后见之明”（Hindsight），即事后诸葛亮，但在关键时刻很有用。

B. “汤普森采样门控” —— 智能的“开关”

场景：什么时候该给“作弊小抄”，什么时候该让学生自己干？
HAPO 的做法：它不像以前的方法那样设定一个死板的规则（比如“前 100 次给答案，后 100 次不给”）。相反，它像一个聪明的教练，实时计算学生的“自信心分数”。
- 如果学生信心很低（经常做错），教练就打开开关，注入老师的答案。
- 如果学生信心很高（经常做对），教练就关闭开关，让学生完全靠自己探索。
比喻：这就像学骑自行车。刚开始你摇摇晃晃（信心低），教练会扶着车后座（注入老师答案）；当你骑得稳了（信心高），教练就悄悄松手，让你自己骑。教练不会一直扶着，也不会一开始就松手。

3. 为什么 HAPO 更厉害？（理论优势）

论文里有一个很酷的理论发现：

以前的混合方法：就像教练一直扶着车，哪怕你骑得飞起来了，教练的手还搭在车上。这导致你永远无法超越教练，因为你的动作被教练的手限制了（存在“分布偏差”）。
HAPO 的方法：随着你骑得越来越稳，教练扶你的概率会自动变成零。
- 结果：在训练初期，它利用老师的答案帮你起步（低方差）；在训练后期，它完全放手，让你基于真实的奖励去优化（无偏梯度）。
- 结论：HAPO 确保了模型最终能超越老师，达到老师都没想到的最优解，而不是被老师“锁死”在某个水平。

4. 实验结果：真的有效吗？

作者在数学推理任务（比如奥数题）上测试了 HAPO：

它比纯靠自己摸索（纯 RL）强很多。
它比那些死板地混合老师答案的方法（如 LUFFY）更强。特别是在 MATH-500 数据集上，成绩提升了 2.4 分。
训练过程观察：使用 HAPO 的模型，随着训练进行，它使用“老师答案”的次数越来越少，而且生成的解题步骤长度保持稳定（没有像其他方法那样因为过度依赖老师而变短）。

总结

HAPO 就像一位懂得“因材施教”和“适时放手”的超级教练。

它不会在学生迷茫时不管不顾，也不会在学生成才时还死死抓着不放。它利用“后见之明”在关键时刻提供拐杖，一旦学生能自己走路，就立刻撤掉拐杖，让模型在稀疏奖励的困难环境中，既能快速起步，又能最终超越人类老师的水平。

论文技术总结：Hindsight-Anchored Policy Optimization (HAPO)

1. 研究背景与问题定义 (Problem)

背景：
强化学习验证奖励（RLVR）已成为大语言模型（LLM）后训练推理能力的关键范式。然而，在**稀疏奖励（Sparse Reward）**设置下，现有的策略优化方法面临两难困境：

纯强化学习（Pure RL）： 如 GRPO，在模型初始能力不足时容易遭遇“冷启动”问题，导致优势估计崩溃（Advantage Collapse）和梯度估计方差过高，难以发现有效解。
混合策略优化（Mixed-Policy）： 如 LUFFY、SRFT 等，试图在训练过程中静态地混合监督微调（SFT）数据和 RL 数据。虽然能缓解冷启动，但引入了持续性的分布偏差（Persistent Distributional Bias）。静态的混合策略会将模型限制在教师（Teacher）分布的流形上，导致模型无法超越教师水平，且容易引发灾难性遗忘。

核心问题：
如何在稀疏奖励环境下，自适应地平衡“探索（RL）”与“模仿（SFT）”？即如何动态决定何时利用教师示范进行引导，何时让模型进行纯 RL 探索，同时避免静态混合策略带来的分布偏移和性能上限？

2. 方法论 (Methodology)

本文提出了后见之锚策略优化（Hindsight-Anchored Policy Optimization, HAPO），旨在通过动态机制解决上述冲突。

2.1 核心组件

合成成功注入算子 (Synthetic Success Injection, SSI)：
- 这是一个“后见之明”（Hindsight）机制。当模型在某个 Prompt 的采样组（Group）中表现不佳（低置信度）时，SSI 算子会将该组中表现最差的轨迹替换为来自验证解的高置信度教师示范（Teacher Demonstration）。
- 这相当于在模型失败时提供“合成成功”的梯度信号，作为临时的脚手架（Scaffold）引导优化方向。
基于 Thompson Sampling 的自 paced 门控机制 (Thompson Sampling-Inspired Gating)：
- 为了决定何时应用 SSI，HAPO 引入了一种基于贝叶斯置信度的动态门控。
- 置信度计算： 将每个 Prompt 的成功率建模为 Beta 分布。根据当前采样组中成功轨迹的数量（二项分布），计算后验均值作为置信度分数 $c_i$ 。
- 动态门控： 设定阈值 $\gamma$ $γ$ 。
  - 若 $c_i < \gamma$ （模型表现不确定或失败）：门控打开，应用 SSI，引入教师示范进行监督学习。
  - 若 $c_i \ge \gamma$ （模型表现自信）：门控关闭，仅进行纯 RL 探索。
- 这种机制形成了一个自 paced（Self-paced）课程：随着模型能力提升，置信度增加，教师干预的概率自然衰减。

2.2 目标函数

HAPO 的目标函数 $J_{HAPO}$ 是动态组合的：

原始轨迹： 使用标准的 GRPO 策略梯度（Clipped Surrogate Objective）。
教师轨迹（被注入的）： 使用监督微调（SFT）损失，但根据贝叶斯置信度 $c_i$ 对概率分布进行重塑（Policy Shaping）。
公式形式上结合了在线生成（Online）和离线参考（Offline）两种信号，但权重由门控机制动态调整。

3. 理论贡献 (Theoretical Contributions)

渐近一致性 (Asymptotic Consistency)：
- 证明了随着策略 $\pi_\theta$ 的改进，模型成功率的期望值 $\mu(\theta)$ 会超过阈值 $\gamma$ 。
- 根据霍夫丁不等式（Hoeffding's Inequality），低置信度事件（即需要教师干预）的概率 $P(c_i < \gamma)$ 会随训练步数呈指数级衰减至 0。
- 结论： 当训练收敛时，HAPO 的梯度估计器会自然退化为无偏的 On-policy 梯度（即纯 RL 梯度），从而消除了静态混合策略中固有的渐近偏差。
偏差 - 方差分解分析：
- 静态混合策略： 收敛误差包含一个非零的渐近偏差项（ $\lambda \|\nabla L_{SFT}\|$ ），导致模型被“ tethered"（束缚）在教师分布上，无法超越教师。
- HAPO： 在训练早期利用低方差的教师信号减少梯度方差；在后期自动消除偏差项。理论上允许模型超越教师（Surpass the teacher），达到更优的 RL 最优解。

4. 实验结果 (Results)

实验基于数学推理基准（AIME2024, MATH-500, OlympiadBench），使用 Qwen2.5-Math-7B 作为基座模型。

主要性能：
- AIME2024: HAPO 得分为 36.7，与当前最强的混合策略 LUFFY (36.7) 持平，显著优于纯 GRPO (27.0)。
- MATH-500: HAPO 得分为 87.0，显著优于 LUFFY (84.6) 和纯 GRPO (83.0)，提升了 +2.4 个百分点。
- Olympiad: HAPO 得分为 51.4，略优于 LUFFY (51.8) 和 GRPO (49.2)。
训练动态分析：
- 教师样本利用率： HAPO 在训练初期大量使用教师样本，随后随着模型能力提升，SFT 样本的使用量显著下降并波动，体现了自适应特性。相比之下，LUFFY 在整个训练过程中保持稳定的 SFT 样本使用率（静态策略）。
- 生成长度： LUFFY 在训练中期到后期表现出明显的生成长度下降（可能由于过度模仿教师或分布偏移），而 HAPO 在整个训练过程中保持了一致且稳定的推理长度，表明其更好地维持了模型的泛化能力和探索性。

5. 意义与结论 (Significance & Conclusion)

解决分布漂移困境： HAPO 成功解决了 RL 探索与 SFT 模仿之间的分布漂移矛盾。它不再将教师示范视为静态约束，而是作为动态的、临时的“脚手架”。
超越静态混合策略： 通过理论证明和实验验证，HAPO 克服了静态混合方法（如 LUFFY, SRFT）的渐近偏差问题，使得模型最终能够摆脱教师分布的限制，达到甚至超越教师的性能水平。
稀疏奖励下的鲁棒性： 在数学推理等稀疏奖励场景中，HAPO 提供了一种无需人工干预的自适应课程学习方案，有效缓解了冷启动问题并保证了训练后期的无偏优化。

总结： HAPO 通过引入“后见之明”的锚定机制和基于 Thompson Sampling 的动态门控，实现了一种理论上具有渐近一致性、实践中性能优越的 RLVR 训练框架，为构建更强大的推理模型提供了新的范式。