🤖 machine learning

AGPO: Adaptive Group Policy Optimization with Dual Statistical Feedback

本文提出了一种名为自适应组策略优化（AGPO）的无评论强化学习框架，该框架利用组级统计量动态调整截断边界和解码温度，从而相较于标准 PPO 和 GRPO 方法，提升了大语言模型在数学和 STEM 基准测试上的推理性能。

原作者： Miaobo Hu, Shuhao Hu, Bokun Wang, Ruohan Wang, Xin Wang, Xiaobo Guo, Daren Zha, Jun Xiao

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Miaobo Hu, Shuhao Hu, Bokun Wang, Ruohan Wang, Xin Wang, Xiaobo Guo, Daren Zha, Jun Xiao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教导一位非常聪明的学生（一个大语言模型）如何解决高难度的数学问题。你提出一个问题，它尝试作答，然后你告知它回答正确与否。目标是帮助它从错误中学习，并随时间推移不断进步。

本文介绍了一种名为AGPO（自适应组策略优化）的新教学方法。为了理解其独特之处，让我们对比一下旧方法与新方法。

旧方法：僵化的教练

此前，PPO 或 GRPO 等方法采用“固定”的规则集。想象一位教练，无论学生表现如何，始终使用相同的两个设置：

** “安全网”（截断）**：如果学生尝试了可能具有风险的“巨大”思维跳跃，教练就会将其截断。但无论学生是初出茅庐还是近乎大师，教练每次使用的安全网大小都完全相同。
** “创造力旋钮”（温度）**：当学生生成答案时，可以非常严格（仅允许一个可能答案）或非常富有创造力（尝试多种大胆想法）。教练将此旋钮设定为一个固定数值，且永不更改。

问题所在：这种僵化的方法非常脆弱。

早期阶段：学生感到困惑，需要尝试大胆、富有创造力的想法来寻找正确路径。固定且严格的设置会阻碍其充分探索。
后期阶段：学生已接近答案，但状态 jittery（不稳定）。固定且宽松的设置可能导致其过度跳跃，从而忘记刚刚学到的内容。
结果：教练必须花费大量时间手动微调这些旋钮（调优）才能使其奏效，即便如此，学生仍可能陷入停滞或崩溃。

新方法：自适应教练（AGPO）

AGPO 就像一位实时观察学生表现并即时调整规则的教练。它不需要另一位“评判者”（critic）来指示其行动；它只需查看学生当前生成的答案群体。

教练使用两个相互协作的主要工具：

1. “智能安全网”（自适应截断）

教练不再使用固定的安全网，而是观察学生答案的变异程度。

如果答案五花八门（分歧度高）或奖励信号混乱，教练便知道学生存在不确定性。此时，他们会放宽安全网，让学生承担更大的风险以加速学习。
如果答案混乱或学生跳跃剧烈（不稳定性高），教练会收紧安全网，防止学生犯下足以破坏其进展的巨大错误。
隐喻：这就像冲浪者调整站姿。若海浪平静，他们可以大幅倾斜身体；若海浪汹涌，他们则需蹲低身体以保持稳定。

2. “动态创造力旋钮”（自适应温度）

教练还会调整学生被允许展现的“创造力”程度。

当学生感到困惑（高不确定性）时，教练将旋钮调至高创造力。这鼓励学生尝试多种不同方法以寻找解决方案。
当学生充满信心（低不确定性）时，教练将旋钮调至低创造力。这帮助学生聚焦并坚持其找到的最佳答案，而不是盲目游移。
隐喻：这就像恒温器。如果房间（问题）寒冷且令人困惑，教练会调高热量（探索）以温暖环境；如果房间已经炎热且清晰，他们则调低热量以保持稳定。

实际运作效果

论文在九项不同的数学和科学测试（如 GSM8K 和 MATH 基准测试）上测试了这位“自适应教练”。他们使用了一个名为 Qwen2.5-14B 的强大模型。

结果如下：

更高的分数：经过 AGPO 训练的学生得分显著高于采用旧有僵化方法（PPO 和 GRPO）训练的学生。例如，在 GSM8K 数学测试中，其准确率达到67.3%，超越了此前的最佳成绩。
更快的学习速度：尽管使用的“思考时间”（token）相同，其达到高准确度水平的时间比旧方法快了约1.6 倍。
普适性：他们在其他学生模型（Llama-3 和 Gemma-2）上也尝试了该方法，效果同样出色，证明这是一种通用改进，而不仅仅是针对特定模型的技巧。

核心结论

AGPO 是一种更智能的 AI 推理训练方式。它不再使用“一刀切”的规则手册，而是像一位响应灵敏的教练，持续检查学生的信心水平和问题的难度，即时调整“风险限制”和“创造力水平”。这带来了更快、更稳定的学习过程，以及在棘手数学和科学问题上更优异的成果。

技术摘要：AGPO——具有双重统计反馈的自适应组策略优化

1. 问题陈述

强化学习（RL）已被证明能有效提升大语言模型（LLM）的推理能力，特别是通过近端策略优化（PPO）和组相对策略优化（GRPO）等算法。然而，现有方法通常依赖固定超参数来处理两个关键组件：

裁剪半径（ $\epsilon$ ）： 策略更新中的信任区域大小是静态的，忽略了训练批次不断演变的不确定性。
解码温度（ $\tau$ ）： 用于轨迹生成的采样温度是固定的，无法适应不断变化的奖励景观。

作者认为，这些固定设置在人类反馈强化学习（RLHF）中会导致三个反复出现的问题：

繁琐的调优： 需要大量人工努力来设置信任区域和解码超参数。
探索与利用的不匹配： 单一设置无法同时支持早期阶段的探索和后期阶段的稳定性。
脆弱的收敛： 由于奖励分散度、答案分歧和 KL 漂移的变化，固定参数可能导致早期阶段更新不足，或在后期阶段引发不稳定的策略跳跃。

2. 方法论：AGPO

作者提出了自适应组策略优化（AGPO），这是一种轻量级的、无需价值评论家（critic-free）的 GRPO 改进方案。AGPO 用两个由共享探针衍生的统计状态驱动的自适应控制器，取代了固定的超参数。

核心架构：一个探针，两个控制器

AGPO 对为单个提示采样的一组 $G$ 个轨迹（rollouts）进行操作。在主策略更新之前，一个探针阶段以基础温度（ $\tau_{base}$ ）运行，以提取组级统计量。这些统计量驱动两个不同的控制器：

A. 自适应裁剪（更新幅度控制）

AGPO 不使用固定的 $\epsilon$ ，而是利用一个平衡探索与稳定性的公式计算自适应裁剪半径（ $\epsilon_{adaptive}$ ）：
$\epsilon_{adaptive} = \text{clip}\left( \epsilon_{base} \frac{H(\pi_{old}) (1 + \delta E_{probe})}{1 + \alpha \hat{\sigma} + \zeta |\tilde{\kappa}_3(r)| + \gamma \hat{D}^{step}_{KL}}, \epsilon_{min}, \epsilon_{max} \right)$

扩张信号（增加 $\epsilon$ ）： 高策略熵（ $H(\pi)$ ）和高探针投票熵（ $E_{probe}$ ）表明存在认知不确定性或探索不足，从而促使更大的信任区域。
收缩信号（减小 $\epsilon$ ）： 高奖励分散度（ $\hat{\sigma}$ ）、奖励偏度（ $|\tilde{\kappa}_3(r)|$ ）和步长 KL 漂移（ $\hat{D}^{step}_{KL}$ ）表明存在优化风险，从而促使更紧的信任区域以防止不稳定的跳跃。
机制： 这使得算法在批次不确定时采取更大的步长，而在奖励信号嘈杂或策略漂移过快时采取较小的步长。

B. 双向自适应温度采样（ATS）

AGPO 引入了**自适应温度采样（ATS）**来控制轨迹收集期间的轨迹多样性。

不确定性估计： 根据奖励分散度、探针分歧和偏度计算不确定性分数 $U_t$ 。
中心化： 该分数通过指数移动平均（EMA）维护的运行基线（ $\bar{U}_t$ ）进行中心化。
温度调整： 采样温度 $\tau_t$ $τ_{t}$ 相对于 $\tau_{base}$ $τ_{ba se}$ 进行调整：
$\tau_t = \text{clip}\left( \tau_{base} (1 + \lambda \tilde{U}_t), \tau_{min}, \tau_{max} \right)$
- 升温： 如果当前批次比基线更不确定（ $\tilde{U}_t > 0$ ），则增加 $\tau_t$ 以鼓励探索。
- 降温： 如果批次更确定（ $\tilde{U}_t < 0$ ），则降低 $\tau_t$ 以鼓励利用。

训练过程

训练循环遵循探针 - 训练结构：

在 $\tau_{base}$ 下采样探针组。
计算组统计量并更新控制器状态（ $\epsilon_{adaptive}$ 和 $\tau_t$ ）。
使用新的 $\tau_t$ 重新采样训练轨迹。
使用自适应 $\epsilon_{adaptive}$ 和 GRPO 代理目标更新策略。
将测得的步长 KL 漂移传递到下一步。

3. 主要贡献

自适应裁剪： 一种感知统计的 $\epsilon$ ，根据奖励分散度、偏度、探针分歧、策略熵和 KL 漂移动态调整信任区域，消除了对固定裁剪半径的需求。
共享探针双重控制： 一种新颖的设计，单个探针阶段同时驱动更新幅度（裁剪）和探索策略（温度），在无需价值评论家的情况下实现了更好的探索/稳定性权衡。
一致的增益： 在相等的生成 token 预算下，在九个英语和中文数学/STEM 基准测试中展示了改进，并成功迁移到不同的模型系列（Llama-3-8B, Gemma-2-9B）。

4. 实证结果

作者在 Qwen2.5-14B、Llama-3-8B 和 Gemma-2-9B 上评估了 AGPO，涵盖了九个基准测试（GSM8K, MATH, OCW, SAT, MMLUSTEM, CodeContests, CMATH, GaokaoMath-Cloze, GaokaoMath-QA）。

性能： 在 Qwen2.5-14B 上，AGPO 在 GSM8K 上达到了 67.3%，在 MATH 上达到了 40.5%。
- 这比标准 PPO 高出 8.3 个百分点 (pp)，比最强的消融实验（仅具有自适应裁剪的 AGPO）高出 1.4 pp。
- AGPO 在所有九个基准测试中均优于所有基线（PPO、自适应 KL PPO、DPO、固定裁剪 GRPO）。
效率： 与 GRPO 相比，AGPO 产生的开销微乎其微（吞吐量下降约 3%），但在达到目标准确率（GSM8K 上的 65%）方面，其吞吐量比 PPO 快 约 1.5 倍，挂钟时间快 约 1.6 倍。
跨模型迁移： 在 Llama-3-8B 和 Gemma-2-9B 上增益一致，证实该方法不特定于单一模型系列。
消融研究：
- 自适应裁剪和 ATS 均做出了积极贡献；移除任一者都会导致性能下降。
- 鲁棒性： 当使用中位数绝对偏差（MAD）或四分位距（IQR）等稳健分散度估计量代替标准差时，该方法保持稳定，特别是在二值或重尾奖励的情况下。
- 信号重要性： 留一法消融实验证实，所有四个信号（分散度、偏度、探针熵、步长 KL）均对准确率和训练稳定性有所贡献。

5. 意义与局限性

意义：
本文将 AGPO 定位为减少 RLHF“繁琐调优”性质的重大一步。通过使用可观察的组级统计量来自动化控制更新幅度和探索，AGPO 提供了一种无需价值评论家的替代方案，具有计算高效和鲁棒的特点。作者强调，这种方法针对的是平衡探索与稳定性至关重要的推理基准测试。

局限性：
作者谦逊地指出，AGPO 依赖于** reasonably stable 的组级统计量**。该方法在以下场景中可能面临挑战：

奖励误设。
奖励黑客攻击。
极度稀疏或对抗性噪声奖励。

论文总结道，虽然当前的实现是有效的，但处理这些极端奖励条件仍然是未来研究的一个开放方向。