🤖 machine learning

Hölder Policy Optimisation

本文介绍了 HölderPO，这是一种广义策略优化框架，通过动态调整 Hölder 均值参数以平衡梯度集中性与方差稳定性，从而解决了组相对策略优化（GRPO）中固定聚合的局限性，并在数学及任务导向基准测试中实现了最先进性能。

原作者： Yuxiang Chen, Dingli Liang, Yihang Chen, Ziqin Gong, Chenyang Le, Zhaokai Wang, Jiachen Zhu, Lingyu Yang, Jianghao Lin, Weinan Zhang, Jun Wang

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuxiang Chen, Dingli Liang, Yihang Chen, Ziqin Gong, Chenyang Le, Zhaokai Wang, Jiachen Zhu, Lingyu Yang, Jianghao Lin, Weinan Zhang, Jun Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教导一位聪明但略显困惑的学生（一个大语言模型）如何解决复杂的数学问题或驾驭电子游戏世界。你提供了一堆练习尝试，对于每一次尝试，你都必须决定：“他们答案中的哪些具体词语是最关键的，必须答对？”

这就是本文要解决的核心挑战。作者提出了一种名为HölderPO（Hölder 策略优化）的新教学方法。

以下是使用简单类比进行的分解：

1. 问题：“一刀切”式的老师

以前的方法（如 GRPO）就像一位总是用同一套规则给学生作文打分的老师。

算术平均数（标准 GRPO）： 这位老师平等地平均对待每一个词。如果学生答对了 90% 的词语，但在一个困难的数学问题中漏掉了一个关键的“顿悟”时刻，这位老师会将那个错失的时刻仅仅视为平均值中的一个微小波动。学生无法从那个具体的错误中获得足够的学习。
几何平均数（其他方法）： 这位老师非常温和。他们平滑了分数，使得没有任何一个词语显得过于重要。这对于学生只需保持一致性的简单任务来说很好，但在困难任务中，它会忽略那些学生终于想通问题的罕见且关键的瞬间。

问题所在： 论文发现，不存在单一的“完美”规则。

在困难、稀疏的任务（如 AIME 数学竞赛）中，正确答案取决于少数几个罕见且精彩的步骤。你需要一位能聚焦于这些特定步骤并忽略其余部分的老师。
在稠密任务（如标准数学作业）中，正确答案分散在许多词语中。你需要一位能纵观全局以避免被噪声迷惑的老师。

2. 解决方案：“旋钮”式老师（HölderPO）

作者创建了一个新系统，其中包含一个单一的旋钮（称为参数 $p$ ），用于控制老师如何给学生打分。

将旋钮调高（高 $p$ ）： 老师变成了一束聚光灯。他们忽略那些平庸、普通的词语， intensely 聚焦于那些“超级正确”或“超级错误”的少数词语。这就像一位教练大喊：“你刚才那一个动作完美无缺！再做一次！”这有助于学生学习罕见且困难的技能。
将旋钮调低（低 $p$ ）： 老师变成了一个广角镜头。他们平等地看待整个词语序列。这防止了学生为了完美化某一个微小细节而忽略其余部分，从而陷入疯狂。这使训练保持稳定和平静。

3. 秘密武器：“动态调度”

本文最大的突破在于认识到你不应该永远将旋钮固定在同一个位置。

想象一下训练一名马拉松运动员：

早期阶段（短跑）： 当运动员还是新手时，他们需要学习特定的、爆发性的动作来起步。你将旋钮调高（高 $p$ ）。你喊道：“专注于那一次完美的步幅！”这放大了那些罕见的、良好的信号，促使他们动起来。
后期阶段（耐力）： 一旦他们学会了如何跑步，他们就需要保持平稳、稳定的节奏，避免绊倒自己的脚。你将旋钮调低（低 $p$ ）。你说：“保持全身平衡流畅。”这防止了他们过度纠正并导致崩溃。

HölderPO 随着训练的进展，自动将旋钮从“高”移动到“低”。 它开始时激进地搜寻那些“顿悟”时刻，结束时则平滑一切以确保稳定的收尾。

4. 结果：赢得比赛

作者将这种“旋钮式老师”在两类挑战上进行了测试：

数学竞赛（AIME、MATH 等）： 动态方法实现了 54.9% 的平均准确率，显著超越了之前的最佳方法。它通过成功放大那些罕见的、正确的推理步骤，打破了最难数学问题（AIME）的纪录。
机器人/智能体任务（ALFWorld）： 在一个模拟世界中，智能体需要寻找、清洁和加热物体，该方法实现了 93.8% 的成功率。这非常巨大，因为它意味着智能体在长期、多步骤的任务中很少会迷路或困惑。

总结

将 HölderPO 想象成一位聪明的训练教练，它知道何时对学生大喊以专注于特定的突破，以及何时让他们冷静下来以确保他们不犯错。通过在这两种模式之间自动切换，它以前所未有的速度和可靠性教会 AI 模型解决难题。

技术摘要：Hölder 策略优化（HölderPO）

1. 问题陈述

组相对策略优化（GRPO）已成为对齐具备复杂推理能力的大语言模型（LLM）的主导且计算高效的算法，其显著优势在于消除了对外部评论家模型的需求。然而，GRPO 依赖一种固定的聚合机制，将轨迹级优势映射到 token 级策略更新。具体而言，它使用算术平均（ $p=1$ ）来聚合序列内的 token 级重要性比率。

作者指出了这种静态方法的一个关键局限性：不同的推理任务表现出不同的信号密度，没有任何单一固定的聚合函数是普遍最优的。

稀疏信号任务（例如 AIME，其中正确的推理步骤罕见且幅度大）：像算术平均这样的固定聚合往往通过将罕见的“顿悟时刻”与平庸的 token 进行平均而稀释它们，或者反过来，未能充分放大它们。
稠密信号任务（例如 MATH，其中监督信号分布在许多 token 上）：过度集中于高比率 token 的聚合可能会引发高方差的梯度更新，导致训练崩溃。

实证观察揭示了一种权衡：防止训练崩溃的固定聚合往往无法在稀疏任务上产生峰值性能，而那些在稀疏任务上最大化性能的聚合往往在稠密任务上表现出不稳定性。本文认为，最优的概率聚合不是一个常数，而是任务信号密度和训练进度的函数。

2. 方法论：HölderPO

为了解决这一问题，作者提出了HölderPO，这是一个通用的策略优化框架，通过Hölder 平均（或 $p$ -范数）统一了 token 级概率聚合。

核心机制

HölderPO 不再使用固定均值，而是用一个标量 $p \in \mathbb{R}$ 对聚合算子进行参数化。给定一系列 token 级重要性比率 $\{r_{i,t}(\theta)\}$ ，序列级代理项 $\rho_{i,p}(\theta)$ 定义为：
$\rho_{i,p}(\theta) = \begin{cases} \left( \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} r_{i,t}(\theta)^p \right)^{1/p} & \text{if } p \neq 0 \\ \exp\left( \frac{1}{|y_i|} \sum_{t=1}^{|y_i|} \log r_{i,t}(\theta) \right) & \text{if } p = 0 \end{cases}$
该公式恢复了标准的 GRPO（ $p=1$ ，算术平均）和 GSPO/GMPO（ $p \to 0$ ，几何平均）作为特例，同时将谱系扩展到负值。

理论分析：集中性与稳定性的权衡

本文提供了参数 $p$ 在优化景观中作用的理论刻画：

梯度集中（ $p > 0$ ）： 随着 $p$ 增加，梯度权重分布 $W_{i,t}(p)$ 单调地集中在具有最高重要性比率的 token 上。这放大了稀疏的、高幅度的学习信号（对于稀疏任务的早期阶段学习至关重要），但放宽了方差界限。
方差界限（ $p \le 0$ ）： 随着 $p$ 减小（包括负值），策略梯度估计量的方差被严格收紧。负的 $p$ 值反转了集中性，加权比率 $<1$ 的 token（表示犹豫），从而促进推理多样性并稳定稠密信号任务的训练。
权衡： 没有任何静态的 $p$ 能同时最大化信号放大并最小化方差。高 $p$ 对于早期阶段的信号发现是最优的，而低（或负） $p$ 对于后期阶段的收敛稳定性是最优的。

动态调度策略

认识到最优的 $p$ 会随着训练进程而变化，HölderPO 引入了一种动态退火算法。参数 $p$ 被调度为在整个训练生命周期中，从正的初始值（ $p_{high}$ ）单调衰减至低值或负值终端值（ $p_{low}$ ）。

早期阶段： 高 $p$ 放大稀疏的、高幅度的信号，以推动初始策略改进。
晚期阶段： 低/负 $p$ 收缩梯度方差界限，以确保稳定的收敛并防止模式崩溃。

3. 主要贡献

HölderPO 框架： 一个通用的策略优化框架，通过可适应的 Hölder 参数 $p$ 统一了各种基于均值的聚合，将搜索空间扩展到静态算术或几何均值之外。
理论基础： 对 $p$ 的双重作用进行了形式化证明：较大的 $p$ 集中梯度以放大稀疏信号，而较小的 $p$ 严格限制梯度方差。作者证明没有任何静态配置能同时实现这两个端点，从而激发了动态调度的需求。
实证突破：
- 证明了静态高 $p$ （例如 $p=3$ ）打破了具有挑战性的 AIME 基准的性能上限（达到 46.7% 的准确率）。
- 表明动态调度（ $p: 2 \to -2$ ）统一了这些优势，在不增加额外计算开销的情况下实现了最先进（SOTA）的结果。

4. 实验结果

作者在数学推理和智能体决策基准上，使用 Qwen2.5-Math 和 Qwen2.5-Instruct 基础模型评估了 HölderPO。

数学推理：
- AIME24（稀疏信号）： 静态 $p=3$ 实现了 46.7% 的准确率，超过了之前 GRPO 的 43.3% 记录。
- MATH500（稠密信号）： 较低的 $p$ 值（例如 $p=-1$ ）产生了更优越的稳定性和性能（85.0% 的准确率）。
- 整体性能： 动态退火策略（ $p: 2 \to -2$ ）在五个数学基准（AIME、AMC、MATH、Minerva、OlympiadBench）上实现了 54.9% 的平均准确率。这代表了相对于标准 GRPO 7.2% 的相对提升，并优于 PMPO 等并发方法。
智能体任务（ALFWorld）：
- 在 ALFWorld 基准上，HölderPO 实现了 93.8% 的成功率，相对于 GRPO（72.8%）提升了 28.8%。
- 作者指出，对于智能体任务，更保守的调度（ $p: 1 \to -1$ ）是最优的，这是由于基础模型缺乏特定领域的预训练，突显了该框架的适应性。

5. 意义与主张

本文主张 HölderPO 解决了像 GRPO 这样的静态策略优化方法中固有的集中性与稳定性权衡的基本问题。通过将聚合机制视为连续旋钮而非固定超参数，该框架允许模型：

在训练早期阶段激进地放大稀疏的、高幅度的学习信号。
在后期阶段严格控制梯度方差，以确保稳定的收敛。

作者强调，这种动态适应性对于长视野推理任务至关重要，因为在学习过程中学习信号的性质会发生变化。该方法在多样化的基准测试中实现了 SOTA 性能，同时保持了无评论家强化学习的计算效率。

承认的局限性：

调度引入了超参数（ $p_{high}, p_{low}$ ，衰减形状），需要针对每个任务进行实证调整。
正集中区域（ $p > 0$ ）可能会增加对奖励黑客攻击的敏感性，如果验证器提供误报信号，因为它会激进地放大高比率 token。

未来工作：
作者建议开发一种自适应调度器，根据实时指标（例如批次级梯度方差或 token 比率分散度）调整 $p$ ，以消除手动调整的需求。