💬 NLP

OrderGrad: Optimizing Beyond the Mean with Order-Statistic Policy Gradient Estimation

OrderGrad 引入了一个统一的、即插即用的无偏梯度估计器家族，通过基于秩权重（rank weights）对奖励进行转换，优化序统计量目标（例如 VaR、CVaR 和 best-of-K），从而使策略梯度方法能够有效地处理除简单均值优化之外的分布特性，如尾部风险和离群值鲁棒性。

原作者： Paavo Parmas, Yongmin Kim, Kohsei Matsutani, Shota Takashiro, Soichiro Nishimori, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Paavo Parmas, Yongmin Kim, Kohsei Matsutani, Shota Takashiro, Soichiro Nishimori, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在给学生评分的老师。通常，当你想要提高班级的整体水平时，你会观察平均测试成绩。你会对老师说：“嘿，平均分提高了2分，干得漂亮！”

但如果目标不仅仅是追求高平均分呢？

场景 A（安全性）： 你正在训练一辆自动驾驶汽车。你并不在乎平均驾驶水平是否完美；你关心的是汽车在最坏的情况下（即表现最差的 1% 的行驶过程）绝不能发生碰撞。
场景 B (探索性)： 你是一个正在编写代码的 AI。你生成了 100 个版本的脚本。你不在乎平均水平；你只关心其中是否至少有一个能完美运行。
场景 C (鲁棒性)： 你正在分析数据，但一些奇怪的、损坏的数据正在扭曲你的结果。你希望忽略前 10% 和后 10% 的数据，专注于“中间”的表现。

传统的 AI 训练方法就像那位只看平均值的老师。他们试图让“平均水平”变得更好，但这可能会在无意中让最差的情况变得更糟，或者忽略了最好的情况。

OrderGrad 是一个新工具，它让 AI 老师能够观察整个分布，而不仅仅是平均值。

核心思想：对成绩进行排序

OrderGrad 不仅仅是将所有分数相加再除以学生人数，它说：“让我们把分数从低到高排序。”

一旦排序完成，你就可以决定哪些学生最重要：

“安全性”模式： 只关注列表最底部的学生（表现最差的学生），以确保他们不会失败。
“Best-of-K”模式： 只关注列表最顶部的学生（表现最好的学生），以寻找单个最佳解决方案。
“中间”模式： 忽略前 10% 和后 10% 的数据，专注于中位数（中间的学生）。

OrderGrad 允许你选择任何这种排序位置的组合。你可以告诉 AI：“我想优化前 3 名得分的平均值，”或者“我想优化最后 5 名得分的平均值。”

它是如何运作的（“魔术”技巧）

你可能会想：“每次 AI 学习时都对 1,000 个分数进行排序，听起来既慢又复杂。”

论文声称 OrderGrad 其实非常简单。它就像一个位于 AI 学习引擎之前的过滤器或翻译器。

AI 生成一批结果（比如 100 个数学答案）。
OrderGrad 对它们进行排序。
它根据每个答案在排序列表中的位置，分配一个特殊的“重要性得分”（权重）。
它将这些新的重要性得分输入到标准的学习引擎中。

论文强调，这是一个**“即插即用”**的升级。你不需要重建整个 AI。你只需要将标准的“平均奖励”信号替换为这种新的“排序奖励”信号。它的计算成本很低，大约只需要排序一个名字列表所需的时间。

他们在哪些场景上进行了测试

研究人员在尝试解决数学问题的大语言模型 (LLMs) 上测试了它。

问题所在： 标准训练（寻找平均值）经常导致 AI 陷入“多样性崩溃”（diversity collapse），即 AI 停止尝试新事物，转而只是重复那些安全但平庸的答案。
OrderGrad 的解决方案： 他们训练 AI 在生成的每 4 个答案中，专注于前 2 个答案（而不是仅仅关注最好的一个，或者全部四个的平均值）。
结果： AI 在解决难题方面变得更加出色。它不仅获得了更高的平均分；而且在获得多次尝试机会时，它实际上找到了更多的正确解。

他们还测试了一个“多奖励”场景：

他们告诉 AI：“对于你的最佳答案，我关心的是它们是否正确。”
但对于你的最差/最长答案，我关心的是它们是否简短（以节省时间）。
标准方法会感到困惑，并产生糟糕的、简短且错误的答案。OrderGrad 通过观察排序列表并在顶部和底部应用不同的规则，成功地平衡了这两个不同的目标。

总结

OrderGrad 是一种全新的 AI 教学方式。它不再说“让平均值更好”，而是说“让你关心的分布的特定部分变得更好”。无论你是想避免灾难（底层尾部）、寻找完美方案（顶层尾部），还是想要具备鲁棒性（中间部分），OrderGrad 都为你提供了一个简单的旋钮，让你能精准地控制并获得想要的结果。

技术摘要：OrderGrad

问题陈述

强化学习（RL）和随机优化中的标准策略梯度方法通常优化期望回报， $J_{\text{mean}}(\theta) = \mathbb{E}[R(x)]$ 。然而，许多现实世界的应用需要优化奖励分布的特定属性，而非其均值。这些需求包括：

尾部风险与安全性： 最小化下尾风险或确保性能高于某一分位数（例如，风险价值 Value-at-Risk，或条件风险价值 Conditional Value-at-Risk）。
鲁棒性： 修剪异常值或受损样本，以防止高损失事件主导梯度。
探索与 Best-of-K： 针对 $K$ 个样本中的最佳结果进行优化（例如代码生成或数学推理中的 pass@K），而非优化平均性能。

现有方法通常将这些视为独立的问题，或者依赖于针对特定情况的专门估计器（如 Max@K）。目前缺乏一个统一的框架，能够在保持对似然比（LR）和重参数化（RP）估计器均为无偏估计的同时，优化排序统计量（有序统计量）的任意加权组合。

方法论：OrderGrad

OrderGrad 引入了一类用于 L-统计量（L-statistics） 的无偏梯度估计器，L-统计量被定义为排序奖励（有序统计量）的加权平均。给定一组包含 $N$ 个样本的批次，该方法对排序后的奖励 $R_{(1:N)} \leq \dots \leq R_{(N:N)}$ 进行处理，并优化如下形式的目标函数：
$J_{k,\alpha}(\theta) = \mathbb{E}\left[ \sum_{j=1}^k \alpha_j R_{(j:k)} \right]$
其中 $k$ 是有序统计量的样本大小（通常是批次大小 $N$ 的子集）， $\alpha$ 是秩权重（rank weights）向量。

核心机制

OrderGrad 作为一个简单的奖励变换函数，可以插入到标准的策略梯度或重参数化更新中。它不需要改变底层的优化器架构。

秩加权优势（似然比形式）：
OrderGrad 不使用原始奖励或标准优势函数，而是将批次奖励转换为秩优势（rank advantages） $\{a_i^{(\alpha)}\}$ 。
- 对于批次中的特定样本 $i$ ，该方法计算一个“包含一个”（include-one）的值 ( $q_{i,j}$ )，代表如果将样本 $i$ 包含在一个大小为 $k$ 的随机子集中时，预期的第 $j$ 个秩有序统计量。
- 它计算一个“留一法”（leave-one-out）基线 ( $v_{i,j}^{(-i)}$ )，代表如果排除样本 $i$ 后，预期的第 $j$ 个秩有序统计量。
- 优势函数定义为 $a_{i,j} = q_{i,j} - v_{i,j}^{(-i)}$ 。
- 最终的梯度估计器为：
  $\hat{g}_{\text{LR-OG}} = \frac{k}{N} \sum_{i=1}^N a_i^{(\alpha)} \nabla_\theta \log p_\theta(x_i)$
  这确保了无偏性，因为基线与当前样本的分数项是独立的。
可微价值（重参数化形式）：
对于 RP 估计器，该方法直接对秩加权价值 $v_\alpha$ 求导：
$\hat{g}_{\text{RP-OG}} = \nabla_\theta v_\alpha(\theta) = \nabla_\theta \sum_{j=1}^k \alpha_j v_j(\theta)$
其中 $v_j$ 是在批次上计算的第 $j$ 个有序统计量的期望值。
高效计算：
该方法依赖于组合概率来计算排序奖励的权重。在对批次奖励进行排序（ $O(N \log N)$ ）后，权重可以进行预计算或折叠。每个小批次的总计算成本主要由排序步骤决定，这使得其在实践中的开销可以忽略不计。

理论特性

无偏性： 对于任何固定的样本量 $k$ 和秩权重向量 $\alpha$ ，该估计器在数学上被证明对于相应的有序统计量目标是无偏的。
泛化性： OrderGrad 泛化了现有方法。例如，优化 $k$ 个样本中的最大值（Max@K）是一个特例，其中 $\alpha$ 将所有权重分配给最高秩。它也可以通过调整 $\alpha$ 来恢复诸如 VaR、CVaR、修剪均值（trimmed means）和中位数等目标。
方差行为： 论文指出存在一种权衡：增加 $k$ （用于定义有序统计量的样本数量）可以更精细地逼近目标分布目标，但也会增加梯度估计器的方差。

核心贡献

统一框架： OrderGrad 提供了一个单一的、即插即用的框架，用于优化广泛的分布目标（L-统计量）。
无偏估计器： 它为 LR 和 RP 设置都推导出了显式的无偏梯度估计器，扩展了以往往往局限于 Max@K 或特定基线的工作。
实现简单： 该方法通过对奖励/优势进行变换来实现，无需更改底层策略网络或优化器。
实证验证： 该方法在挑战性的数学推理基准测试（AIME24, AIME25, AMC23, MATH500, Minerva）上对 Qwen3-4B-Base 和 Qwen2.5-Math-7B 模型进行了评估。

实验结果

作者在挑战性的数学推理基准测试（AIME24, AIME25, AMC23, MATH500, Minerva）上使用 Qwen3-4B-Base 和 Qwen2.5-Math-7B 模型评估了 OrderGrad。

与 GRPO 的比较： Order-Grad（具体为 Top2@4，即对 4 个样本中的前 2 个取平均）在大 $k$ 的 pass@k 指标（如 pass@256）上优于标准 GRPO，避免了 GRPO 中观察到的“多样性崩溃”（diversity collapse）。
与 MaxPO 的比较： 在整个 pass@k 剖面中，OrderGrad 通常优于 MaxPO（ $m=1$ 的 OrderGrad 特例）。例如，在 Qwen3-4B-Base 上，与 MaxPO 相比，pass@1 提升了 0.057，pass@256 提升了 0.026。
超参数敏感性：
- 增加 $m$ （用于平均的前 $m$ 个样本数量）通过提供更好的基线估计提高了性能。
- 增加 $K$ （组内的总样本数）会将权衡转向探索（更高的 pass@256），但会以牺牲单次准确率（较低的 pass@1）为代价。
多目标优化： 作者展示了一个新颖的应用，即针对前 $m$ $m$ 个展开（rollouts）优化正确性，并针对后 $m$ $m$ 个展开优化响应长度（惩罚过长的输出）。
- 标准标量化（求和奖励）导致了性能不佳和输出崩溃。
- OrderGrad 成功缩短了响应长度（消除了极长的输出），且没有显著降低求解率，从而有效地根据秩对不同的奖励信号进行了解耦。

重要性与主张

论文声称 OrderGrad 提供了一条统一的、即插即用的路径，用于实现风险规避、鲁棒性和探索性学习。通过优化有限样本 L-统计量，它允许从业者针对特定的分布目标（如尾部风险或 Best-of-K 发现），而无需放弃标准的策略梯度基础设施。

作者将这项工作定位为近期无偏 pass@K/max@K 优化方法的泛化，涵盖了任意有序统计量。他们强调，当部署目标（例如，从 $K$ 个生成结果中选择最佳结果）与训练目标（优化均值）不匹配时，OrderGrad 特别有价值，这在 LLM 后训练和安全关键型控制中是一个常见场景。论文结论指出，OrderGrad 揭示了一个巨大的设计空间，用于调节梯度在奖励分布上的压力，从而实现更一致且更鲁棒的学习。