🤖 machine learning

Learn What's Left, Not What's Mastered: Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization

本文介绍了用于多奖励策略优化的饱和度感知优势重加权（SA-MRPO），这是一种通过根据其饱和水平对多个奖励目标进行独立标准化和自适应重加权，从而动态地将优化重点转向未充分优化目标的创新方法，旨在显著提高在挑战性基准测试上的性能，同时保持在已解决任务上的熟练度。

原作者： Yixuan Wang, Yifei Chen, Haichao Zhang, Haozheng Luo, Xander Wu, Jie Ni, Yun Fu, Nuno Vasconcelos, Yijiang Li

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yixuan Wang, Yifei Chen, Haichao Zhang, Haozheng Luo, Xander Wu, Jie Ni, Yun Fu, Nuno Vasconcelos, Yijiang Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能飞速发展的世界中，研究人员正在教计算机程序像人类一样思考，特别是在解决需要逐步推理的复杂问题时。为了教导这些系统，科学家们经常使用一种称为强化学习的方法，即程序尝试不同的方法并接收以奖励形式呈现的反馈。如果程序正确解决了数学问题，它会得到一分；如果它遵循了特定的格式，它会得到另一分。目标是最大化这些奖励，从而让程序学会产生更好的答案。然而，现实世界的任务很少只有一个目标。一个得力的助手必须既准确又简洁、安全，并遵循严格的格式规则。挑战在于，当程序试图同时兼顾所有这些目标时，情况会变得复杂。如果程序在某项任务（例如保持回答简短）上做得非常好，它可能会停止在该领域进行改进，然而训练系统可能会继续推动它变得更短，从而浪费了本可以用于解决另一个更困难问题（如做对数学题）的宝贵学习时间。

一个研究小组发现了一个当前系统处理这些多重目标的缺陷，并提出了一种新的训练方法，该方法侧重于“还需要学习什么”，而不是“已经掌握了什么”。在他们的研究中，他们观察到标准的训练方法通常将所有目标视为同等重要，无论程序在这些目标上的表现如何。这导致了一种情况：系统不断在完善一项它已经精通的技能，却忽视了一项仍有提升空间的更难技能。为了解决这个问题，研究人员开发了一种被称为“饱和感知优势重加权”（Saturation Aware Advantage Reweighting）的技术。这种方法就像一个聪明的管理者，不断检查每个目标的进度。当一个目标接近完美时，系统会自动减轻对它的压力，将注意力和精力转向那些仍在挣扎的目标。

研究人员在要求解决困难数学问题和编写计算机代码的语言模型上测试了这种方法。在这些测试中，模型必须在得出正确答案与遵循关于答案长度或格式的规则之间取得平衡。在旧的训练方法下，一旦模型已经完美学会了遵循长度规则，它们往往难以提高准确性。然而，新方法识别出长度规则不再是挑战，并停止了在这方面的徒劳努力。相反，它将模型的注意力转向了解决数学题这一更难的任务。结果非常明确：在涉及各种数学竞赛和基准测试的十五次对比中，新方法在其中的十二次中提高了较难任务的准确性。在一次涉及美国数学邀请赛（AIME）的具体测试中，准确率的提升高达百分之五。至关重要的是，这种准确性的提升并没有以牺牲较易任务为代价；模型在遵循长度和格式规则方面依然表现得和以前一样好。

这种方法在研究人员测试自适应推理时也同样奏效，在那种情况下，目标是找到正确性与效率之间的平衡。他们创建了一个场景，其中“长度”目标有一个明确的界限：一旦答案足够短，使其更短就不会带来额外收益。新训练方法注意到模型已经达到了这个极限，并停止了进一步缩短答案的尝试。相反，它利用节省下来的精力来提高答案的准确性。平均而言，这在五个不同的基准测试中带来了近百分之四的准确率提升，其中最大的涨幅在某个特定数学竞赛中超过了百分之九。模型并没有变得在长度问题上粗心大意；它们只是不再试图比必要时更短，而是专注于变得更聪明。

研究还探讨了系统何时决定停止对某个目标施压。研究人员引入了一个控制旋钮，这是一个单一的数字，决定了系统在多大程度上应该忽略那些已经达标的目标。他们发现，调高这个旋钮会让系统更侧重于困难任务，这虽然提高了准确性，但有时会导致答案稍长。调低旋钮则能保持答案更短，但不会显著提高准确性。这表明该方法具有灵活性，可以通过调节来为特定情况找到最佳平衡。研究人员还在计算机编程任务上测试了该方法，在这些任务中，模型必须编写既能运行又能通过特定测试的程序。同样，新方法帮助模型在保持编写可运行代码能力的同时，提高了通过测试的能力。

核心发现是，有效的训练需要关注每个领域仍有的提升潜力，而不是将所有目标视为静态目标。通过根据目标接近完美程度动态调整所分配的注意力，系统可以学习得更高效。研究人员证明，这不仅是一个理论构想，更是一种在不同类型的推理和不同规模的计算机模型上都行之有效的实际改进。他们展示了通过放弃那些“容易获得的胜利”，系统可以在更难的任务上取得更好的结果，从而在不牺牲必须遵循的基本规则的前提下，培养出更聪明、更强大的人工智能。这表明，训练这些系统的未来在于理解它们已经学会了什么，以及它们还有什么需要去学习。

技术摘要：面向多奖励策略优化的饱和度感知优势重加权 (SA-MRPO)

1. 问题陈述

带有可验证奖励的强化学习 (RLVR) 已成为提升大语言模型 (LLM) 推理能力的后训练标准。虽然组相对策略优化 (GRPO) 及其变体通过消除对学习型价值函数的需求简化了这一过程，但它们通常假设只有一个标量奖励。在实践中，推理模型必须同时满足多个目标，例如正确性、响应长度、格式合规性、安全性以及可执行性。

现有的多目标优化方法通常是在进行组内标准化之前，将这些奖励通过固定的加权和标量化为一个标量。作者指出该设计存在两个根本性的局限性：

奖励分辨率丢失： 不同的奖励剖面可能会坍缩成相同的标量值。例如，一个正确性高但格式较差的输出，与一个正确性差但格式完美的输出，只要它们的加权和相同，就会收到相同的标量奖励（从而获得相同的优势）。
忽略目标饱和度： 固定权重意味着无论当前状态如何，都会平等地对待所有目标。如果一个辅助目标（例如格式合规性）已经接近饱和（已解决），优化过程仍会继续向其分配梯度预算。这会将精力从那些仍有显著“提升空间”的更难、未充分优化的目标（例如数学正确性）上转移。

现有的方法如组奖励解耦策略优化 (GDPO) 解决了第一个问题（通过独立归一化奖励），但未能解决第二个问题，因为它们仍然依赖于不随目标饱和度而变化的固定权重。

2. 方法论：SA-MRPO

作者提出了面向多奖励策略优化的饱和度感知优势重加权 (SA-MRPO)。该方法保留了逐目标的归一化，并根据每个目标的当前饱和程度对每个目标进行自适应重加权。

核心机制

对于一组 Rollout 和 $n$ 个奖励目标，SA-MRPO 按如下方式计算饱和度感知的优势：

饱和度估计： 对于每个目标 $k$ ，通过计算批次平均奖励 $\bar{r}^{(k)}$ 相对于该目标可达范围 $[r^{(k)}_{min}, r^{(k)}_{max}]$ 的比例来估计饱和度比率 $s^{(k)}$ ：
$s^{(k)} = \frac{\bar{r}^{(k)} - r^{(k)}_{min}}{r^{(k)}_{max} - r^{(k)}_{min}} \in [0, 1]$
$s^{(k)}$ 接近 1 表示目标已饱和（接近最大奖励），而 $s^{(k)}$ 接近 0 则表示仍有显著的改进空间。
自适应重加权： 每个预设权重 $w_k$ 通过受指数 $\gamma \ge 0$ 控制的饱和因子进行调节：
$\tilde{w}_k = w_k (1 - s^{(k)})^\gamma$
当一个目标趋于饱和时（ $s^{(k)} \to 1$ ），其有效权重 $\tilde{w}_k$ 会降低。反之，饱和度较低的目标将保持较高的权重。
优势构建： 单个 Rollout 的聚合优势通过对经过饱和度调整后的权重进行加权求和来计算：
$\tilde{A}^{(i,j)} = \sum_{k=1}^n \tilde{w}_k A^{(i,j)}_k$
其中 $A^{(i,j)}_k$ 是目标 $k$ 的组相对优势。该聚合值随后在批次内进行归一化，然后用于标准的剪切代理目标（clipped surrogate objective）。

理论特性

泛化性： SA-MRPO 严格推广了 GDPO（当 $\gamma=0$ 时）和 GRPO（在单目标设置下）。
方向性变化： 与简单的缩放不同，饱和度感知重加权可以改变更新的正负号。如果一个饱和的目标与一个未充分优化的目标发生冲突，减少饱和目标的权重会导致聚合优势发生翻转，从而有效地改变策略更新的方向，以偏向于未饱和的目标。
冲突处理： 该方法承认，优先考虑未饱和目标可能会降低先前已优化的目标性能（如果它们的梯度存在冲突）。然而，作者认为这是实现整体性能最大化所必需的权衡，因为改进未优化目标的收益超过了在已饱和目标上的损失。

3. 核心贡献

问题识别： 本文指出，标量化多奖励优化存在奖励分辨率丢失的问题，更关键的是，它忽略了目标饱和度，导致优化精力的分配效率低下。
算法提议： SA-MRPO 引入了一种机制，根据剩余的可达奖励范围动态地为归一化后的奖励目标重新分配权重。研究表明，这不仅能改变更新的幅度，还能改变更新的方向。
实验验证： 该方法在数学推理、自适应推理和代码生成领域得到了验证。它一致地将优化精力从饱和目标转向未充分优化的目标，在提升后者的同时保持了前者的性能。

4. 实验结果

作者在多种设置下将 SA-MRPO 与 GDPO 及基准模型进行了对比评估：

数学推理： 使用 Qwen2.5 模型（3B 和 7B）以及两个和三个目标（正确性、长度、格式），SA-MRPO 在 15 项 基准比较中，有 12 项 优于 GDPO。显著的增益包括 7B 模型在 AIME24 上提升了 5.0%，在 MATH500 上提升了 3.5%。至关重要的是，这些增益是在没有显著降低辅助长度目标性能的情况下实现的。
自适应推理： 在一个具有显式饱和长度目标（即响应在 Token 限制内即获得最大奖励）的设置中，SA-MRPO 在所有五个基准测试中平均提高了 3.8% 的准确率，其中在 AMC23 上的峰值增益为 9.2%。该方法允许模型在满足长度约束后利用额外的 Token 进行推理，展示了有效的容量重新分配。
代码生成： 在 APPS 和 Codeforces 等基准测试中，针对可执行性（较易满足）和通过率（较难）进行优化时，SA-MRPO 在 4 个中的 3 个 基准测试中提高了通过率（最高增益 2.3%），同时保持了与 GDPO 相当的可执行性水平。
超参数敏感性： 研究表明，饱和度指数 $\gamma$ 直接控制了在改进未优化目标与保持饱和目标之间的权衡。适中的值（例如 $\gamma=0.5$ ）提供了最佳平衡，产生了最高的平均准确率。

5. 重要性与主张

本文声称，有效的多奖励策略优化不仅需要平衡奖励规模，还必须考虑每个目标的剩余可用改进空间。

动态分配： SA-MRPO 提供了一种原则性的方法，可以在不修改底层 GRPO 策略更新机制的情况下，动态地将梯度预算从“已解决”的问题重新分配给仍有提升空间的任务。
更新反转： 该方法能够反转更新的正负号，这是标准标量化或固定权重解耦所不具备的能力，使策略能够主动在饱和目标与更难的目标发生冲突时降低其优先级。
广泛适用性： 该方法在不同领域（数学、自适应推理、代码）和不同模型规模下均表现出色，表明饱和度感知重加权是多目标 RLVR 的一种鲁棒策略。

作者总结道，未来的多奖励优化策略应明确考虑目标的饱和状态，以避免在已经满足的约束上浪费优化能力。