💬 NLP

Constrained Group Relative Policy Optimization

本文介绍了约束性 GRPO（Constrained GRPO），这是一种基于拉格朗日方法的组相对策略优化（Group Relative Policy Optimization）扩展，它通过对标准化优势而非原始奖励进行标量化处理，消除了由组内归一化引起的有害耦合效应，从而提高了约束执行能力和训练稳定性。

原作者： Roger Girgis, Rodrigue de Schaetzen, Luke Rowe, Azalée Robitaille, Christopher Pal, Liam Paull

发布于 2026-09-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Roger Girgis, Rodrigue de Schaetzen, Luke Rowe, Azalée Robitaille, Christopher Pal, Liam Paull

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速发展的人工智能领域，研究人员正在教导大型计算机模型去解决复杂的问题，从驾驶自动驾驶汽车到解决困难的数学谜题。这些模型通过试错法进行学习，这一过程被称为强化学习。想象一个正在尝试走出迷宫的学生；当他们到达出口时会获得奖励，而撞到墙壁时则会受到惩罚。随着时间的推移，学生学会了如何最大化奖励并避免惩罚。然而，当我们希望模型遵循严格规则时（例如“绝不撞到行人”或“始终使用正确的语法”），同时又要保持其有用性，就会出现一个重大挑战。如果规则过于僵化，模型可能会变得毫无用处；如果规则过于宽松，它可能会违反规则。为了解决这个问题，科学家们使用了一种数学框架，在追求成功与遵守约束之间寻找平衡，并在模型学习过程中不断调整每条规则的重要性。

一种被称为“群体相对策略优化”（Group Relative Policy Optimization）的流行教学方法已成为热门选择，因为它效率极高，且不需要一个单独的“裁判”模型来评估每一步。相反，它通过比较针对同一个问题生成的若干组答案，来决定哪些答案更好。虽然这种方法在处理通用任务时表现良好，但研究人员发现，将其应用于严格的安全规则时却非常棘手。在一项新的研究中，来自 Mila – 魁北克人工智能研究所和蒙特利尔理工学院的研究团队发现，将不同目标组合成单一评分的标准方式实际上破坏了系统遵循规则的能力。他们引入了一种新的方法——“约束型群体相对策略优化”（Constrained Group Relative Policy Optimization），它修复了这一缺陷，并允许模型在严格遵守安全限制的同时学习复杂的行为。

研究人员确定的核心问题在于计算机如何同时处理多个目标。在标准方法中，模型会获取所有的奖励和惩罚，将它们混合成一个单一的数值，然后对该数值进行归一化处理，以便于学习。研究人员表明，这种混合过程产生了一种隐性的干扰。当计算机调整一条规则的权重时，它会无意中改变所有其他规则的相对重要性。这就像试图通过转动一个同时也会改变整个乐队平衡的旋钮，来调节管弦乐队中某一种乐器的音量；你可能想让小提琴声变大，但在这样做时，你却不小心让鼓声变小了，同时让长笛声变大了。这使得模型很难准确判断应该遵循哪条规则，经常导致它忽略安全约束或在训练期间变得不稳定。

为了解决这个问题，研究人员改变了操作顺序。他们不再先混合奖励和惩罚，而是让模型分别计算每条规则的价值，并对它们分别进行归一化处理。只有在每条规则都得到了独立公平的处理之后，才使用学习到的权重将它们合并。这个简单的转变消除了隐性干扰。通过在最后阶段之前保持信号的独立性，模型可以清晰地看到自己在每一项特定规则上的进步。结果是，学习过程变得更加稳定且可预测。研究人员在三个截然不同的环境中测试了这种新方法：一个智能体必须避开岩浆并管理电池的简单网格游戏；一个包含数千个复杂交通场景的真实自动驾驶模拟；以及一个涉及小学应用题的数学推理任务。

在网格游戏中，新方法让智能体的学习过程变得更加平滑。标准方法会导致智能体变得过度谨慎，由于过于激进地避开岩浆，导致它几乎无法移动；而新方法则允许智能体有效地利用其可用的“风险预算”，在保持安全的同时到达目标。在自动驾驶模拟中，新方法产生的驾驶员不仅更安全，而且在完成路线方面也更有效。使用新方法训练的模型在安全合规性和路线进度方面都取得了比以往先混合信号的方法更高的分数。它们成功避免了碰撞并遵守了交通规则，同时没有牺牲前进的驾驶能力，而其他方法在维持这种平衡方面表现挣扎。

最后的测试是教导一个语言模型在确保答案简短、格式正确且包含有效数字的同时，去解决数学问题。在这里，新方法再次证明了其优越性。使用标准混合方法训练的模型往往为了缩短答案或符合特定格式而牺牲了正确性。相比之下，新方法确保了模型在保持高标准格式和长度的同时，优先保证数学计算的正确性。在不同规模的计算机模型中（从拥有 15 亿参数的小型模型到拥有 70 亿参数的大型模型），新方法始终能产生更准确的结果，且不需要昂贵的额外训练组件。

研究结果表明，我们组合不同学习信号的方式与信号本身同样重要。通过仅仅改变计算机处理奖励和规则的顺序，研究人员能够创造出一个能更可靠地遵守约束的系统。这项工作不仅仅是一个微小的改进，它为训练能够在现实世界中安全运行的人工智能提供了一条更清晰的路径，因为在现实世界中，遵循规则往往与实现目标同样重要。这项研究证实，当我们希望人工智能既有能力又安全时，我们必须谨慎，以免衡量成功的方式让模型对它实际应该做什么产生困惑。

技术摘要：受约束的组相对策略优化 (Constrained Group Relative Policy Optimization)

问题陈述

组相对策略优化 (GRPO) 已成为微调大语言模型 (LLM) 和视觉语言模型 (VLM) 的主流无评论家 (critic-free) 方法，尤其是在数学推理和具身决策等领域。GRPO 通过对单个查询的多个采样输出进行组内奖励归一化，从而消除了对学习型价值函数（评论家）的需求。

然而，GRPO 与受约束策略优化（对于需要强制执行特定行为阈值的安全关键领域至关重要）的兼容性尚未得到严格检验。现有的多目标 GRPO 方法通常依赖于手动加权奖励项，这缺乏约束马尔可夫决策过程 (CMDP) 的原则性框架。CMDP 通过显式阈值而非固定权重来强制执行约束。本研究解决的核心挑战在于，如何在不引入不稳定或扭曲预期目标权衡的情况下，将基于拉格朗日松弛法的约束执行集成到 GRPO 框架中。

方法论：受约束的 GRPO

作者提出了受约束的 GRPO (Constrained GRPO)，这是一个结合了用于策略优化的 GRPO 与用于约束处理的拉格朗日松弛法的框架。该方法利用指示成本函数来定义行为约束（例如安全性违规），并学习乘数以强制执行目标行为率。

关键失效模式：奖励标量化

将 GRPO 与拉格朗日方法结合的一种直接方法是在归一化之前对奖励进行标量化。在这种方法中，奖励项和成本项使用当前的拉格上限乘子 ( $\lambda$ ) 进行线性组合，形成单个标量信号，然后在该组内进行标准化（减去均值并除以标准差）。

论文指出这种方法存在一个关键的失效模式：共享分母耦合 (shared-denominator coupling)。

归一化依赖性： 标准化分母（组标准差 $\hat{\sigma}_{S_\lambda}$ ）取决于标量化信号，而该信号是乘子的函数。
耦合敏感性： 改变单个乘子 $\lambda_k$ 不仅会改变其对应约束的权重，还会改变所有组件（奖励和其他约束）的归一化因子。
后果： 这引入了协方差介导的耦合，使得约束的有效权重成为所有乘子和当前批次统计数据的复杂非线性函数。这会导致不稳定的乘子动态，即增加惩罚乘子可能会在无意中抑制奖励信号或其他约束，从而无法有效地执行指定的行为率。

提出的解决方案：标量化优势

为了解决这个问题，作者提出标量化标准化后的优势 (scalarizing standardized advantages) 而不是奖励。具体步骤如下：

分量标准化： 每个奖励和成本组件都在组内独立进行标准化（减去组件均值并除以组件标准差）。
$Z_{R,i} = \frac{R_i - \bar{R}}{\hat{\sigma}_R}, \quad Z_{C_k,i} = \frac{C_{k,i} - \bar{C}_k}{\hat{\sigma}_{C_k}}$
线性组合： 然后使用拉格朗日乘子将标准化后的组件组合成最终的优势：
$A_i = \lambda_R Z_{R,i} - \sum_{k=1}^K \lambda_k Z_{C_k,i}$

理论依据：
作者通过敏感性分析（定理 4.1 和推论 4.2）证明，标量化优势消除了共享分母耦合。虽然 Softmax 归一化的乘子仍会引入组件间的竞争（即增加一个对数几率会减少其他组件的质量），但组件的方向已经经过了归一化。因此，原问题更新直接响应乘子的变化，而不会受到变化的归一化分母的混淆影响。这产生了一个条件更好的更新，并确保增加拉格朗日乘子能可靠地转化为对相应约束的更强执行。

核心贡献

框架引入： 引入了受约束的 GRPO，这是一个通过指示成本和学习型拉格朗日乘子来强制执行用户指定行为约束的策略优化框架，消除了对手动奖励权重调优的需求。
理论分析： 对原问题更新对对偶变量变化的局部响应进行了形式化表征。作者证明，在归一化前对奖励进行标量化会引入一种特定的耦合，从而扭曲目标的有效权重，而标量化优势则避免了这一问题。
实证验证： 在三个不同领域进行验证，证明了标量化优势相比于标量化奖励，能带来更稳定的学习和更忠实的约束执行。

实验结果

作者在三个基准测试上评估了 Constrained GRPO：

1. Gridworld 环境

在一个带有岩浆和电池约束的 10x10 网格世界中：
*标量化优势： 产生了稳定的学习曲线，并允许约束违规率自然地向指定的阈值 (0.01) 调整。拉格朗日乘子能够有效地调整，以利用可用的成本预算。
*标量化奖励： 导致约束率在训练早期就坍缩至接近零，无论乘子值是多少。有效权重变得具有噪声且与学习到的乘子脱节，导致行为不一致。

2. NAVSIM-v2 (自动驾驶)

在 NAVSIM-v2 "Navhard" 切分集上使用扩展 PDM 分数 (EPDMS) 进行评估，该分数聚合了安全性惩罚（碰撞、可行驶区域等）和性能指标。
*性能： 在第一阶段（真实场景）中，使用标量化优势的 Constrained GRPO 取得了最高的 EPDMS；在第二阶段（合成场景）中，在 GRPO 基准模型中排名第二，优于两种无约束 GRPO 变体和一种硬约束 GRPO 基准。
*约束执行： 与标量化奖励（其中尽管乘子很高，但可行驶区域合规性仍保持在低水平）不同，标量化优势允许乘子发挥其预期的影响力，迅速提高了约束满足度（例如，DAC 在约 1000 步内得到了改善）。
*对比： 该方法优于无约束 GRPO，并达到了与 PPO-Lagrangian 相当或更高的性能，且无需训练价值函数。

3. GSM8K (数学推理)

使用 Qwen2.5-Instruct 模型 (1.5B, 3B, 7B) 对小学数学问题进行评估。约束包括正确性、格式遵循和整数有效性；主要奖励是最小化长度。
*正确性： 在所有规模下，使用标量化优势的 Constrained GRPO 在正确性方面始终优于多目标 GRPO 基准 (GDPO)（例如，在 3B 模型上从 0.770 $\to$ 0.802；在 7B 模型上从 0.768 $\to$ 0.887）。
*权衡： 该方法防止了模型以牺牲正确性为代价来过度优化长度，这是无约束或权重设置不当的多目标设置中常见的失败模式。
*效率： 在 1.5B 和 3B 规模下，Constrained GRPO 实现了与 PPO-Lagrangian 具有竞争力或更好的性能，且没有训练价值函数的计算开销。

意义与主张

论文声称 Constrained GRPO 为大模型的安全关键型微调提供了一个鲁棒的、无评论家的框架。其主要意义在于识别并解决了拉格朗日乘子与 GRPO 组内归一化之间微妙但关键的相互作用。

作者断言，在归一化前对奖励进行标量化的标准做法对于约束优化而言在根本上是有缺陷的，因为它引入了共享分母耦合，从而使学习到的乘子与实际的策略更新动态脱节。通过转向标量化优势，该方法确保了拉格朗日乘子能按预期发挥作用：直接控制目标与约束之间的权衡。这使得训练更加稳定，能够可靠地遵守安全阈值，并在无需昂贵的评论家模型或手动奖励调优的情况下提高任务性能。