技术摘要：MDP-GRPO

问题陈述

大型语言模型（LLMs）通常在多约束指令遵循方面表现挣扎，即单个提示词需要遵循多个明确的、确定性的规则（例如：特定的格式、禁止使用的词汇、精确的结尾）。虽然**基于可验证奖励的强化学习（RLVR）通过使用基于规则的检查器来提供可靠且无偏的信号，展现出了极具前景的解决方案，但标准的组相对策略优化（GRPO）**在这种场景下会变得不稳定。

核心问题在于多约束奖励是离散且往往具有低方差特征的。在训练初期或面对严格约束时，采样得到的完成结果组往往会产生同质化的奖励（即所有样本都满足或都不满足相同的约束）。在这种条件下，标准 GRPO 的 z-score 组归一化会遭遇三种特定的病态现象：

1. 低方差放大（Low-Variance Amplification）： 微小的奖励波动会被放大为不成比例的巨大优势值，导致更新过程极其脆弱。
2. 均值中心化盲区（Mean-Centering Blindness）： Z-score 归一化丢弃了绝对奖励水平，使得模型无法区分两个分布相似的组——即使一个组始终失败而另一个组始终成功。
3. 零方差崩溃（Zero-Variance Collapse）： 当一组样本获得完全相同的奖励时，组标准差（$\sigma_{group}$）趋于零。这会导致优势信号（advantage signal）坍缩为零或变得未定义，从而彻底消除学习信号。

方法论：MDP-GRPO

为了解决这些不稳定性，作者提出了 MDP-GRPO，这是一种稳定的 GRPO 变体，它集成了三种互补的机制：

1. 多温度采样（预防机制）

为了防止形成同质化组，该方法使用温度调度（$T = [\tau_1, \dots, \tau_G]$）取代了固定的温度采样，用于处理 $G$ 个完成结果的组。

• 机制： 低温度鼓励利用（获取高质量基准），而高温度则诱导探索。
• 目标： 这在单个组内混合了高质量和探索性的完成结果，确保即使在小批量设置下也能保证足够的奖励离散度（$\sigma_{group} > 0$），且不会改变底层的 RL 目标函数。

2. 双锚点优势（信号恢复）

为了解决零方差崩溃和均值中心化盲区，该方法在标准的组相对优势之外引入了一个目标感知锚点（goal-aware anchor）。

• 机制： 将中性基准建模为一个二项过程，其中约束被满足的概率为 $p=0.5$。这产生了一个固定的“目标感知”优势（$\delta_i$），其大小随约束数量的变化而缩放。
• 集成： 最终的优势值（$A_i$）是经过塑造的组相对优势（$\tilde{z}_i$）与经过塑造的目标感知优势（$\tilde{\delta}_i$）之间的加权插值：
  $$A_i = (1 - \alpha)\tilde{z}_i + \alpha\tilde{\delta}_i$$
• 收益： 即使在组方差为零时，目标感知锚点也能提供有效的学习信号，防止训练停滞。

3. 前景理论塑造（稳定性控制）

受前景理论（Kahneman & Tversky, 1979）启发，该方法在对优势值进行混合之前，对其应用了一个有界的、非对称的塑造函数。

• 机制： 使用缩放的 tanh 变换来限制优势值的范围，并强制执行损失厌恶（$\lambda_- > \lambda_+$）。
• 目标： 这确保了约束违规（负面结果）产生的梯度更新比等效的成功情况更大，从而严厉惩罚性能退化。同时，边界函数可以防止由低方差引起的无界梯度，从而稳定训练过程。

4. 非对称 KL 正则化

该目标函数包含一个非对称 KL 惩罚，当优势值为负（性能下降）时，惩罚系数较高（$\beta_{high}$）；当优势值为正时，惩罚系数较低（$\beta_{low}$），从而在性能退化期间进一步约束模型。

核心贡献

1. 病态现象的形式化： 本文识别并形式化了在离散、低离散度奖励机制下，组相对策略更新的三种失效模式：低方差放大、均值中心化盲区以及零方差崩溃。
2. 通过采样实现预防： 引入了多温度组采样技术，在不改变目标函数的前提下，在小批量设置中人工增加奖励多样性。
3. 信号恢复： 提出了双锚点优势法，以在零方差组中恢复学习信号，并找回在标准归一化中丢失的绝对性能信息。
4. 鲁棒塑造： 应用前景理论塑造技术来限制更新幅度，并优先处理约束违规的修正。
5. 实验验证： 证明了这些组件共同提升了多约束任务下的稳定性和性能，同时保留了通用能力。

实验结果

该方法在 IFEval、FollowBench 以及一个精心构建的多约束数据集上进行了评估，使用了 Gemma-2-2B 和 Llama-3.2-3B 模型。

• 性能增益： MDP-GRPO 的表现始终优于标准 GRPO 和零样本（zero-shot）基准。在 Llama-3.2-3B 上，它在自定义数据集上的**严格约束遵循率（HSR）**最高提升了 5.0%。
• 小批量效率： 该方法在减少组大小（$G=4$）的情况下表现尤为出色。多温度采样使 MDP-GRPO 能够接近使用更大组规模（$G=8$）训练的标准 GRPO 的性能，展示了其在计算预算受限下的实用价值。
• 难度扩展性： 随着约束数量的增加，稳定版（特别是带有双锚点的版本）的性能下降速度比基准模型更慢，在复杂提示词（难度 5-6）上保持了更高的成功率。
• 通用能力： 在 MMLU 和 ARC 上的评估确认，指令遵循能力的提升并未以牺牲通用推理或知识保留为代价。
• 训练动态： 诊断显示，与标准 GRPO 相比，所提方法成功降低了零方差组出现的频率，并有效控制了 KL 散度的漂移。

意义与主张

作者声称，MDP-GRPO 为多约束环境下的 RLVR 提供了一个稳定且可靠的框架，而在该领域，由于奖励稀疏，标准的组归一化方法经常失效。通过显式解决 z-score 归一化的数学病态问题，该方法实现了：

• 即使在小组规模下也能实现稳定收敛。
• 从离散的、基于规则的奖励中进行有效学习，无需依赖学习到的奖励模型或人类偏好标签。
• 针对标准 GRPO 更新在面对同质化奖励分布时的“脆弱性”提供了鲁棒性。

论文总结道，虽然该方法是专门为确定性的、可验证的约束设计的，但其核心组件（双锚点和前景塑造）对于奖励来源是不可知的，因此可以适配到其他 RL 设置中。不过，作者也谦虚地指出，该方法依赖于自动检查器，在没有学习型奖励模型的情况下，可能无法直接扩展到主观或风格化的约束任务。