技术摘要：LamPO——面向推理语言模型的 Lambda 风格策略优化

问题陈述

基于可验证奖励的强化学习（RLVR）已成为增强大语言模型（LLM）在数学、编程和科学问答等任务中推理能力的主导范式。尽管组相对策略优化（GRPO）通过在一个采样组内对奖励进行归一化，已成为无需评论家（critic-free）的 PPO 标准替代方案，但它存在一个关键局限性：信息压缩。

GRPO 将每组采样响应汇总为标量统计量（均值和标准差）以计算优势。这种方法丢弃了候选响应之间细粒度的关系信息。在推理任务中，解决方案的质量差异可能非常微妙（例如，部分正确与接近正确），标量基线只能指示某个响应是高于还是低于组平均值。它无法明确保留某个候选响应优于哪些具体响应以及超出多少。在稀疏二元奖励下，这一局限性尤为严重，因为许多错误的轨迹会收到相同的反馈，导致信用分配薄弱。

方法论

作者提出了LamPO（Lambda 风格策略优化），该方法旨在保留无评论家优化的效率，同时恢复响应组内丢失的关系结构。

1. 成对分解优势（PDA）

LamPO 不再基于组统计量计算标量优势，而是用成对分解优势替代组相对优势。对于大小为 $G$ 的组中的响应 $o_i$，优势 $A_\lambda(o_i)$ 计算为加权后的成对奖励差距的平均值：

$$A_\lambda(o_i) = \frac{1}{G - 1} \sum_{j \neq i} (R(o_i) - R(o_j)) \sigma\left(\frac{\Delta s_{ij}}{\tau}\right)$$

其中：

• $R(o_i) - R(o_j)$ 表示成对奖励差距，提供学习方向。
• $\Delta s_{ij} = \log \pi_{\theta_{old}}(o_i | q) - \log \pi_{\theta_{old}}(o_j | q)$ 是旧策略下序列对数概率的差值。
• $\sigma(\cdot)$ 是作为置信度感知权重的逻辑 Sigmoid 函数。
• $\tau$ 是控制权重对对数概率差异敏感度的温度参数。

该公式聚合了成对比较，保留了组内排序信息。加权机制确保策略更自信（对数概率差异更大）的比较对更新贡献更大。

2. 策略目标

LamPO 保留了 PPO 风格的截断代理目标以及 GRPO 的无评论家结构。标准优势 $\hat{A}_i$ 在截断目标函数中直接被计算出的 PDA $A_\lambda(o_i)$ 替换。完整目标包括针对参考策略 $\pi_{ref}$ 的 KL 正则化项。

3. 密集参考重叠奖励

为了解决参考解可用时的奖励稀疏问题，LamPO 引入了一种基于ROUGE-L的轻量级辅助奖励。

• 最终奖励是线性组合：$R(o_i) = R_{ext}(o_i) + \lambda_{sem} R_{sem}(o_i)$。
• $R_{ext}$ 是稀疏的可验证正确性奖励（0 或 1）。
• $R_{sem}$ 是生成轨迹与参考解之间的 ROUGE-L F1 分数。
• $\lambda_{sem}$ 控制该密集信号的强度。

该辅助奖励提供了序列感知的重叠信号，在不替代稀疏正确性信号的情况下对其形成补充。

主要贡献

1. 局限性识别：本文指出，标量基线组相对优化中组内关系信息的丢失是推理任务 RLVR 的关键瓶颈。
2. LamPO 算法：一种新颖的无评论家策略优化方法，利用带有置信度感知加权的成对分解优势，以保留采样组内的排序信息。
3. 辅助奖励集成：一种简单有效的机制，在参考推理轨迹可用时，利用基于 ROUGE-L 的重叠来减少奖励稀疏性。
4. 实证验证：在多个基准测试和模型系列上，证明了其相比 GRPO 及近期 RLVR 变体（DAPO, GSPO, SAPO）具有一致的改进。

实验结果

作者在四个推理基准测试（AIME24, AIME25, MATH-500, 和 GPQA-Diamond）上评估了 LamPO，使用了三个模型骨干：Qwen3-1.7B, Qwen3-4B, 和 Phi-4-mini。

• 性能：LamPO 在所有模型规模上均一致优于 GRPO 和其他基线（CoT, SimpleRL-Zoo, PRIME, RLPR, DAPO, GSPO）。
  • 在 Qwen3-1.7B 上，LamPO 取得了最高的平均分（53.60），在竞赛风格数学任务上提升显著（AIME24：46.67 对比 GRPO 的 42.08）。
  • 在 Qwen3-4B 上，LamPO 将平均分提高了 1.69 分（77.09 对比 75.40）。
  • 在 Phi-4-mini 上，LamPO 显示出类似的增益，表明该方法不依赖于特定的模型系列。
• 训练动态：训练曲线显示，与 GRPO 相比，LamPO 产生了更平滑的奖励改进和更稳定的完成长度。这种稳定性归因于成对差距提供的结构化信号，它减少了由高方差标量归一化引起的振荡更新，特别是在较小模型中。
• 消融研究：
  • 温度（$\tau$）：$\tau=1.5$ 产生了最佳结果。较低的值（$\tau=0.5$）使权重过于敏感，而较高的值（$\tau=5.0, 7.0$）使权重平滑过度，削弱了成对区分度。
  • 语义奖励：移除密集辅助奖励（$\lambda_{sem}=0.0$）降低了性能，证实了在稀疏奖励下，参考重叠塑形能提高样本效率。

意义与主张

本文主张，LamPO 为解决方案质量差异微妙的推理任务提供了更有效的信用分配机制。通过将标量组统计量转变为成对分解优势，LamPO 提供了更丰富的学习信号，明确利用了候选响应的相对排序。

作者强调，LamPO 保持了 GRPO 框架的计算效率和稳定性（无评论家并使用截断更新），同时解决了组相对方法中信息丢失的具体弱点。集成轻量级 ROUGE-L 奖励进一步提高了在有参考数据可用时的训练效率，同时不削弱对可验证正确性的依赖。

承认的局限性：

• 计算成本：成对比较引入了相对于组大小 $G$ 的 $O(G^2)$ 复杂度，尽管对于 RLVR 中的典型组大小而言，这被认为是微不足道的。
• 奖励可靠性：该方法依赖于可靠的奖励信号；噪声或主观的奖励可能会放大成对差距中的误差。
• 辅助奖励范围：ROUGE-L 奖励捕捉的是词汇重叠而非完整的推理正确性，且需要参考解，这可能并不存在于所有任务中。
• 泛化性：实验目前仅限于数学和科学推理；泛化到开放式对话或多模态任务仍然是一个未解的问题。