技术摘要：长度无偏序列策略优化 (LUSPO)

1. 问题陈述

具有可验证奖励的强化学习 (RLVR) 已成为增强大语言模型 (LLM) 和视觉语言模型 (VLM) 推理能力的基石。在 RLVR 训练中有一个普遍观察到：响应长度的增加通常与推理能力的提升相关，因为模型学会了将复杂问题分解为详细的步骤。然而，本文指出主流 RLVR 算法，特别是组相对策略优化 (GRPO) 和 组序列策略优化 (GSPO)，存在一个关键缺陷：它们表现出一种固有的响应长度偏差，这可能导致“响应长度坍缩”，即模型生成的响应变得越来越短，从而削弱了训练效果和推理深度。

作者分析了这种偏差的来源：

• 在 GRPO 中： 目标函数对轨迹内的 token 级重要性比例进行平均。这种归一化导致较短响应中的 token 比较长响应中的 token 对梯度更新的贡献更大。因此，对于正确答案，模型被激励变得简洁；对于错误答案，由于其长度带来的惩罚较轻，从而产生了一种不稳定的动态机制。
• 在 GSPO 中： 虽然 GSPO 通过使用序列级重要性加权解决了 GRPO 在混合专家模型 (MoE) 中的不稳定性，但它未能解决长度偏差问题。论文认为，GSPO 的序列级裁剪机制结合“向上裁剪 (Clip-Higher)”操作，不成比例地截断了负面（错误）样本。这导致梯度更新由正面（正确）样本主导，而由于潜在的长度偏差，这进一步激励了生成更短的输出。实证证据表明，虽然 GRPO 倾向于增加响应长度，但 GSPO 在训练过程中往往会导致响应长度坍缩，尤其是在密集型 (Dense) 和视觉语言 (VL) 模型中。

2. 方法论：长度无偏序列策略优化 (LUSPO)

为了纠正 GSPO 中固有的长度偏差，作者提出了长度无偏序列策略优化 (LUSPO)。其核心创新是对 GSPO 目标函数进行的原则性修改。

理论基础

作者通过理论分析证明，标准的 GSPO 损失函数对较长序列存在偏差。为了抵消这一影响，LUSPO 根据每个序列自身的长度 ($|y_i|$) 对损失进行缩放。

算法实现

LUSPO 优化目标定义为：
$$J_{LUSPO}(\theta) = \mathbb{E}_{x \sim \mathcal{D}, \{y_i\}_{i=1}^G \sim \pi_{\theta_{old}}(\cdot|x)} \left[ \frac{1}{G} \sum_{i=1}^G \min\left( s_i(\theta) \hat{A}_i, \text{clip}(s_i(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_i \right) \cdot |y_i| \right]$$

其中：

• $s_i(\theta)$ 是序列级重要性比例（与 GSPO 相同）。
• $\hat{A}_i$ 是基于组的优势估计。
• $|y_i|$ 是响应的长度。

通过将裁剪后的优势项乘以序列长度 $|y_i|$，该算法确保了较长序列在梯度更新过程中不会受到不公平的惩罚。理论梯度分析证实，这种修改消除了 GSPO 中存在的长度依赖性偏差，确保梯度更新的大小与序列长度成正比，而非与其成反比。

3. 主要贡献

本文概述了三项主要贡献：

1. 长度偏差分析： 对 GRPO 和 GSPO 的目标函数进行了详细的理论和实证分析，阐明了导致固有响应长度偏差及随后长度坍缩的底层机制。
2. LUSPO 算法： 提出了一种全新的优化策略，通过简单的修改（长度缩放）来中和 GSPO 的长度偏差，使损失函数对响应长度保持无偏。
3. 全面验证： 在多种架构（密集型和 MoE）以及多种模态（纯文本和视觉语言）上的广泛实验表明，LUSPO 相比现有方法实现了更优越的性能和稳定性。

4. 实验结果

作者在 Qwen2.5-7B-Base（密集型）、Qwen3-30B-A3B-Instruct（MoE）和 Qwen2.5-VL-7B-Instruct（视觉语言）上进行了实验。

训练动态

• 响应长度： LUSPO 始终能防止响应长度坍缩。在 Qwen2.5-VL-7B-Instruct 模型上，GSPO 表现出明显的响应长度坍缩，而 LUSPO 则保持了稳定且显著更长的响应。
• 梯度稳定性： 该方法确保了在密集型和 MoE 架构中都能实现稳定的训练动态，解决了 MoE 模型中常见的 RLVR 不稳定性问题。

性能基准

• 纯文本模型：
  • Qwen2.5-7B-Base： 与 GSPO 相比，LUSPO 在 AIME24 上提升了 2.9%，在 MATH500 上提升了 7.4%。
  • Qwen3-30B-A3B-Instruct： LUSPO 在 AIME24 上比 GSPO 实现了 6.9% 的提升，在 AIME25 上实现了 17.1% 的提升。
• 多模态模型：
  • Qwen2.5-VL-7B-Instruct： LUSPO 在多个基准测试中均优于 GRPO 和 GSPO。值得注意的是，在 MathVista-Mini 上，它比 GRPO 高出 1.6%，比 GSPO 高出 0.5%。在 LogicVista 上，LUSPO 比 GSPO 提升了 6.0%。
• 泛化能力： 该方法在不同数据集（ViRL39K 和 DAPO-MATH-17K）上展现了鲁棒性，即使在 GSPO 未出现严重长度坍缩的情况下，也一致优于 GSPO。

5. 重要性与主张

本文将 LUSPO 定位为一种新型、最先进的 RLVR 训练优化策略。作者声称，通过解决序列级策略优化中的根本性长度偏差，LUSPO：

• 解决了响应长度坍缩问题： 它防止了阻碍模型执行复杂推理能力的响应长度退化。
• 增强了推理能力： 通过允许模型在不受惩罚的情况下生成更长、更连贯的响应，LUSPO 促进了对更广泛推理模式的探索，从而提高了在复杂数学和逻辑任务中的表现。
• 广泛的适用性： 该方法在密集型和 MoE 架构以及纯文本和多模态设置中均有效，使其成为下一代大模型训练的通用解决方案。

作者总结道，LUSPO 代表了在稳定 RLVR 训练并最大化大语言模型推理潜力方面迈出的重要一步。