技術要約：長さに対して不偏なシーケンス・ポリシー最適化 (LUSPO)

1. 問題提起

検証可能な報酬を用いた強化学習 (RLVR) は、大規模言語モデル (LLM) および視覚言語モデル (VLM) の推論能力を強化するための要石となっています。RLVR トレーニングにおける一般的な観察として、レスポンスの長さが増加すると、モデルが複雑な問題を詳細なステップへと分解することを学習するため、推論能力の向上と相関することが挙げられます。しかし、本論文は、主流の RLVR アルゴリズム、特に Group Relative Policy Optimization (GRPO) および Group Sequence Policy Optimization (GSPO) における決定的な欠陥を特定しています。これらは固有の レスポンス長バイアス を示し、それが「レスポンス長の崩壊（response length collapse）」、すなわちモデルがますます短いレスポンスを生成するようになり、トレーニングの有効性と推論の深さを損なう現象を引き起こす可能性があります。

著者らはこのバイアスの原因を以下のように分析しています：

• GRPO において: 目的関数は、トラジェトリ内のトークンレベルの重要度比を平均化します。この正規化により、短いレスポンス内のトークンは、長いレスポンス内のトークンよりも勾配更新に対してより重く寄与することになります。その結果、正解に対してはモデルは簡潔になるようインセンティブを与えられ、不正解に対しては長すぎることへのペナルティが少なくなるという、不安定なダイナミクスが生じます。
• GSPO において: GSPO は、シーケンスレベルの重要度重み付けを用いることで Mixture-of-Experts (MoE) モデルにおける GRPO の不安定性に対処していますが、長さのバイアスを解決するには至っていません。本論文では、GSPO のシーケンスレベルのクリッピング機構が「Clip-Higher」操作と組み合わさることで、負の（不正解の）サンプルを不当に切り捨てていると主張しています。これにより、勾配更新が正のサンプルに支配されるようになり、基礎となる長さのバイアスによって、さらなる短出力の生成を促してしまいます。実証的な証拠によれば、GRPO はレスポンス長を増加させる傾向がある一方で、GSPO は、特に高密度（dense）および VLM モデルにおいて、トレーニング中にレスポンス長の崩壊を引き起こすことが頻繁にあります。

2. 手法：長さに対して不偏なシーケンス・ポリシー最適化 (LUSPO)

GSPO に内在する長さのバイアスを是正するために、著者らは Length-Unbiased Sequence Policy Optimization (LUSPO) を提案します。核心となる革新は、GSPO の目的関数に対する原理的な修正です。

理論的根拠

著者らは、標準的な GSPO 損失関数が長いシーケンスに対してバイアスを持っていることを示す理論的分析を提供しています。これを中和するために、LUSPO は各シーケンスの損失をその自身の長さ ($|y_i|$) でスケーリングします。

アルゴリズム

LUSPO 最適化目的関数は次のように定義されます：
$$J_{LUSPO}(\theta) = \mathbb{E}_{x \sim \mathcal{D}, \{y_i\}_{i=1}^G \sim \pi_{\theta_{old}}(\cdot|x)} \left[ \frac{1}{G} \sum_{i=1}^G \min\left( s_i(\theta) \hat{A}_i, \text{clip}(s_i(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_i \right) \cdot |y_i| \right]$$

ここで：

• $s_i(\theta)$ はシーケンスレベルの重要度比（GSPO と同様）です。
• $\hat{A}_i$ はグループベースのアドバンテージ推定値です。
• $|y_i|$ はレスポンスの長さです。

クリップされたアドバンテージ項にシーケンスの長さ $|y_i|$ を乗算することで、アルゴリズムは、勾配更新プロセスにおいて長いシーケンスが不当に罰せられないようにします。理論的な勾配分析により、この修正が GSPO に存在する長さ依存のバイアスを排除し、勾配更新の大きさがシーケンスの長さに反比例するのではなく、シーケンスの長さに比例することを確認しています。

3. 主な貢献

本論文は、主に 3 つの貢献を挙げています：

1. 長さのバイアスの分析: GRPO および GSPO の目的関数に関する詳細な理論的および実証的な分析を行い、固有のレスポンス長バイアスとその後のレスポンス長の崩壊を引き起こす基礎的なメカニズムを明らかにしました。
2. LUSPO アルゴリズム: 直接的な修正（長さのスケーリング）を通じて GSPO の長さのバイアスを中和する、新しい最適化戦略の提案。これにより、損失関数をレスポンスの長さに対して不偏にします。
3. 包括的な検証: 多様なアーキテクチャ（dense および MoE）およびモダリティ（テキストのみおよび視覚言語）にわたる広範な実験により、LUSPO が既存の手法と比較して優れた性能と安定性を達成していることを示しました。

4. 実験結果

著者らは、Qwen2.5-7B-Base (dense)、Qwen3-30B-A3B-Instruct (MoE)、および Qwen2.5-VL-7B-Instruct (Vision-Language) を用いて実験を行いました。

トレーニング・ダイナミクス

• レスポンス長: LUSPO は一貫してレスポンス長の崩壊を防ぎます。Qwen2.5-VL-7B-Instruct モデルにおいて、GSPO は顕著なレスポンス長の崩壊を示しましたが、LUSPO は安定した、大幅に長いレスポンスを維持しました。
• 勾配の安定性: この手法は、dense および MoE アーキテクチャの両方で安定したトレーニング・ダイナミクスを確保し、MoE モデルに関連してしばしば発生する不安定性の問題に対処します。

パフォーマンス・ベンチマーク

• テキストのみのモデル:
  • Qwen2.5-7B-Base: LUSPO は GSPO と比較して、AIME24 で +2.9%、MATH500 で +7.4% の精度向上を実現しました。
  • Qwen3-30B-A3B-Instruct: LUSPO は GSPO に対して、AIME24 で +6.9%、AIME25 で +17.1% の向上を達成しました。
• マルチモーダル・モデル:
  • Qwen2.5-VL-7B-Instruct: LUSPO は、複数のベンチマークにおいて GRPO と GSPO の両方を上回りました。特筆すべき点として、MathVista-Mini において GRPO より +1.6%、GSPO より +0.5% 高い精度を達成しました。LogicVista では、GSPO に対して +6.0% の向上を示しました。
• 汎用性: 本手法は、異なるデータセット (ViRL39K および DAPO-MATH-17K) において堅牢性を示し、GSPO が深刻な長さの崩壊に陥っていないシナリオにおいても、一貫して GSPO を上回りました。

5. 意義と主張

本論文は、LUSPO を RLVR トレーニングのための 新しい最先端の最適化戦略 として位置付けています。著者らは、シーケンスレベルのポリシー最適化における根本的な長さのバイアスに対処することで、LUSPO が以下のことを実現すると主張しています：

• レスポンス長の崩壊を解決: モデルの複雑な推論能力を阻害するレスポンス長の劣化を防ぎます。
• 推論能力の強化: モデルがペナルティを受けることなく、より長く一貫したレスポンスを生成できるようにすることで、LUSPO はより広い推論パターンの探索を促進し、複雑な数学的および論理的タスクにおけるパフォーマンス向上をもたらします。
• 幅広い適用性: 本手法は、dense および MoE アーキテクチャの両方、およびテキストのみとマルチモーダルな設定の両方において効果的であり、次世代の大規模モデル学習のための多用途なソリューションとなります。

著者らは、LUSPO が RLVR トレーニングを安定させ、大規模言語モデルの推論ポテンシャルを最大化するための重要な一歩であると結論付けています。