技術的サマリー：LamPO – 推論言語モデルのためのラムダスタイル方策最適化

問題定義

検証可能な報酬を用いた強化学習（RLVR）は、数学、コーディング、科学分野の質問応答などのタスクにおいて、大規模言語モデル（LLM）の推論能力を向上させるための支配的なパラダイムとして浮上している。グループ相対方策最適化（GRPO）は、サンプリングされたグループ内で報酬を正規化することにより、PPO のクリティッカリフリーな代替手段として標準となっているが、情報圧縮という決定的な限界に悩まされている。

GRPO は、利得を計算するために、サンプリングされた各応答グループをスカラー統計量（平均と標準偏差）に要約する。このアプローチは、候補応答間の微細な関係情報を破棄してしまう。推論タスクでは、解の質が部分的に正しいかほぼ正しいかのように、わずかにしか異ならない場合があり、スカラーベースラインは応答がグループ平均を上回るか下回るかを示すことしかできない。それは、特定のどの応答がどの程度上回っているかを明示的に保持することに失敗する。この限界は、多くの誤った経路が同一のフィードバックを受けるスパースな二値報酬の下で特に深刻であり、弱いクレジット割り当てをもたらす。

手法

著者らは、クリティッカリフリー最適化の効率性を維持しつつ、応答グループ内で失われた関係構造を回復するように設計されたLamPO（ラムダスタイル方策最適化）を提案する。

1. 対分解利得（PDA）

グループ統計量に基づいてスカラー利得を計算する代わりに、LamPO はグループ相対利得を対分解利得に置き換える。サイズ $G$ のグループ内の応答 $o_i$ に対して、利得 $A_\lambda(o_i)$ は、信頼度係数で重み付けされた対報酬ギャップの平均として計算される。

$$A_\lambda(o_i) = \frac{1}{G - 1} \sum_{j \neq i} (R(o_i) - R(o_j)) \sigma\left(\frac{\Delta s_{ij}}{\tau}\right)$$

ここで：

• $R(o_i) - R(o_j)$ は学習方向を提供する対報酬ギャップを表す。
• $\Delta s_{ij} = \log \pi_{\theta_{old}}(o_i | q) - \log \pi_{\theta_{old}}(o_j | q)$ は、旧方策におけるシーケンス対数確率の差である。
• $\sigma(\cdot)$ は、信頼度感知重みとして機能するロジスティックシグモイド関数である。
• $\tau$ は、対数確率の差に対する重み付けの感度を制御する温度パラメータである。

この定式化は対比較を集約し、グループ内の順位情報を保持する。重み付けにより、方策がより確信を持っている（対数確率の差が大きい）比較が更新により大きく寄与することが保証される。

2. 方策目的関数

LamPO は、PPO スタイルのクリップされた代理目的関数と、GRPO のクリティッカリフリー構造を維持する。標準的な利得 $\hat{A}_i$ は、クリップされた目的関数内で計算された PDA $A_\lambda(o_i)$ に単純に置き換えられる。完全な目的関数には、参照方策 $\pi_{ref}$ に対する KL 正則化項が含まれる。

3. 密な参照重なり報酬

参照解が利用可能な場合の報酬のスパース性に対処するため、LamPO はROUGE-Lに基づく軽量な補助報酬を導入する。

• 最終報酬は線形結合である：$R(o_i) = R_{ext}(o_i) + \lambda_{sem} R_{sem}(o_i)$。
• $R_{ext}$ はスパースな検証可能な正解報酬（0 または 1）である。
• $R_{sem}$ は生成されたトレースと参照解との間の ROUGE-L F1 スコアである。
• $\lambda_{sem}$ はこの密なシグナルの強さを制御する。

この補助報酬は、スパースな正解信号を置き換えることなく、それを補完するシーケンス認識の重なり信号を提供する。

主要な貢献

1. 限界の特定: 本論文は、推論タスクにおける RLVR の主要なボトルネックとして、スカラーベースラインのグループ相対最適化におけるグループ内関係情報の損失を特定する。
2. LamPO アルゴリズム: サンプリングされたグループ内の順位情報を保持するために、信頼度感知重み付けを備えた対分解利得を利用する、新規のクリティッカリフリー方策最適化手法。
3. 補助報酬の統合: 参照推論トレースが利用可能な場合、ROUGE-L ベースの重なりを使用して報酬のスパース性を低減するための、シンプルかつ効果的なメカニズム。
4. 実証的検証: 複数のベンチマークおよびモデルファミリーにわたって、GRPO および最近の RLVR 変種（DAPO、GSPO、SAPO）に対して一貫した改善を実証。

実験結果

著者らは、3 つのモデルバックボーン（Qwen3-1.7B、Qwen3-4B、Phi-4-mini）を使用して、4 つの推論ベンチマーク（AIME24、AIME25、MATH-500、GPQA-Diamond）で LamPO を評価した。

• 性能: LamPO は、すべてのモデルサイズにおいて GRPO および他のベースライン（CoT、SimpleRL-Zoo、PRIME、RLPR、DAPO、GSPO）を常に上回った。
  • Qwen3-1.7Bにおいて、LamPO は最高平均スコア（53.60）を達成し、コンペティション形式の数学タスクで顕著な改善を示した（AIME24: 46.67 対 GRPO の 42.08）。
  • Qwen3-4Bにおいて、LamPO は GRPO より平均スコアを 1.69 ポイント改善した（77.09 対 75.40）。
  • Phi-4-miniにおいて、LamPO は同様の改善を示し、この手法が特定のモデルファミリーに依存しないことを示している。
• 学習ダイナミクス: 学習曲線は、LamPO が GRPO に比べてより滑らかな報酬改善とより安定した完了長を生み出すことを明らかにした。この安定性は、特に小規模モデルにおいて高分散のスカラー正規化によって引き起こされる振動する更新を減らす、対ギャップによって提供される構造化されたシグナルに起因する。
• アブレーション研究:
  • 温度（$\tau$）: 値 $\tau=1.5$ が最良の結果をもたらした。低い値（$\tau=0.5$）は重み付けを過度に敏感にし、高い値（$\tau=5.0, 7.0$）は重み付けを過度に平滑化して対識別を弱めた。
  • セマンティック報酬: 密な補助報酬を除去（$\lambda_{sem}=0.0$）すると性能が低下し、参照重なりによる形状付けがスパースな報酬下でのサンプル効率を向上させることを確認した。

意義と主張

本論文は、解の質が微妙に変化する推論タスクにおいて、LamPO がより効果的なクレジット割り当てメカニズムを提供すると主張する。スカラーグループ統計から対分解利得へと移行することで、LamPO は候補応答の相対的な順序を明示的に活用する、より豊かな学習シグナルを提供する。

著者らは、LamPO がクリティッカリフリーでありクリップされた更新を使用していることから、GRPO フレームワークの計算効率と安定性を維持しつつ、グループ相対手法における情報損失という特定の弱点に対処していると強調する。軽量な ROUGE-L 報酬の統合は、参照データが利用可能な場合にトレーニング効率をさらに向上させるが、検証可能な正解への依存を損なうことはない。

認められた限界:

• 計算コスト: 対比較はグループサイズ $G$ に対して $O(G^2)$ の複雑さを導入するが、これは RLVR の典型的なグループサイズにとっては無視できると見なされる。
• 報酬の信頼性: この手法は信頼できる報酬シグナルに依存しており、ノイズのある主観的な報酬は対ギャップの誤差を増幅する可能性がある。
• 補助報酬の範囲: ROUGE-L 報酬は完全な推論の正しさではなく語彙的重なりを捉えるものであり、すべてのタスクに存在するとは限らない参照解を必要とする。
• 一般化: 実験は現在、数学および科学的推論に限定されており、オープンエンドな対話やマルチモーダルタスクへの一般化は未解決の問題である。