技術的概要：確率整形による鋭さ誘導型グループ相対方策最適化

問題定義

検証可能な報酬を伴う強化学習（RLVR）は、数学、論理、ツール拡張型質問応答などの分野における大規模言語モデル（LLM）の推論能力向上の主要な原動力として浮上している。グループ相対方策最適化（GRPO）は、その単純性と明示的な価値関数への依存性の欠如により、この設定における支配的な最適化手法となっている。しかし、現在の RLVR 実装は、一般化に対する堅牢な制御を欠くことが多い。著者らは、学習が「鋭い（sharp）」更新、すなわち大きく不安定な勾配ステップをもたらす可能性があり、これは理論的に一般化性能の低下と相関することを特定した。対処すべき核心的な問題は、学習信号を犠牲にしたり複雑なアーキテクチャ変更を導入したりすることなく、GRPO 学習を安定化し、一般化を改善する方法である。

手法：GRPO-SG

本論文は、最適化更新の鋭さを低減するように設計された GRPO のトークン重み付け変種である**鋭さ誘導型 GRPO（GRPO-SG）**を提案する。この手法は、頑健な一般化の視点に理論的基盤を置き、信頼度に基づく確率整形メカニズムを通じて実装される。

理論的基盤

著者らは、頑健性に基づく一般化のレンズを通じて GRPO を再考する。彼らは、一般化誤差が、経験的学習誤差の総和と、勾配ノルムによって測定される鋭さの代理変数の和によって上から抑えられることを確立している（定理 3.3）。

• 主要な洞察： 小さい勾配ノルムは、鋭くない更新に対応し、より良い一般化を意味する。
• 導出： 経験的誤差の勾配を分析することにより、著者らは勾配ノルムがトークンレベルの重みに影響を受けることを示す。具体的には、トークン重み（$w_{i,t}$）と項 $(1 - \pi_\theta(o_{i,t}))$（不確実性を表す）の積が、勾配の大きさに直接影響を与える。

アルゴリズム的実装

GRPO-SG は、信頼度シグナルとして機能するトークン重み $w_{i,t}$ を導入することで、標準的な GRPO 目的関数を修正する。

1. 信頼度シグナル： 重みは、現在の方策によって生成される選択トークンのログオッズ（selected-token logit）（$h_{i,t}$）から導出される。このログオッズは、モデルが選択したトークンに対する信頼度の代理指標として機能する。
2. 確率整形： ログオッズに対して単調で信頼度を意識した写像関数 $\omega(\cdot)$ を適用して重みを生成する。具体的な定式化（式 20）は以下の通りである：
   $$w_{i,t} = \text{clip}\left(\alpha \cdot \left[\sigma\left(\frac{\text{sg}[h_{i,t}]}{\tau}\right) - \mu\right], L, U\right)$$
   • $\text{sg}[\cdot]$ は、モデルが重みを操作するのを防ぐためのストップグラディエント演算子である。
   • $\sigma$ はシグモイド関数であり、$\tau, \mu, \alpha, L, U$ は滑らかさと境界を制御するハイパーパラメータである。
3. メカニズム：
   • 高信頼度トークン： 高いログオッズ（高い信頼度）を持つトークンは高い重みを受け取り、重要な推論ステップにおける学習信号を維持する。
   • 低信頼度トークン： 低いログオッズを持つトークンは低い重みを受け取る。低信頼度トークンはしばしば（$(1-\pi)$ 項により）大きな勾配を誘発するため、これらをダウンウェイトすることで学習を不安定化させる可能性のある「鋭い」更新を抑制する。
4. 統合： これらの重みは、標準的な PPO 風のクリッピングと優位性正規化を維持しつつ、GRPO の代理目的関数に直接統合され、過度に大きな勾配を引き起こす可能性のあるトークンを効果的にダウンウェイトする。

主要な貢献

1. GRPO の一般化視点： 本論文は、RLVR 学習と頑健な一般化目的との間の理論的リンクを提供し、鋭さの代理変数（勾配ノルム）を通じて一般化を特徴づける。
2. GRPO-SG アルゴリズム： トークン信頼度（選択トークンのログオッズ）を使用して更新の大きさを整形し、補助モデルや複雑な報酬整形を必要とせずに鋭さを低減する、シンプルかつ効果的な GRPO の修正を導入する。
3. 実証的検証： 多様な RLVR ベンチマークにおいて手法を検証し、標準 GRPO および他のトークンレベル制御ベースライン（例：80/20、AR、Lopti）に対する一貫した改善を実証した。

実験結果

実験は、数学的推論、エージェント型質問応答（ツール拡張）、論理パズル（騎士と偽者）という 3 つの異なる RLVR 設定で行われた。

• 数学的推論： OlympiadBench、Minerva、MATH-500 を含むベンチマークにおいて、GRPO-SG は標準 GRPO に対して平均 +2.7% から +6.0% の改善を達成した。例えば、Qwen2.5-7B による DSR 学習レシピでは、平均改善は 6.0% であった。
• エージェント型 QA： 知識拡張型 QA タスク（VT-Search 使用）において、GRPO-SG は Qwen2.5-3B モデルの完全一致精度をほぼ倍増させ（13.84 から 27.29）、Qwen3-4B モデルにおいても有意な改善を提供した。
• 論理パズル： K&K 論理パズルベンチマークにおいて、GRPO-SG は Qwen2.5-3B の平均精度を 0.42 から 0.63 に（相対的に 50% の改善）、Qwen2.5-7B を 0.75 から 0.91 に改善した。
• 学習ダイナミクス： 精度を超えて、GRPO-SG は GRPO に比べてより滑らかな勾配ノルム軌道を示し、図 1 に示すように外れ値スパイクが少なく、鋭さを低減するという理論的目標と一致していた。学習報酬もより高く、安定していた。

意義と主張

本論文は、GRPO-SG が RLVR 向け GRPO のシンプルかつ効果的な一般化指向のアップグレードであると主張する。

• 単純性： この手法は、追加の価値モデル、人間のラベル、複雑なアーキテクチャ変更を必要としない。既存の GRPO 目的関数内のトークン重み付けのみを修正する。
• 安定性： トークン信頼度を通じて更新の鋭さを明示的に制御することで、学習プロセスを安定化し、より頑健な推論能力をもたらす。
• 汎用性： 改善は、異なるモデルサイズ（3B から 7B+）、異なるモデルファミリー（Qwen、Mistral、LLaMA）、多様な推論分野（数学、論理、エージェント検索）で一貫している。

著者らは、信頼度に基づくトークン重み付けを通じて更新の鋭さを明示的に制御することが、検証可能な報酬設定における RL 学習 LLM の安定性と性能を向上させる実用的な戦略であり、より良い一般化への実用的な道筋を提供すると結論づけている。