テクニカルサマリー：Back to Basics: 再考するLLM推論における生成確率を通じた探索の再訪

1. 問題提起

検証可能な報酬（Verifiable Rewards: RLVR）を用いた強化学習は、大規模言語モデル（LLM）、特に長い思考の連鎖（Chain-of-Thought: CoT）を生成させるための推論能力を強化するための支配的なパラダイムとなっています。しかし、Group Relative Policy Optimization（GRPO）のような標準的な方策最適化手法は、**エントロピー崩壊（entropy collapse）およびモード崩壊（mode collapse）**という問題に直面しています。

核心となる問題は、報酬加重型の尤度最大化（reward-weighted likelihood maximization）という目的関数にあります。最適化の過程で、この目的関数は高報酬（正解）の軌跡の確率質量を不当に増幅させます。その結果、モデルは低エントロピーの方策へと収束し、有効な代替的推論経路を抑制してしまい、出力の多様性が著しく欠如することになります。エントロピー正則化や動的クリッピングといった既存の解決策は、これらを緩和しようと試みていますが、これらは報酬最大化の枠組み内での局所的な修正に留まることが多く、多様な推論パスのモデリングを根本的に改善するには至っていません。

2. 手法：ProGRPO

著者らは、生成確率の観点からアドバンテージ関数の構築を再検討した新しいパラダイムであるProGRPO（Probabilistic based GRPO）を提案しています。その核心的な革新は、すべての正解回答に対して確信度のレベルを均衡させるために設計された**アドバンテージ再重み付けメカニズム（Advantage Re-weighting Mechanism: ARM）**です。

2.1. アドバンテージ再重み付けメカニズム (ARM)

ProGRPOは、報酬信号を直接修正する（グループ内のすべての回答が正解または不正解の場合に更新を歪める可能性があるため）のではなく、内部モデルの信号を取り入れることでアドバンテージ（$\tilde{A}_i$）を調整します。

• プロンプト確信度 ($c_\theta(q_i)$): 入力プロンプトに対するモデルの確信度。これは、プロンプト内の低確率トークンの平均対数確率の指数として計算されます。
• 回答確信度 ($c_\theta(o_i | q_i)$): プロンプト $q_i$ に対して特定の回答 $o_i$ を生成することに対するモデルの確信度。これも同様に、レスポンス内の低確率トークンに基づいて計算されます。

再重み付けされたアドバンテージは以下のように定義されます：
$$\tilde{A}_i = A_i + \alpha (c_\theta(q_i) - c_\theta(o_i | q_i))$$
ここで、$A_i$ は標準的なGRPOのアドバンテージであり、$\alpha$ は重み係数です。このメカニズムは、報酬信号を動的に再形成します。つまり、過度に自信に満ちた推論パスに対する勾配更新を減衰させ、未探索の正解ソリューションへと確率質量を再分配します。

2.2. 低確率トークンの長さ正規化

著者らは、シーケンス全体に長さ正規化を適用すると、「些細な」高確信度トークンによって報酬信号が希釈されることを指摘しています。予測の不確実性は、通常、生成ステップのわずかな部分（約20%）に集中しています。

• 戦略: この手法は、最も予測不確実性が高いポジションを表すクリティカルなトークンのサブセット（$T^{low}$）を特定します。
• 実装: プロンプトと回答の両方の確信度スコアは、この情報量の多いサブセットに対してのみ計算されます。これにより、表面的な確実性ではなく、推論の質を反映する意味のある変動を保持します。

2.3. 目的関数

最終的な目的関数は、これらの再重み付けされたアドバンテージを標準的なGRPO損失に統合し、多様な探索を促進しながら学習の安定性を確保するために、クリップされたサロゲート目的関数を利用します。

3. 主な貢献

• 手法的な革新: GRPOに確信度を考慮したアドバンテージ再重み付けメカニズム（ARM）を組み込むことで、GRPOを拡張したProGRPOの導入。これにより、学習の安定性を損なうことなく、ターゲットを絞った探索が可能になります。
• 幅広い有効性: 複数のモデルスケール（Qwen2.5-7B/32B, DeepSeek-R1-Distill-Qwen-1.5B/7B）を用い、多様なベンチマーク（数学およびコード生成）において検証。本手法は、GRPOやFlowRLといった主流のベースラインを一貫して上回っています。
• OOD（分布外）への堅牢性: 未知のデータ分布（例：GPQA, MMLU-Pro）に対しても、優れたOOD適応力を示し、堅牢なパフォーマンスを維持することを実証。
• 大幅な性能向上: 探索と活用のトレードオフを劇的に改善し、精度と出力の多様性の両方を大幅に向上させています。

4. 実験結果

実験は、数学的推論（AIME, AMC, MATH, OlympiadBench）およびコード生成（LiveCodeBench, CodeForces, HumanEval+）のベンチマークを用いて実施されました。

• 数学的推論:
  • Qwen2.5-7B において、ProGRPOはGRPOに対し、Pass@1で5.7%、Pass@32で**13.9%**上回りました。
  • Qwen2.5-32B において、Pass@1をGRPOより**4.8%**向上させました。
  • DeepSeek-R1-Distill-Qwen-1.5B において、Pass@1は49.4%（GRPO）から58.3%（ProGRPO）へと向上しました。
• コード生成:
  • CodeForces において、ProGRPOはレーティング1422.49を達成し、GRPOを約+180ポイント、FlowRLを+293ポイント上回りました。
  • HumanEval+ において、Avg@16スコア**84.01%**を達成し、比較された手法の中で最高の結果となりました。
• 多様性とエントロピー:
  • 学習エントロピーの分析により、GRPOがエントロピー崩壊を招くのに対し、ProGRPOはエントロピーの安定した上昇を示しており、持続的な探索が行われていることが分かります。
  • AIME 2024における多様性指標（Self-BLEU, Semantic Cosine）は、GRPOの出力と比較してProGRPOの出力が有意に低い冗長性を示しており、構造的に多様な推論パスが生成されていることを裏付けています。
• アブレーション研究:
  • ハイパーパラメータ $\alpha$（重み係数）が極めて重要であることが判明しました。$\alpha = \mathbf{0.3}$ が性能と安定性の最適なバランスを提供しました。$\alpha = 0$（純粋なGRPO）では結果が弱まり、より高い値（0.7, 1.0）では確信度信号を強調しすぎることにより性能が低下しました。

5. 意義と主張

本論文は、ProGRPOがLLMの推論タスクにおける根本的な**探索と活用のトレードオフ（Exploration-Exploitation trade-off）**に対処していると主張しています。生成確率と確信度のバランスを取ることで、単純な報酬最大化から焦点を移すことにより、以下のことを実現しています：

1. エントロピー崩壊の緩和: モデルが単一の支配的な推論パスに収束することを防ぎます。
2. 多様性の向上: 多様な有効な推論連鎖の生成を可能にし、これはPass@k（$k > 1$）の指標における大幅な向上によって証明されています。
3. 汎化性能の向上: OODデータセットにおいても堅牢なパフォーマンスを維持しており、学習された推論能力がより転移しやすいものであることを示唆しています。

著者らは、本研究を、現在のRLVRパラダイムの限界を解決するためにLLM生成の確率的な性質を再考する「Back to basics（基本への回帰）」のアプローチとして位置づけており、推論モデルにおけるより安定し、かつ探索的な強化学習への道を開くものです。