技術要約: 自己誘導型プロセス報酬最適化 (SPRO)

1. 問題提起

プロセス強化学習 (PRL) は、中間的なフィードバックを提供することで、大規模言語モデル (LLM) の推論能力を向上させる有望な手法であることが示されています。しかし、現在の手法には以下のような重大な障害が存在します：

• 計算オーバーヘッド: 補助的なプロセス報酬モデル (PRM) の学習には、追加の GPU メモリと計算リソースが必要となり、GRPO のような結果監督型手法と比較して、学習のスループットとスケーラビリティを低下させます。
• 理論的欠落: プロセスレベルのアドバンテージ推定に関する統一された理論的枠組みが存在しません。既存の手法は、軌道全体に報酬を集計するか、バイアスを導入し標準的なアドバンテージベースの方策勾配法から逸脱するモンテカルロ推定者に依存しています。
• 学習の限界: PRM ベースの手法は、人間によるアノテーションや信頼性の低い自動的な監督への依存により、学習が困難になることが多く、逐次的なロールアウトを必要とするオンライン RL 設定でのスケーラブルな利用も困難です。

2. メソドロジー

著者らは、ポリシーモデル自体から本質的に報酬を導出することで、プロセスを意識した強化学習を可能にする、PRM を必要としないフレームワークである Self-Guided Process Reward Optimization (SPRO) を提案します。このメソドロジーは、以下の3つのコアコンポーネントに基づいています。

A. 自己誘導型プロセス報酬 (Self-Guided Process Rewards)

本フレームワークは、任意の LLM ポリシー $\pi_\theta$ が、トークンレベルのマルコフ決定過程 (MDP) 内の何らかの報酬関数に対するソフト Q 関数として機能するという理論的洞察を活用しています。

• 命題: ポリシーモデル自体が、独自の報酬モデルとして機能できます。具体的には、プロセス報酬 $r(s_t, a_t)$ は、現在のポリシーと参照ポリシーの間の対数比から導出できます：
  $$r(s_t, a_t) + V(s_{t+1}) - V(s_t) = \beta \log \frac{\pi_\theta(a_t|s_t)}{\pi_{ref}(a_t|s_t)}$$
• メカニズム: 別の PRM ($\pi_\phi$) を必要とする手法とは異なり、SPRO はポリシーモデル $\pi_\theta$ を使用してトークンレベルのクレジット割り当てを行います。ポリシーと参照モデルは同じ SFT モデルから初期化されるため、初期のプロセス報酬はゼロであり、学習中にポリシーが参照モデルから乖離するにつれて進化していきます。

B. 再定義されたステップ単位のアドバンテージ (Redefined Step-wise Advantage)

厳密なステップ単位のアドバンテージ推定を促進するため、SPRO は2つの新しい概念を導入します。

1. 累積プロセス報酬 (Cumulative Process Reward: CPR):

   • LLM の隠れ状態が（マスクされたアテンションにより）ステップ $t$ においてプレフィックス・シーケンス全体をエンコードしていることを認識し、SPRO はステップ $t$ における報酬を、その時点までのプロセス報酬の累積和として定義します。
   • 正式には、$R_t$ は報酬の合計と将来の価値の和として定義され、これは対数比の入れ子状の和（telescoping sum）へと簡略化されます：
     $$R_t = V(s_0) + \sum_{j=0}^{t} \beta \log \frac{\pi_\theta(a_j|s_j)}{\pi_{ref}(a_j|s_j)}$$
   • これは LLM の表現の累積的な性質と一致しており、外部モデルなしでプロセス報酬の代用として機能します。

2. マスクされたステップ・アドバンテージ (Masked Step Advantage: MSA):

   • 公平な比較を確保するため、SPRO は「共有プロンプト・サンプリング・グループ」内でアドバンテージを計算します。
   • 特定のタイムステップ $t$ における複数のサンプリングされたレスポンスにわたって、アドバンテージは、その特定のタイムステップにおける 有効な ステップのグループ平均に対して正規化することで計算されます。
   • 公式: $MSA_{i,t} = \tilde{R}_{i,t} - \text{mask\_mean}(\{\tilde{R}_{i,t}\})$ （ここで $\tilde{R}$ は定数 $V(s_0)$ を除外したもの）。
   • 主要な特徴: このメカニズムは、厳格なステップごとの比較を強制し、長さによるバイアス（例：長いレスポンスが単に長いという理由だけで人工的なアドバンテージを得ること）を回避し、GRPO のような標準的なグループ相対アドバンテージ手法をステップレベルに適用したものです。

C. 最適化目的関数 (Optimization Objective)

SPRO は、MSA を Group Relative Policy Optimization (GRPO) フレームワークに統合します。総アドバンテージ $A_{i,t}$ は、結果報酬（正規化済み）と Masked Step Advantage を組み合わせたものです：
$$A_{i,t} = \text{OutcomeAdvantage} + MSA_{i,t}$$
そして、この結合されたアドバンテージ信号を用いて、標準的なクリップされた目的関数によってポリシーが最適化されます。

3. 主な貢献

1. PRM フリーのフレームワーク: SPRO は、高価な補助的プロセス報酬モデルの必要性を排除し、結果監督型 RL（デュアルモデル・フレームワーク）のシンプルさとスケーラビリティを維持しながら、プロセスレベルの最適化を可能にします。
2. 理論的再定義: 本論文は、CPR と MSA を導入することでステップレベルのアドバンテージを再定義し、共有プロンプト・グループ内におけるステップ単位のアクション・アドバンテージ推定のための厳密な理論的枠組みを提供します。
3. 二重の改善: この手法は、トークン効率（より短い推論トレース）とポリシーのエントロピー崩壊（探索の維持）の両方に同時に対処し、LLM RL の2つの重要な課題を解決します。

4. 実験結果

実験は、Eurus-2-7B や Qwen2.5-14B などのモデルを用い、数学およびプログラミングのベンチマーク（AIME, MATH, LeetCode, LiveCodeBench など）に対して行われました。

• 正確度: SPRO は、テスト精度においてバニラ GRPO を 12.9%、PRIME を 7.2% 上回りました。また、モデルファミリー間（例：Llama-3.1-8B）での汎化性能も示しています。
• 学習効率: SPRO は、GRPO に必要な GPU 時間の 29%、PRIME に必要な時間の 15% で同等の性能を達成しました。これは、補助的な PRM の排除と、より短い軌道長によるものです。
• トークン効率: SPRO は、より高い精度を達成しながら、バニラ GRPO よりもレスポンスを 約3分の1短く 生成しており、より効率的な推論が行われていることを示しています。
• エントロピーの安定性: エントロピー崩壊に苦しむ PRIME とは異なり、SPRO は学習を通じて安定して高いポリシー・エントロピーを維持し、報酬ハッキングを防ぎ、効果的な探索を促進します。
• ケーススタディ: 定性的分析によれば、SPRO はベースラインの手法に見られる冗長で反復的な出力と比較して、より簡潔で直接的な推論パスを生成することが示されています。

5. 重要性と主張

本論文は、SPRO が 産業規模のプロセス強化学習 への重要な一歩であることを主張しています。個別の PRM を訓練するという計算上のボトルネックを取り除くことで、プロセスレベルの最適化を大規模な産業展開において実現可能にします。著者らは、彼らのアプローチが推論の正確さを向上させるだけでなく、探索を損なうことなく、簡潔で多様かつ効果的な解を促すことで、推論プロセスの 質 を根本的に向上させるものであると述べています。このフレームワークは、理論的なプロセスレベルのアドバンテージと、効率的な実世界の実装との間の溝を埋める、実用的かつスケーラブルな従来のプロセス報酬アプローチへの代替案として提示されています。