技術要約：自己レビュー強化学習 (Self-Review Reinforcement Learning, SRRL)

問題提起

強化学習（RL）は、環境からのフィードバックを用いて大規模言語モデル（LLM）を訓練するために頻繁に採用されます。しかし、実用的な設定において、このフィードバックは**疎（sparse）、遅延的、あるいはバイナリ（binary）**である場合が多いです（例：なぜ失敗したのかという説明なしに、成功か失敗かのみを示すスカラー報酬など）。これにより、重大なクレジット割り当て問題（credit assignment problem）が生じます。モデルは、どの特定の推論ステップが失敗につながったのかを特定することに苦慮し、非効率的で繰り返しの探索を通じて、修正戦略を再発見することを余儀なくされます。

さらに、推論時のリフレクション手法（例：Reflexion、Self-Refine）は、デプロイメント中の展開において高い計算コストを要し、実行時のメモリへのアクセスを必要とします。対照的に、標準的な教師あり微調整（SFT）には間違いから学ぶメカニズムが欠けており、標準的な検証可能報酬を用いた強化学習（RLVR）は、構造化された修正を内部化することに失敗することが多く、エピソード間で持続しないサブオプティマルな戦略へと陥ることがよくあります。

メソドロジー

著者らは、疎なフィードバックを構造化された行動修正へと変換するために、明示的な自己レビューステップをRLループ内に組み込むフレームワークである**自己レビュー強化学習（SRRL）**を提案しています。このフレームワークは、以下のメカニズムを通じて動作します。

1. トレーニング・エピソードの構造

各トレーニング・エピソードは、以下のステージで進行します：

1. 第一パス試行（First-Pass Attempt）： 入力 $x$ に対し、方策 $\pi_\theta$ がレスポンス $y_1$ を生成します。
2. 評価（Evaluation）： 環境がスカラー報酬 $r_1$ とテキストによるフィードバック $f_1$ を返します。
3. 条件付き自己レビュー（Conditional Self-Review）： $r_1$ が閾値 $\tau$ を下回った場合（失敗を示唆する場合）、モデルは自己レビューフェーズに入ります。モデルは、$x, y_1, r_1, f_1$ および取得されたメモリ $m$ に条件付けられて、$y_1$ の誤りを特定し、修正戦略を提案する構造化された分析 $\Delta$ を生成します。
4. 第二パス試行（Second-Pass Attempt）： 自己レビュー $\Delta$ に条件付けられ、モデルは洗練されたレスポンス $y_2$ を生成します。
5. 結果（Outcome）： 環境が $y_2$ を評価し、$r_2$ を生成します。

2. クロス・エピソード・メモリ（Cross-Episode Memory）

モデルが将来のエピソードで同様のタスクに対して解決策を再発見する必要がないように、SRRLはクロス・エピソード・メモリを活用します。

• 第二の試行 $y_2$ が成功した場合（$r_2 > \tau$）、成功した自己レビュー $\Delta$ はメモリ $m$ に保存されます。
• 将来のエピソードにおいて、モデルは自身の自己レビュープロセスを条件付けるために、関連する成功した自己レビューを検索・利用します。
• 決定的なのは、検証済みの修正戦略のみがメモリに保存されることであり、これによりメモリには高品質な信号が含まれることが保証されます。

3. 方策蒸留（Policy Distillation）

SRRLの重要な革新は、**選択的方策蒸留（selective policy distillation）**です。

• 第二の試行 $y_2$ が成功したとき、ベースの方策は、自己レビューのコンテキスト $\Delta$ を必要とせず、入力 $x$ のみから高品質なレスポンス $y_2$ を直接再現するように、蒸留を通じて訓練されます。
• 蒸留損失は以下のように定義されます：
  $$L_{distill}(\theta) = -E_{(x,y_2,r_2)\sim D} [I\{r_2>\tau\} \log \pi_\theta(y_2 | x)]$$
• これにより、「自己レビュー」フェーズで学習された改善が、モデルの重みに直接内部化されます。その結果、推論時には、モデルは自己レビュー、メモリ検索、および追加のレイテンシを必要としません。単に改善された行動を直接出力します。

4. 最適化目的関数

フレームワークは、基礎となるオプティマイザとして**GRPO (Group Relative Policy Optimization)**を使用します。総損失は以下の3つのコンポーネントを組み合わせたものです：
$$L_{SRRL} = L_{policy} + L_{distill} + \beta \cdot L_{KL}$$

• $L_{policy}$: グループ相対アドバンテージ推定を用いて、第一パス、自己レビュー、および第二パスの試行を最適化します。自己レビュー $\Delta$ には、ダウンストリームの成功 $y_2$ に基づいて報酬が割り当てられます。
• $L_{distill}$: 成功した第二の試行に対してのみアクティブになり、$x$ から $y_2$ への直接的なマッピングを強化します。
• $L_{KL}$: 方策のドリフトを防ぐためのKLダイバージェンス正則化項（$\beta=0.001$）です。

活性化に関する制約： 自己レビューは、第一の試行が失敗した場合にのみトリガーされます。これにより、「報酬ハッキング」（モデルが既に正しい回答に対してショートカットを生成すること）を防ぎ、成功した第一パスの軌跡が純粋にオンポリシーであることを維持し、訓練の安定性を確保します。

主な貢献

1. トレーニングにおける明示的な自己レビュー： 推論時のリフレクションとは異なり、SRRLは構造化された自己分析をトレーニングループに直接統合し、疎な報酬を実行可能な推論ステップへと変換します。
2. クロス・エピソード・メモリ： 成功した自己レビューを保存・検索するメカニズムにより、モデルは将来の同様のタスクに対して過去の修正に関する洞察を活用できます。
3. 選択的方策蒸留： 成功した修正をベースの方策に内部化する手法であり、デプロイメント時の計算オーバーヘッド（メモリ/レビュー）を排除します。
4. 条件付きトリガリング： 失敗した軌跡に自己レビューを限定するという設計上の選択により、オンポリシーの安定性とエラー修正の必要性のバランスをとっています。

実験結果

著者らは、数学的推論のベンチマークである GSM8K において、GRPO オプティマイザを用いた標準的なRLVRベースラインに対してSRRLを評価しました。2つのモデル、Qwen3-4B と OLMo-3-7B がテストされました。

• パフォーマンス： SRRLは、両方のモデルにおいて、最終的な報酬パフォーマンスにおいて一貫してRLVRベースラインを上回りました。
  • Qwen3-4B: SRRLはテスト報酬 0.778 を達成（RLVRは 0.762）。
  • OLMo-3-7B: SRRLはテスト報酬 0.742 を達成（RLVRは 0.714）。
• 学習効率： SRRLは、RLVRと比較して、トレーニングの早い段階でより高い検証報酬に到達するという、より速い学習軌道を示しました。
• モデル依存性： 改善の大きさは、モデルの事前の数学能力と反比例の関係にありました。汎用的なOLMo-3-7B（数学的プライアが弱い）は、数学に特化したQwen3-4Bよりも大きな絶対的改善を示しており、これはSRRLがパフォーマンスの飽和点以下で動作するモデルにとって特に効果的であることを示唆しています。
• デプロイメント： このフレームワークは、推論時の自己レビューの必要性を排除することに成功し、性能向上を維持したままゼロレイテンシのデプロイを実現しました。

意義と主張

本論文は、SRRLが標準的なRLVR（疎なフィードバック）および推論時のリフレクション（デプロイメント時のレイテンシ）の根本的な限界に対処することを主張しています。フィードバックを構造化された分析へと変換し、蒸留を通じてこれらの洞察を内部化することで、SRRLはモデルが複雑な推論ステップを必要とすることなく、間違いからより効率的に学習することを可能にします。

著者らは、このフレームワークが、標準的な報酬信号がそれほど情報豊かではない場合において、特に汎用ベースモデルにとって価値が高いと考えています。さらに、観察された独特の学習ダイナミクス（例：報酬曲線の形状）は、RLトレーニング予算を割り当てるための診断ツールとしても機能する可能性があります。本研究は、SRRLを、試行錯誤の学習と安定したデプロイ可能な方策との間のギャップを埋める、経験から学び修正を内部化できるエージェントへの一歩として位置付けています。