LLMs Can Learn to Reason Via Off-Policy RL

本論文は、推論ポリシーとトレーニングポリシーの間の遅延を前提としたオフポリシーな強化学習アルゴリズム「OAPL」を提案し、従来の手法よりも少ない生成回数で数学およびコーディングベンチマークにおいて優れた性能とテスト時のスケーラビリティを実現することを示しています。

要約

🍳 核心となる話：料理教室の「ズレ」を味方につける

1. 従来の方法（GRPO）：完璧な同期を求めすぎて疲弊する

これまでの AI 学習（GRPO など）は、以下のような**「完璧な料理教室」**を想定していました。

• 先生（トレーナー）： 新しい料理のレシピを考案する人。
• 生徒（推論エンジン）： 実際に料理を作る人。

従来のやり方は、「先生がレシピを書いたら、すぐに生徒がそれを見て料理を作り、その結果を先生が即座にチェックして、次のレシピに反映する」という**「完全な同期」**を強要していました。

しかし、現実の AI 学習では、先生と生徒が別の部屋（異なるコンピューター）にいることが多く、通信に時間がかかったり、生徒が少し前の古いレシピで料理を作っていたりします。

• 問題点： 「先生と生徒のレシピがズレている！」と怒って、生徒が作った料理を捨てたり、無理やり補正したりしていました。これでは学習が遅く、計算コストも高くつきます。

2. 新しい方法（OAPL）：「ズレ」を許容して、むしろ活用する

この論文が提案するOAPLという新しい方法は、**「ズレていても大丈夫！むしろそのズレを利用しよう！」**という発想の転換です。

• 新しいアプローチ：
  • 先生（新しいレシピ）と生徒（古いレシピで料理）の間に**「タイムラグ（ズレ）」があっても、生徒が作った料理を「捨てずに」**そのまま評価に使います。
  • 先生は「生徒が古いレシピで料理を作った結果」を見て、「もし私が今のレシピでやったらどうなるか？」を数学的に推測して学習します。
  • これにより、先生と生徒を頻繁に合わせ直す必要がなくなります。生徒は止まることなく料理を続け、先生も止まることなく学習を進められます。

3. 具体的なメリット：3 倍速く、同じ結果を達成

この「ズレを許容する」方法（OAPL）を実際に試したところ、驚くべき結果が出ました。

• 数学クイズ（難問）： 従来の方法（GRPO）よりも高い正解率を達成。
• プログラミング： 有名なコード生成 AI（DeepCoder）と同等の性能を、学習に使うデータ量（料理の試作回数）を 3 分の 1 に減らして達成しました。
• 安定性： 先生と生徒のズレが400 ステップ分（非常に大きなタイムラグ）あっても、学習が崩壊せず安定して進みました。

🌟 なぜこれが重要なのか？（日常への応用）

この研究は、AI の開発現場に以下のような大きな変化をもたらします。

1. コストの劇的削減：
   これまで「同期を取るために待たされていた時間」や「ズレを修正するために捨てていたデータ」が不要になります。つまり、同じ性能の AI を作るのに、必要な計算資源（電気代や時間）が大幅に減ります。
2. より賢い AI の誕生：
   従来の方法では「正解」だけを重視して、AI の思考の幅（多様性）が狭まってしまうことがありました。しかし、OAPL は「ズレたデータ」も活用するため、AI が**「正解」だけでなく「多様な解き方」を学べるようになり**、より柔軟で賢い思考ができるようになります。
3. 大規模化への道：
   世界中の何千台ものコンピューターを使って AI を学習させる際、通信の遅延を気にする必要がなくなります。これにより、より巨大で強力な AI を、より効率的に作れるようになります。

📝 まとめ

この論文は、**「AI に考えさせるには、先生と生徒を常に同じ部屋にいて、同じタイミングで動く必要はない」**と教えてくれました。

むしろ、**「生徒が少し前の知識で料理を作っても、先生はそれを上手に評価して教えることができる」という、より現実的で効率的な学習スタイル（OAPL）を開発しました。これにより、AI の学習は「3 倍速く、3 倍安く、そして以前より賢く」**なる可能性があります。

まるで、料理教室で「生徒が少し前のレシピで失敗しても、先生がそれを活かして次のレシピを改良する」という、無駄を省いたスマートな教育システムが完成したようなものです。

技術概要

論文「LLMs Can Learn to Reason Via Off-Policy RL」の技術的サマリー

この論文は、大規模言語モデル（LLM）の推論能力を強化するための強化学習（RL）ポストトレーニングにおいて、オフポリシー（Off-Policy）学習を積極的に活用する新しいアプローチを提案しています。従来の主流であるオンポリシー（On-Policy）アルゴリズム（PPO や GRPO など）が抱える分散トレーニング環境における「ポリシーの遅延（Policy Lag）」問題を解決し、より効率的で安定した学習を実現する手法「OAPL」を提案しています。

以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細にまとめます。

---

1. 問題定義：オンポリシー仮定の崩壊と既存手法の限界

LLM の推論能力向上には、DeepSeek-R1 などで実証された大規模な RL 最適化が不可欠です。しかし、実用的な RL ポストトレーニング環境では、以下の理由から**「オンポリシー学習」の仮定が崩れている**ことが問題視されています。

• トレーナーと推論エンジンの不一致: 勾配更新を行う「トレーナー（例：HuggingFace モデル）」と、高速生成を行う「推論エンジン（例：vLLM）」は、同じ重みを持っていても、カーネル実装の違いや非同期パイプラインにより、同じトークン系列に対して異なる対数確率（log-probabilities）を出力します。
• ポリシーの遅延（Policy Lag）: 非同期トレーニングでは、推論エンジンがトレーナーの最新重みよりも数ステップ（あるいは数百ステップ）遅れた状態にあることが一般的です。
• 既存手法の課題:
  • 重要度サンプリング（Importance Sampling, IS）の追加: 従来の GRPO などは、この不一致を補正するために IS 重みを導入しています。しかし、IS は損失関数に大きな分散（バリアンス）をもたらし、安定性を損なうリスクがあります。
  • 推論エンジンの修正: 不一致を解消するために推論エンジン自体を修正するアプローチもありますが、推論速度の低下や、非同期環境での完全な一致の困難さという課題があります。

これらの課題に対し、「オンポリシーであることが本当に必要なのか？」という問いに対し、**「オフポリシー性を許容し、それを活用する」**という新しい視点を提供しています。

2. 手法：OAPL (Optimal Advantage-based Policy Optimization with Lagged Inference policy)

著者らは、トレーナーと推論エンジンの不一致を「KL 正則化付き RL 問題」として定式化し、新しいオフポリシーアルゴリズム OAPL を提案しました。

核心的なアプローチ

1. KL 正則化付き RL の定式化:
   目的関数を、報酬 $r$ の最大化と、推論ポリシー $\pi_{vllm}$ からの KL 発散の最小化の両立として定義します。
   $$\max_{\pi} \mathbb{E}_{x,y \sim \pi} [r(x, y)] - \beta \text{KL}(\pi || \pi_{vllm})$$
   ここで、$\pi_{vllm}$ は現在の推論エンジン（ラグのあるポリシー）を指します。

2. 最適アドバンテージの閉形式解:
   KL 正則化付き RL の理論的な最適解を用いると、最適ポリシー $\pi^*$ と最適価値関数 $V^*$ の間に以下の関係が成り立ちます。
   $$\beta \ln \frac{\pi^*(y|x)}{\pi_{vllm}(y|x)} = r(x, y) - V^*(x) = A^*(x, y)$$
   この式は、推論エンジン $\pi_{vllm}$ からのサンプリングに基づいて $V^*$ を推定することで、最適アドバンテージ $A^*$ を直接計算できることを示唆しています。

3. 二乗回帰損失関数:
   上記の関係を基に、以下の二乗誤差損失関数を定義し、これを最小化することでポリシーを最適化します。
   $$\min_{\pi} \sum_{x, i} \left( \beta \ln \frac{\pi(y_i|x)}{\pi_{vllm}(y_i|x)} - (r(x, y_i) - \hat{V}^*(x)) \right)^2$$

   • $\hat{V}^*(x)$ は、グループ内のロールアウト（$\pi_{vllm}$ から生成されたデータ）を用いて推定されます。
   • 重要点: この損失関数は、重要度重み（Importance Weights）やクリッピング操作を一切必要としません。単なる最小二乗回帰（Least-Squares Regression）として機能します。

4. 非同期トレーニングパイプライン:

   • 推論エンジン $\pi_{vllm}$ がデータを非同期に生成し、バッファに蓄積します。
   • トレーナー $\pi$ は、このバッファからデータを読み取り、上記の損失関数で勾配降下を行います。
   • 一定のステップ数（例：50 ステップごと）でしか $\pi$ と $\pi_{vllm}$ の重みを同期させません。これにより、最大 400 以上の勾配ステップの遅延（オフポリシー度）を許容しながら学習を継続できます。

3. 主要な貢献

1. オフポリシー学習の受容: LLM の RL ポストトレーニングにおいて、オンポリシーである必要はないことを実証し、オフポリシー性を積極的に活用するアルゴリズムを提案しました。
2. OAPL アルゴリズムの提案: 重要度サンプリングやクリッピングを不要とし、単純な二乗回帰損失で安定した学習を実現する新しい手法です。
3. 高いサンプル効率: 既存の GRPO ベースの手法と比較して、トレーニングに必要な生成数（サンプル数）を大幅に削減できます。
4. テスト時スケーリングの改善: 学習後の Pass@k メトリック（k 個の試行のうち成功する確率）において、ベースモデルや GRPO に対して優れたスケーリング特性を示しました。

4. 実験結果

著者らは、数学的推論（コンテスト数学）とコード生成の 2 つのタスクで OAPL を評価しました。

A. コンテスト数学（AIME 25, HMMT 25, BRUMO 25）

• 性能: OAPL は、重要度サンプリングを適用した GRPO ベースラインを、Pass@1 から Pass@10 までのすべてのメトリックで上回りました。
• 安定性: 学習中のエントロピーが GRPO で急激に低下（エントロピー崩壊）するのに対し、OAPL はエントロピーを維持し、安定した学習曲線を示しました。
• 遅延耐性: 同期間隔を 100 ステップ（推論ポリシーが 100 ステップ遅れている状態）に設定しても、OAPL は安定して学習を継続しました。

B. コード生成（LiveCodeBench）

• DeepCoder との比較: 公開されている GRPO ベースのコーディングモデル「DeepCoder」と同等以上の性能を、**トレーニング生成数で約 3 分の 1（20 万サンプル vs 65 万サンプル）**で達成しました。
• 極端なオフポリシー環境: 2 段階のトレーニングプロセスにおいて、トレーナーと推論エンジンの同期を 1 エポック（約 400 勾配更新）だけ行わないという極端なオフポリシー設定でも、DeepCoder に匹敵する性能を維持しました。

C. Pass@k スケーリング

• OAPL で学習されたモデルは、k（試行回数）が増加するにつれて、ベースモデルや GRPO に対してより大きな性能向上（スケーリング）を示しました。これは、RL 学習が単にベースモデルの分布を鋭くするだけでなく、多様な解探索能力を向上させることを示唆しています。

5. 意義と結論

この論文は、LLM の RL ポストトレーニングにおけるパラダイムシフトを提案しています。

• 実用的な効率性: 分散トレーニング環境で inevitable な「ポリシーの遅延」を克服するための複雑な修正（IS やクリッピング）を排除し、単純かつ計算効率の高いアルゴリズムを実現しました。
• スケーラビリティ: 推論エンジンとトレーナーの同期頻度を大幅に下げられるため、大規模な分散システムにおけるスケーリングが容易になります。
• 理論的妥当性: 古典的な RL 理論（DDPG や SAC などのオフポリシー手法がロボット制御やゲームで有効であること）を LLM の文脈に適用し、その有効性を証明しました。

結論として、**「オンポリシーであることは必須ではなく、オフポリシー学習を積極的に取り入れることで、LLM の推論能力をより効率的かつ効果的に引き出すことができる」**という点を示しました。これは、将来の大規模 LLM のトレーニングパイプライン設計において重要な指針となります。