技術要約：事前学習におけるRL（強化学習）の介入

問題提起

大規模言語モデル（LLM）の標準的な学習パイプラインでは、通常、強化学習（RL）は、広範な次トークン予測（NTP）による事前学習および教師あり微調整（SFT）の後にのみ適用される、ポストトレーニング（事後学習）フェーズに限定されています。この逐次的なアプローチは、以下の2つの根本的な疑問を提起します。

1. タイミング： 事前学習の終了までRLの適用を待つことは本質的に必要なのか、それともRLはより早い段階でも効果的なのか？
2. メカニズム： RLは本質的に既存の出力分布を「鋭利化（sharpen）」する（探索を制限する）ものなのか、それとも能力を拡張するものなのか？ 最近の文献では、RLは主に分布を鋭利化させると示唆されていますが、これが標準的なSFT→RLパイプラインによるアーティファクト（人工的な現象）なのか、それともRLの目的関数そのものによるものなのかは不明です。

さらに、RLが事前学習から継承した汎用的な能力を損なうかどうかも議論の的となっています。

メソドロジー

著者らは、標準的な学習レジームからRLの効果を分離するために、大規模かつ制御された研究を実施しました。

• モデルとデータ： 高品質で推論に特化したコーパス（DOLMinoミックス、50Bトークン）を用いて、1Bパラメータのモデル（OLMo2アーキテクチャに基づく）をゼロから事前学習させています。また、4Bモデルおよび、追加の数学データを含む60Bトークンで学習させた1Bモデルについても実験を行っています。
• チェックポイント： 事前学習の終了を待つのではなく、事前学習のプロセス全体（4Bから50Bトークンまで）を通じてチェックポイントを保存しています。
• 学習パイプライン： 各チェックポイント $M_t$ に対して、4つの異なるポストトレーニング戦略を適用しています。
  1. 直接RL ($M^R_t$): 事前のSFTを行わず、ベースとなるチェックポイントに対して直接RL（具体的には検証可能な報酬を用いたGRPO）を適用する。
  2. SFT ($M^{SFT}_t$): 問題ごとに単一の正解（グラウンドトゥルース）の解法を用いて教師あり微調整を行う。
  3. SFT-Gold ($M^{SFT-Gold}_t$): 問題ごとに利用可能なすべての正解の解法を用いてSFTを行う（現実には非現実的な設定）。
  4. 標準パイプライン ($M^{SFT \to RL}_t$): SFTの後にRLを行う。これは現在の業界標準である。
  5. 並列平均化 ($M^{Parallel}_t$): 提案手法。同じパラメータのスナップショットからRLとSFTの勾配を並列に計算し、重みを更新するためにそれらを平均化する。
• 評価： パフォーマンスは、GSM8K（小学校レベル）およびMATH（競技レベル）におけるpass@kメトリクス（$k=1, 8, 32$）を用いて測定されます。汎用的な能力については、6つの非数学ベンチマーク（LAMBADA、HellaSwagなど）で評価されます。

主要な貢献と結果

1. RLは事前学習の極めて早い段階で有効である

RLには高度に能力のあるベースモデルが必要であるという仮定に反して、著者らはRLが驚くほど早い段階で効果的であることを発見しました。

• 早期の改善： 直接RLは、Chinchilla最適のトークン数よりもはるかに早い、わずか4Bの事前学習トークンの時点から、GSM8Kのパフォーマンスを向上させます。
• 競争力： 10Bトークンの時点では、直接RLは、正解の推論トレースを一度も見ることなく、pass@1およびpass@32において標準的なSFT→RLパイプラインの性能に匹敵します。
• データの希少性： 正解のデモンストレーションが乏しい場合（プロンプトあたり1つの解法）、RLはSFTを大幅に上回ります。SFTがRLを上回るのは、複数の高品質な解法が提供された場合（SFT-Gold）のみですが、これは実務上ほとんど満たされない条件です。

2. 事前学習データの組成 ＞ モデルスケール

より困難な推論タスク（MATHデータセット）において、RLの有効性はモデルのスケールよりも、事前学習データの組成に依存します。

• データのスケーリング： 事前学習のミックスにターゲットを絞った数学重視のデータを追加すること（トークン数を50Bから60Bに増加させること）は、直接RLによって達成可能な利得を大幅に高めます。
• モデルのスケーリング： モデルサイズを1Bから4Bに増やすことは、ベースモデルの絶対的なパフォーマンスを向上させますが、RLによって提供される相対的な利得を大幅に改善することはありません。
• 診断： テストセットに対するベースモデルのpass@k精度は、RL学習がダウンストリームの利得をもたらすかどうかを判断するための軽量な予測因子として機能します。

3. RLは分布を「拡張」するか「鋭利化」するか

本論文は、RLが本質的に分布を鋭利化するという主張に異議を唱えています。

• 拡張： ベースのチェックポイントに直接適用した場合、RLはモデルの分布を拡張し、pass@1とpass@32の両方を向上させます。モデルはオンポリシー学習を通じて新しい推論経路を発見します。
• 鋭利化のアーティファクト： 最近の研究で見られる「鋭利化」（pass@1は向上するがpass@32が低下する現象）は、RLがSFTの後に適用された場合にのみ発生します。著者らは、SFTが正解の解法にモデルをさらすことで探索を制約し、その後のRLが新しい経路を発見するのではなく、既存の経路を単に洗練させるだけのものにさせているのだと仮説を立てています。

4. 汎用的な能力の保持

• SFTによる劣化： SFTは、各種ベンチマークにおいて、汎用的な（数学以外の）能力を一貫して4〜8パーセントポイント低下させます。
• RLによる保持： 直接RLは、汎用的な能力を実質的に変化させません。
• 並列平均化： 提案された並列平均化手法（$M^{Parallel}_t$）は、両者の強みを組み合わせます。これは、最強のpass@32スコア（標準的なパイプラインを上回る）を達成しながら、汎用的な能力を維持し、SFTベースのレジームで見られる退行を回避します。

意義

本論文は、RLに関する多くの仮定（例：成熟したベースモデルを必要とする、本質的に分布を鋭利化させる、あるいは汎用能力を損なう）が、RLの目的関数そのものの特性ではなく、現在のSFT→RLという学習レジームによるアーティファクトであることを論じています。

著者らの結論は以下の通りです：

1. 実現可能性： 学習パイプラインのより早い段階にRLを導入することは可能であり、むしろ好ましい場合が多い。
2. データのレバー： 事前学習データの組成は、モデルのスケーリングよりもRLの有効性に対する強力なレバーである。
3. 目的関数の相乗効果： RLとSFTの目的関数は互いに補完的です。並列平均化アプローチは、これらを組み合わせることで、汎用的な知能を犠牲にすることなく、優れた推論能力（pass@32）を得られることを示しています。

この研究は、RLを事後学習の最終ステップとしてではなく、事前学習および微調整のプロセス全体に統合された第一級の学習目的として扱う、パラダイムシフトを示唆しています。