🤖 machine learning

SFT-then-RL Outperforms Mixed-Policy Methods for LLM Reasoning

本論文は、既存の混合ポリシー手法が、DeepSpeedのオプティマイザやOpenRLHFの損失集計におけるバグによってSFT（教師あり微調整）の性能を不当に低く評価していたことを指摘し、これらのバグを修正した標準的な「SFT後のRL（強化学習）」手法が、計算効率と数学ベンチマークの精度において既存の混合手法を大幅に上回ることを示しています。

原著者： Alexis Limozin, Eduard Durech, Torsten Hoefler, Imanol Schlag, Valentina Pyatkin

公開日 2026-04-28

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Alexis Limozin, Eduard Durech, Torsten Hoefler, Imanol Schlag, Valentina Pyatkin

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

タイトル：「最強の勉強法は、実は『基礎固め』からだった！」

最近のAI（人工知能）の世界では、「新しい、画期的な勉強法（混合学習法）」が次々と発表され、「これまでのやり方（SFT→RL）よりもずっと効率的で賢い！」と騒がれていました。

しかし、この論文の研究チームが調査してみたところ、驚きの事実が判明しました。**「新しい勉強法がすごい」のではなく、「これまでの勉強法の基準（ベースライン）が、実はバグのせいでめちゃくちゃ低くなっていただけだった」**というのです。

1. 何が起きていたのか？（「壊れた教科書」の例え）

これまでの研究者たちは、新しい勉強法を試すときに、「これまでの標準的なやり方」と比較していました。しかし、その「標準的なやり方」を使うためのツール（ソフトウェア）に、**目に見えない致命的なミス（バグ）**が隠れていたのです。

これを学校の勉強に例えてみましょう。

これまでの標準的なやり方（SFT→RL）：
「まず教科書で基礎を完璧に学び（SFT）、その後に難しい問題に挑戦して、正解したら褒められる（RL）」という、王道のステップです。
バグが起きていた状態：
ところが、使っていた教科書に「ページが勝手に抜け落ちる（オプティマイザのバグ）」し、「テストの採点基準がめちゃくちゃ（損失集計のバグ）」という欠陥がありました。
そのせいで、生徒（AI）は基礎を学んでいるつもりでも、実際には**「ボロボロの知識」**しか身についていなかったのです。
新しい勉強法（混合学習法）：
一方で、新しい勉強法は「教科書を読みながら、同時に難しい問題にも挑戦する」というスタイルでした。このやり方は、たまたま「壊れた教科書」の影響を受けにくい仕組みになっていました。

その結果、「ボロボロの知識しか持っていない生徒（従来のやり方）」と「新しいやり方で学んでいる生徒」を比べたので、新しいやり方が勝っているように見えてしまっていたのです。

2. 真実の判明（「正しい教科書」でやり直してみたら？）

研究チームは、この「壊れた教科書」を修理しました。
「ページが抜けないようにし、採点も正確に行う」ように直した上で、改めて「王道のステップ（基礎固め → 応用）」を試してみたのです。

すると、どうなったでしょうか？

「王道のステップ」が、すべての「新しい勉強法」を圧倒して、一番賢くなったのです！

しかも、新しい勉強法が「10時間」かけて学んでいる間に、正しい王道ステップは「たったの30分」で、それ以上の成績を出してしまいました。

3. なぜ「王道」が最強なのか？（「基礎の重要性」の例え）

なぜ、新しいやり方よりも「まず基礎、次に応用」という順番が強いのでしょうか？

それは、**「全く知らない問題にいきなり挑んでも、ヒント（報酬）がもらえないから」**です。

新しいやり方：
基礎もできていない状態で難しい問題に挑むので、最初は「全然解けない（報酬ゼロ）」状態が続きます。暗闇の中で手探りで進むようなもので、非常に効率が悪いです。
王道のやり方（SFT→RL）：
まず基礎をしっかり固めることで、応用問題に挑んだときには「あ、これなら解けるかも！」という状態を作っておけます。最初から「正解」にたどり着きやすいため、効率よく、どんどん賢くなれるのです。

まとめ：この論文が教えてくれたこと

「新しいもの」が常に「正しい」とは限らない： 比較対象がバグで弱くなっていると、見かけ上の成果に騙されてしまう。
基礎（SFT）は魔法の杖： AIが難しい思考（数学など）をするためには、まず「正しい知識の土台」をしっかり作ることが、何よりも近道である。
道具（フレームワーク）のチェックは慎重に： 広く使われているツールでも、実は静かにミスが起きている可能性がある。

結論： 「派手な新技術に飛びつく前に、まずは基本を完璧にこなすこと。それが最強への最短ルートである」という、人間にとってもAIにとっても普遍的な真理を証明した論文でした。

論文要約：LLMの推論におけるSFT-then-RLは混合ポリシー手法を凌駕する

1. 背景と問題意識 (Problem)

近年、OpenAIのo1やDeepSeek-R1に代表されるように、大規模言語モデル（LLM）の推論能力を向上させるために、**SFT（教師あり微調整）とRL（強化学習）**を組み合わせる手法が主流となっています。

現在、多くの研究が「SFTとRLの信号を訓練中に交互に混ぜる、あるいは混合する」**混合ポリシー手法（Mixed-Policy Methods）**を提案しており、従来の「まずSFTを行い、その後にRLを行う（SFT-then-RL）」という標準的なパイプラインよりも優れていると主張しています。

しかし、本論文の著者らは、これらの混合ポリシー手法が「著しく性能が低下した誤ったSFTベースライン」と比較されているという重大な問題を指摘しています。

2. 発見されたバグ (Methodology: Bug Identification)

著者らは、広く利用されているオープンソースの学習フレームワークにおいて、SFTの性能を密かに低下させている2つの決定的なバグを特定しました。

DeepSpeedにおけるCPUオフロード・オプティマイザのバグ:
- 内容: DeepSpeedのZeRO Stage 2などでオプティマイザをCPUにオフロードして勾配蓄積（Gradient Accumulation）を行う際、最初のマイクロバッチの勾配しかオプティマイザに伝達されず、中間バッチの勾配が消失してしまうバグ。
- 影響: TRL、OpenRLHF、Llama-Factoryなどの主要なフレームワークに影響。これによりSFTの学習が不完全になり、モデルの性能が大幅に低下する。
OpenRLHFにおける損失集計（Loss Aggregation）のバグ:
- 内容: 各ミニバッチの平均損失をさらに平均してしまう「平均の平均」を計算しており、トークン数に基づいた正しい重み付け（真のトークンあたりの平均）が行われていない。
- 影響: プロンプトや回答の長さが異なるSFTにおいて、学習の不安定化と性能低下を招く。

3. 主な貢献 (Key Contributions)

バグの特定と修正: 上記2つのバグを特定し、DeepSpeedへのプルリクエスト（修正パッチの適用）およびOpenRLHFへの修正提案を行いました。
ベースラインの再構築: バグを修正した「正しいSFT」および「SFT $\rightarrow$ RL」パイプラインを構築し、既存手法との公平な比較を行いました。
効率性の証明: 修正後のSFT $\rightarrow$ RLパイプラインが、計算量（FLOPs）を抑えつつ、既存の混合ポリシー手法よりも高い性能を達成できることを示しました。

4. 実験結果 (Results)

Qwen2.5-Math-7BおよびLlama-3.1-8Bを用いて検証した結果、以下のことが明らかになりました。

性能の逆転: 修正後のSFT $\rightarrow$ $\to$ RLパイプラインは、既存のすべての混合ポリシー手法を上回りました。
- Qwen2.5-Math-7B: 数学ベンチマークにおいて、既存の最良手法（SRFT）を**+3.8ポイント**上回る。
- Llama-3.1-8B: 既存の最良手法（HPT）を**+22.2ポイント**という圧倒的な差で上回る。
学習の効率性: 修正後のSFTで適切に初期化されたモデルは、RLのステップ数を大幅に短縮（例：500ステップ $\rightarrow$ 50ステップ）しても、混合ポリシー手法よりも高い性能を維持し、計算量（FLOPs）も少なくて済みました。
学習ダイナミクス: 混合ポリシー手法は、モデルが知識を獲得していない初期段階で報酬信号が極めて希薄（Sparse Reward）になり、学習が停滞する傾向があります。一方、SFT $\rightarrow$ RLは、SFTによって知識を注入した状態でRLを開始するため、最初から密な報酬信号を利用して効率的に洗練（Refinement）を進められます。

5. 本研究の意義 (Significance)

研究の信頼性の回復: 混合ポリシー手法の優位性が、手法の革新性ではなく「バグによるベースラインの過小評価」に基づいていたことを暴き、標準的なSFT $\rightarrow$ RLパラダイムの有効性を再確認しました。
フレームワーク検証の重要性: 広く使われているライブラリに潜む「サイレントなバグ」が、複数の独立した研究結果を系統的に歪めてしまうリスクを浮き彫りにしました。
実用的な指針: LLMの推論能力向上においては、混合させるよりも、まず強力なSFTで知識を定着させ、その後にRLで洗練させるという「段階的なアプローチ」が、計算効率と性能の両面で極めて強力であることを示しました。

タイトル： 「最強の勉強法は、実は『基礎固め』からだった！」