🤖 machine learning

Good SFT Optimizes for SFT, Better SFT Prepares for Reinforcement Learning

本論文は、オフラインデータと将来の強化学習方策との不一致に基づいて重要性サンプリングを用いて訓練損失を再重み付けするSFT段階の手法であるPEARを導入し、それによって標準的なSFTに比べて推論タスクにおける下流の強化学習性能を大幅に向上させる。

原著者： Dylan Zhang, Yufeng Xu, Haojin Wang, Qingzhi Chen, Hao Peng

公開日 2026-05-29

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Dylan Zhang, Yufeng Xu, Haojin Wang, Qingzhi Chen, Hao Peng

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Good SFT Optimizes for SFT, Better SFT Prepares for Reinforcement Learning」を平易な言葉と比喩を用いて解説したものです。

大きなアイデア：間違った試験のために生徒を訓練する

複雑な論理パズルを解くために、優秀な生徒（AI）を訓練すると想像してください。訓練プロセスは、明確に 2 つの段階に分かれます。

第 1 段階（SFT - 教師あり微調整）： 生徒は教室に座り、解かれた例題が詰まった教科書を勉強します。彼らは手順を暗記し、教師の答えを完璧に模倣しようとします。
第 2 段階（RL - 強化学習）： 生徒は実世界へ送り出され、一人で新しいパズルを解きます。彼らは即座にフィードバックを受けます。「正解！」あるいは「間違い、もう一度試せ」。彼らは実験し、その瞬間に実際に機能する戦略に基づいて調整することで学びます。

問題点：
通常、研究者たちは生徒を第 1 段階で完璧にすることに努めます。彼らは教科書のレッスンを調整し、生徒が練習テストで可能な限り高いスコアを獲得するようにします。彼らはこう仮定します。「教科書を模倣することに天才的な生徒なら、後で新しい問題を解く際にも天才的になるはずだ」と。

論文の発見：
著者たちは、この仮定がしばしば誤りであることを発見しました。
時には、教科書で完璧なスコアを獲得した生徒（「強力な SFT モデル」）が、教科書でわずかに低いスコアしか取らなかった生徒よりも、実世界でのパフォーマンスが悪いことが実際にあります。

なぜでしょうか？それは、教科書（第 1 段階）と実世界（第 2 段階）が異なるからです。

教科書（行動方策）： 本の中の例題は、特定の教師によって書かれました。時には、その教師が答えに至るために奇妙で遠回しな道筋を取ったり、生徒が模倣してしまった小さな間違いを犯したりすることがあります。
実世界（目標方策）： 第 2 段階では、生徒は自分自身の道筋を生成しなければなりません。もし彼らが教師の奇妙な道筋にあまりにも厳格に従うように学んでしまった場合、自分で考える必要があるときに立ち往生してしまいます。

比喩：
ダンスのインストラクターが生徒を教える場面を想像してください。

標準的な訓練： インストラクターが動きを見せます。生徒は、インストラクターの正確な足取りを完璧に模倣できるまでそれを練習します。
問題点： インストラクターの足取りは、彼ら自身の独特な体型や、生徒の体には合わない特定のスタイルに基づいているかもしれません。もし生徒がインストラクターのステップをあまりにも完璧に暗記してしまった場合、異なる曲で踊ったり、異なるパートナーと踊ったりしようとしたときに転んでしまう可能性があります。
結果： ステップを完璧に暗記した生徒（高い SFT スコア）は、コンテストで転びます。リズムを理解し、ステップを適応させた生徒（低い SFT スコアだが、より良い準備ができている）が優勝します。

解決策：PEAR（「将来に備えた」教師）

著者たちは、PEAR（Policy Evaluation–inspired Algorithm for Offline Learning Loss Reweighting：オフライン学習損失の再重み付けのための方策評価に基づくアルゴリズム）と呼ばれる新しい手法を提案しています。

単に生徒に「この答えを完璧に模倣しなさい」と言う代わりに、PEAR は先を見据える賢いコーチのように機能します。

PEAR の仕組み：

コーチが未来を確認する： 生徒が教科書から特定のステップを練習する前に、コーチはこう問います。「生徒がこのステップを取れば、ダンスの残りの部分にとって意味のあるものになるでしょうか？」
レッスンの再重み付け：
- 教科書の中のステップが行き止まり（実世界で生徒が取る可能性が低い道筋）につながる場合、コーチは**「この部分はあまり気にしなくていい」**と言います（そのレッスンの重要性を下げます）。
- 教科書の中のステップが、生徒が後で使う可能性が高い成功した結果につながる場合、コーチは**「この部分に集中しなさい！」**と言います（その重要性を上げます）。

比喩：
教科書を、迷子になった観光客が描いた地図だと考えてください。

標準的な SFTは、生徒に観光客の間違いを暗記させることを強制します。
PEARは地図を見て、「観光客のこの道筋は崖へ続く。レッスンのこの部分は無視しよう。でも、この部分は宝へ続く？この部分は 2 回勉強しよう」と言います。

結果

著者たちは、異なる AI モデルを用いて、数学の問題や論理ゲームでこれをテストしました。

結果： PEAR で訓練されたモデルは、必ずしも初期の練習テストで最高スコアを獲得したわけではありません。しかし、「実世界」（強化学習）に移ったとき、彼らははるかに速く改善し、最終的にはるかに高い最終スコアを収めました。
成果： いくつかの難易度の高い数学コンテストにおいて、PEAR で訓練されたモデルは、標準的な手法で訓練されたモデルと比較して、成功率を最大30 パーセントポイント向上させました。

結論

「良い SFT は SFT のために最適化し、より良い SFT は強化学習のために準備する」

単に AI を過去の模倣において最良にするように訓練するのではなく、未来に備えられるように訓練してください。第 1 段階の目標は、宿題で完璧なスコアを取ることではなく、次の学習段階（真の課題）をより容易かつ効果的にする基盤を築くことです。PEAR は、AI が過去の「悪い習慣」を無視し、未来の「良い習慣」を学ぶのを助けるツールです。

技術的概要：優れた SFT は SFT 自体を最適化するが、より優れた SFT は強化学習への準備を行う

1. 問題提起

推論型大規模言語モデル（LLM）のポストトレーニングは、通常、初期チェックポイントを作成するためのオフライン教師あり微調整（SFT）段階と、その後のパフォーマンスをさらに向上させるためのオンライン強化学習（RL）段階という、2 段階のパラダイムに従う。現在のパイプラインにおける支配的な仮説は、オフライン精度の最大化（例えば、トレーニング分布における次のトークンの尤度の最大化、または損失の最小化）のために SFT 段階を最適化することが、その後の RL に対するより強力な初期化を自然にもたらすというものである。

しかし、著者らはこの仮説に欠陥があることを実証している。彼らは、オフライン性能が優れた「強力な」SFT チェックポイントから初期化されたモデルが、同一の RL トレーニングを経た後でも、オフライン性能が劣る「弱い」チェックポイントから初期化されたモデルよりも著しく低いパフォーマンスを示すことを観察した。この現象は、オフライン段階とオンライン段階との間の分布の不一致に起因すると考えられている：

オフライン SFT: モデルは、行動方策（ $\pi_\beta$ ）からサンプリングされたデータ（多くの場合、異なるモデルまたは静的なデータセット）から学習する。
オンライン RL: モデルは、自身の進化する目標方策（ $\pi_\theta$ ）によって生成されたロールアウトから学習する。

標準的な SFT は、行動方策の分布に基づいて均一なトークンレベルの教師信号を適用する。長視野の推論タスクにおいて、これは行動方策の下では確率が高いが、目標方策の下では不確実な遷移パターン（例えば、行き止まりとなる継続）を強化してしまう可能性がある。その結果、モデルは、オンライン RL 中にほとんど再訪されない継続と接頭辞を関連付けることを学習し、下流の学習を阻害する非効率な初期化をもたらす。

2. 手法：PEAR

この不一致に対処するため、著者らはPEAR（オフライン学習損失の再重み付けのための方策評価に着想を得たアルゴリズム）を提案する。PEAR は、オフライン目的を目標方策の分布とより整合させるようにトレーニング損失を再重み付けする SFT 段階の手法であり、モデルをオンライン RL フェーズに効果的に準備する。

中核メカニズム

PEAR は、行動方策（ $\pi_\beta$ ）と目標方策（ $\pi_\theta$ ）との間の分布シフトを補正するために重要度サンプリングを利用する。オフラインデータセット内のすべてのトークンを均等に扱うのではなく、PEAR は目標方策と行動方策との間の尤度比に基づいて、各トークンの損失を再重み付けする。

目的関数は以下のように修正される：
$L_{PEAR}(\theta) \triangleq \mathbb{E}_{(x,y) \sim D} \left[ \sum_{t=1}^{T} \text{sg}[\hat{G}_t] \cdot \ell_\theta(x, y_{<t}, y_t) \right]$
ここで：

$\ell_\theta$ は標準的なトークンごとの損失（例えば、NLL または KL 発散）である。
$\text{sg}[\cdot]$ は停止勾配演算子を示し、重みを固定係数として扱う。
$\hat{G}_t$ はトークン $t$ に対する数値的に安定化された重要度重みである。

重み付けバリエーション

PEAR は、重み $\hat{G}_t$ を計算するための 3 つの粒度を提供する：

シーケンスレベル重み付け: 軌道のすべてのトークンに単一のグローバル重要度比（ $w_{1:T} = \prod_{t=1}^T \frac{\pi_\theta(y_t|x, y_{<t})}{\pi_\beta(y_t|x, y_{<t})}$ ）を適用する。これは、目標方策の下でのシーケンス全体の妥当性が均一であると仮定する。
トークンレベル重み付け（接尾辞ベース）: 接尾辞重要度比に基づいて重みを計算する。トークン $y_t$ に対して、重みは目標方策に対する行動方策の相対的な、残りの継続（ $y_{>t}$ ）の尤度によって決定される：
$G_t = \gamma^{T-t} \prod_{j=t+1}^{T} \frac{\pi_\theta(y_j|x, y_{<j})}{\pi_\beta(y_j|x, y_{<j})}$
これは、目標方策が生成する可能性が低い継続につながるトークンの重みを低下させ、目標方策の将来の挙動と互換性のある接頭辞に学習を集中させる。
ブロックレベル重み付け: 長視野の乗法的な重要度重みに内在する高い分散を緩和するため、シーケンスをブロックに分割する。重みは各ブロック内で均一に計算・適用され、安定性の代償として一部の粒度を犠牲にする。

追加機能

ネガティブサンプル: PEAR は、検証された失敗軌道を取り込むために反発項を適用でき、モデルをネガティブな継続から遠ざけつつ、方策の一貫性を維持する。
ブラックボックス適応: 正確な行動方策 $\pi_\beta$ が利用できない場合（例えば、クローズドソースのデータなど）、PEAR はプロキシモデルまたはプロキシのアンサンブルを利用して、行動方策の対数確率を近似することができる。
数値的安定化: この手法は、長い積の計算中の数値的不安定性を防ぐために、対数空間での計算と対数比のクリッピングを採用している。

3. 主要な貢献

オフラインとオンラインの分離の実証的示唆: 本論文は、オフライン性能が RL 後の性能の信頼性の高い代理指標ではないことを示す制御実験を提供する。分布の不一致により、強力な SFT 目的は、より弱い最終的な RL 結果をもたらす可能性がある。
PEAR アルゴリズム: オフポリシー評価（OPE）の原理を用いて、オフライン SFT をオンライン RL の目標と整合させるための実用的なプラグイン再重み付けスキームの導入。
包括的な評価: 検証可能な推論タスク（論理パズル、数学ベンチマーク）において、複数のモデルファミリー（Qwen2.5、Qwen3、DeepSeek-distilled）とサイズ（0.6B から 8B）で実施された広範なテスト。
パラメータドリフトの分析: 著者らは、PEAR 初期化モデルがその後の RL トレーニング中にパラメータドリフトが少ないことを示しており、これは PEAR がオフラインからオンラインへの不一致を修正するための RL フェーズの必要性を軽減していることを示唆している。

4. 実験結果

著者らは、合成論理パズル（SynLogic、Enigmata）および数学的推論ベンチマーク（AIME-2024/2025、AMC-2023、MATH-500）で実験を実施した。

パフォーマンスの向上: PEAR は、RL 後に標準的な SFT および他のベースライン（KL 正則化 SFT、TALR、および各種確率ベースの目的関数を含む）を一貫して上回った。
- AIME-2025において、PEAR 初期化モデルは、標準的な SFT と比較して最大30 パーセントポイントの Pass@8 向上を達成した（例：DeepSeek-Distill-Qwen-1.5B において 5% から 35% へ増加）。
- SynLogic 論理ゲームにおいて、PEAR は最大**+25 パーセントポイント**の Pass@1 改善を示した（例：Qwen3-1.7B-Base において 13.1% から 38.3% へ）。
汎化性: PEAR の恩恵は、異なる RL タスク分布（例：SynLogic でトレーニングし、Enigmata で RL を実行）および異なる RL アルゴリズム（GRPO および DAPO）間でも転移する。
ブラックボックス堅牢性: 行動方策を近似するためにプロキシモデルを使用する場合でも、PEAR は標準的な SFT を大幅に上回り、強力なプロキシはホワイトボックスのパフォーマンスと同等の結果を示した。
安定性: PEAR 初期化モデルは、標準的な SFT で初期化されたモデルと比較して、オンライン RL フェーズ中に（正規化スペクトルシフトで測定された）より小さなパラメータドリフトを示し、より効率的な学習軌道を示している。

5. 意義と主張

本論文は、オフライン SFT 段階の目的は単にオフライン精度を最大化することではなく、その後のオンライン RL に対する方策を準備することであるべきであると主張する。

包括的なポストトレーニング: 著者らは、下流の RL を念頭に置いて SFT 目的を設計することが不可欠であると主張する。オフライン指標を孤立して最適化することは逆効果となり得る。なぜなら、それは目標方策の探索および最適化ダイナミクスと互換性のない挙動を強化する可能性があるからである。
不一致の修正: PEAR は、オフライントレーニングが行動方策と目標方策の占有不一致を修正しなければならないという原則の具体的な実装である。不確実な継続の重みを低下させ、目標方策と互換性のある継続の重みを増加させることで、PEAR はより効果的な初期化を創出する。
実用的な影響: 結果は、行動方策の確率にアクセス可能（または近似可能）であれば、複雑なアーキテクチャの変更や追加のデータ収集を必要とせず、オフポリシー評価に基づく単純な再重み付け戦略が推論能力において大幅な改善をもたらす可能性があることを示唆している。

著者らは、「優れたオフライン段階は、オフライン精度を最適化するのではなく、続く RL に対する方策を準備すべきである」と結論付け、PEAR をより包括的な LLM ポストトレーニングパイプラインへの一歩として位置づけている。