💻 computer science

SFT Overtraining Predicts Rank Inversion via Entropy Collapse Under RLVR

本論文は、過度な教師あり微調整（SFT）がロールアウト分布を圧縮し、エントロピー崩壊を引き起こすことで、その後のグループ相対方策最適化（GRPO）学習におけるランク逆転と性能低下を招くことを実証しており、この失敗モードは、RL前のエントロピーおよび初期のGRPOのダイナミクスを監視することによって予測および軽減が可能である。

原著者： Siddharth Aphale, Kelly Liu

公開日 2026-06-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Siddharth Aphale, Kelly Liu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

全体像：「完璧すぎる」という罠

想像してみてください。あなたはロボットにコードを書く訓練をしています。標準的なレシピは次の2ステップです。

教師あり微調整 (SFT): 正解のコードの例を何千も示して、パターンを学習させます。
強化学習 (RL): ロボットが自力で新しい問題に挑戦させてみます。正解すれば「ご褒美（報酬）」を与え、失敗すれば何も与えません。

問題点: この論文では、ステップ1でロボットを「訓練しすぎ（ステップ1の過学習）」ると、ステップ2において逆に性能が悪くなることが分かりました。

通常、私たちは「ステップ1でより多くの例を暗記させればさせるほど、ロボットは優秀になる」と考えがちです。しかし、著者たちはその逆を発見しました。ステップ1で最も多くを暗記したロボットが、実はステップ2で最悪の結果を出したのです。 実際には、暗記が最も少なかったロボットがチャンピオンとなりました。

メタファー：硬いダンサー vs 柔軟なダンサー

なぜこのようなことが起きるのかを理解するために、ランダムな音楽に合わせて即興でダンスを披露しなければならないコンテストに参加する、2人のダンサーを想像してみてください。

「過学習した」ダンサー (深いSFT): このダンサーは、完璧な10種類のルーチンを何千回も練習しました。非常に正確ですが、音楽が変わると固まってしまいます。彼らはその10種類の動きしか知らないのです。それ以外の動きをどうすればいいのか全く分かりません。
「ちょうど良い」ダンサー (浅いSFT): このダンサーは基礎を練習しましたが、体は常にリラックスして柔軟な状態を保っています。ルールは知っていますが、音楽が変わったときには、体を揺らしたり、ひねったり、新しい動きを試したりすることができます。

コンテスト (RL):
コンテストでは、どの動きが最も効果的かを見極めるために、多くの異なる動きを一度に試すことが求められます。

過学習したダンサーは、毎回まったく同じ完璧な動きをしようとします。それらはすべて同じに見えるため、審査員（アルゴリズム）はどの動きがより優れているかを判断できません。ダンサーは行き詰まり、新しいことを学ぶことができなくなります。
柔軟なダンサーは、多種多様な動きを試します。審査員は「ああ、この動きはうまくいったが、あちらはダメだった！」と判断できるため、ダンサーは素早く学習を進めることができます。

技術的な理由：「エントロピーの崩壊」

論文では、「多様性」や「柔軟性」を表すために、エントロピーという専門用語を使用しています。

エントロピーの崩壊: ロボットが過学習すると、その「思考」はあまりに狭くなってしまいます。さまざまな可能性を模索することをやめ、同じ回答を繰り返すようになります。論文の言葉を借りれば、エントロピーが崩壊した状態です。
信号の消失: 学習アルゴリズム（GRPOと呼ばれます）は、異なる回答を比較することで機能します。もしロボットが8回連続で同じ回答を出してしまうと、アルゴリズムは混乱します。比較すべき「差」が存在しないため、改善のための「勾配（方向性）」を計算できないのです。これは、ハンドルが真っ直ぐにロックされた状態で車を操縦しようとするようなものです。
ランクの逆転: これにより、ランクの逆転と呼ばれる奇妙な結果が生じます。
- 第二段階のトレーニングの前、過学習したロボットは天才のように見えます（練習テストで100%正解します）。
- しかし、第二段階のトレーニングの後、それは悲惨な状態になります。
- 一方で、「完璧ではなかった」方のロボットは、最初は少し劣って見えたにもかかわらず、スーパースターへと成長します。

2つのモデル：二つの都市の物語

著者らはこれを2つの異なるロボットの脳（モデル）でテストしました。

Qwen (犠牲者): このモデルは罠に陥りました。ステップ1での訓練を増やせば増やすほど、モデルは硬くなってしまいました。「最高の」チェックポイント（最高スコア）が、実は次のフェーズのための最悪の出発点となってしまったのです。
DeepSeek (生存者): このモデルは元々、より柔軟でした。集中的な訓練の後でも、硬くなることはありませんでした。モデルは依然として学習可能な「安全圏」に留まっていました。これは、問題が第二段階のトレーニング自体にあるのではなく、具体的には第一段階がQwenモデルの柔軟性をどのように損なったかにあることを証明しています。

解決策：2ステップの診断

著者らは単に問題を見つけただけでなく、時間と資金を無駄にする前にそれを察知するための診断ツールを構築しました。

ステップ1：「ストレッチ」テスト (Pre-RL エントロピー): 第二段階のトレーニングを開始する前に、ロボットの思考がいかに「緩い」かを確認します。もしロボットが硬すぎる（低エントロピーである）場合、リスクが高いとフラグを立てます。
ステップ2：「早期警告」モニター: 第二段階を開始している間、最初の数分間を監視します。もしロボットが新しいことを試すのをやめ、すぐに繰り返し始めた場合は、リソースを節約するためにトレーニングを早期終了させます。

うまくいかなかったこと

著者らは、標準的なテクニックを用いて壊れたロボットを直そうと試みました。

ペナルティの追加: 「元のトレーニングから離れすぎないように」。（これは状況を悪化させました）。
ラベルの平滑化: 「自分の答えに対して少し自信を持たせないように」。（これによりロボットは再び自信を持っているように見えましたが、コンテストではやはり失敗しました）。

結論: コンテスト中に「もっと頑張れ」と言っても、硬くなったダンサーを直すことはできません。そもそも、最初からあんなに厳格に訓練すべきではなかったのです。この論文は、モデルに学習を続けさせたいのであれば、完璧さよりも多様性（エントロピー）の方が重要であるということを証明しています。

技術要約：SFTの過学習によるランク逆転の予測：RLVRにおけるエントロピー崩壊を介して

問題提起
コード生成における検証可能な報酬（RLVR）を用いた強化学習（Reinforcement Learning with Verifiable Rewards）の標準的なヒューリスティックでは、RLフェーズ（例：GRPO）を開始する際の初期化として、最も高い pass@1 スコアを持つ教師あり微調整（SFT）チェックポイントを選択する。本論文は、SFTの過学習がモデルのロールアウト分布を圧縮する場合、このヒューリスティックが失敗することを実証している。具体的には、長期的なSFTは「エントロピー崩壊」を引き起こし、モデルの出力多様性が減少し、RLアルゴリズムが意味のある勾配信号を生成できなくなる。このレジームにおいて、最高 pass@1 のチェックポイントを選択することは、系統的に「最悪の性能を示すRLイニシャライザ」を選択することになり、結果として、より深いSFTの方が浅いSFTよりもRL学習後に優れた性能を示すという「ランク逆転」が発生する。

手法
本研究では、Qwen2.5-Coder-3B-Base と DeepSeek-Coder-6.7B-Base という2つのモデルファミリーを用いて、SFTの期間を唯一の独立変数として分離して調査した。

実験設定: 両モデルに対し、中程度の難易度のKodCode-V1問題5,000件を用いて微調整を行った。チェックポイントは、異なるSFT深度（Qwenは1.0から5.8エポック、DeepSeekは1.0から9.6エポック）で選択された。
RL訓練: すべてのチェックポイントに対して、同一のGRPO訓練（400ステップ、グループサイズ $g=8$ 、バイナリ正誤報酬）を実施した。
評価指標: 凍結された40問題のHumanEval+サブセットを用いて、pass@1 および pass@10（偏りのない推定値を使用）を測定した。決定的な診断として、著者らは 事前RLエントロピー（ $T=1.0$ における平均次トークンエントロピー）と 訓練中エントロピー を追跡した。
介入: この失敗がハイパーパラメータのアーティファクトであるかをテストするため、著者らはGRPO中に参照ポリシーへのKLペナルティを適用し、またSFT中にラベルスムージングを適用することで、人工的にエントロピーを回復させた。

主な貢献

勾配崩壊の理論的閾値: 著者らは、バイナリ報酬において、期待されるグループ内アドバンテージ分散が $E[\sigma^2_G] = p(1-p)(g-1)/g$ であることを導出した。そして、正しいロールアウトの確率（ $p$ ）がこの閾値 $p^*(g)$ を下回ると、グループ相対信号が構造的に崩壊し（ほとんどのグループが同一の報酬を受け取る）、勾配が消失する臨界閾値を特定した。
ランク逆転のケーススタディ: Qwen2.5-Coder-3Bにおいて、明確なランク逆転が記録された。SFTの深度が増すにつれて、事前RLの pass@1 は上昇するが、事後RLのピーク pass@10 は単調に低下する（0.806から0.481へ）。最高 pass@1 を持つチェックポイント（5.8エポック）が、RLにおいて最悪の性能を示した。
対照的検証: 事前RLの pass@1 が理論的な崩壊閾値 $p^*(8)$ を大幅に上回っているDeepSeek-Coder-6.7Bでは、ランク逆転は発生しなかった。代わりにランクの圧縮が起こり、すべてのチェックポイントが改善した。これにより、閾値仮説が検証された。
二段階診断プロトコル: 著者らは、RLの前または初期段階で高リスクなチェックポイントを特定するための診断プロトコルを提案している：
- ステージ1（事前RL）: 平均次トークンエントロピーが閾値（ $\tau_H = 0.18$ nats）を下回るチェックポイントをフラグ立てする。
- ステージ2（初期RL）: GRPOのステップ10から150の間における、ワーストトークンエントロピーの相対的な減少を監視する。減少率が50%を超えた場合は崩壊を示唆する。
失敗の局所化: 本研究は、単純な介入（KLペナルティやラベルスムージング）が崩壊したチェックポイントを救済できないことを示しており、この失敗が調整可能なGRPOのハイパーパラメータの問題ではなく、SFT段階における可塑性の枯渇に根ざしていることを示唆している。

結果

Qwen2.5-Coder-3B: 事前RLの pass@1 とピーク事後RL pass@10 の間には、強い負の相関（ $\rho = -0.75$ ）が存在する。5.8エポックのチェックポイントは、事前RLの pass@1 が最高（0.187）であったにもかかわらず、事後RLのピーク pass@10 は0.481まで崩壊したが、1.0エポックのチェックポイントは0.806を達成した。5.8エポックのモデルのエントロピーは訓練中に78%減少したが、1.0エポックのモデルでは37%であった。
DeepSeek-Coder-6.7B: すべてのチェックポイントが、崩壊閾値を十分に上回る事前RL pass@1 を維持した（ $p \geq 4.2 \times p^*(8)$ ）。その結果、すべての腕（arm）がGRPOの下で改善し、事前RLのランキングは事後RLでも完全に保持された（ $\rho = +1.00$ ）。
介入: KLペナルティ（ $\beta=0.01$ ）の追加は、浅いチェックポイントと深いチェックポイントの両方の性能を低下させたが、ランク逆転を逆転させることはできなかった。5.8エポックのチェックポイントに対するラベルスムージングは、事前RLの pass@1 を0.600に上昇させたが、事後RLの pass@10 は最低の0.214となった。これは、基礎となる解の多様性を回復することなく分布を人工的に平坦化しても不十分であることを示している。

意義と主張
本論文は、最高 pass@1 のSFTチェックポイントをRL用に選択するという標準的な慣行は、SFTの過学習によってエントロピー崩壊が起こるレジームにおいては誤解を招くものであると主張している。著者らは、pass@1 は不適切な温度（貪欲な $T=0$ ）における能力を測定しており、 $T=1.0$ におけるRLに必要な多様性を捉えられていないと論じている。

その意義は、エントロピー崩壊を、SFTの過学習とRLの失敗を結びつけるメカニズムとして特定した点にある。本論文は、この失敗がGRPOのハイパーパラメータによる些細なアーティファクトではなく、SFT中の可塑性喪失という根本的な問題であると断じている。提案された二段階診断は、普遍的な閾値ではなく、順序付けとリスクシグナルに基づく、モデルに依存しない実用的な方法を提供しており、RLの計算資源を費やす前に、すでに学習信号を使い果たしてしまったチェックポイントを排除することを可能にする。著者らは、エントロピーを維持することがRLVRの成功のための前提条件であり、一度エントロピーが崩壊すると、標準的なRLのバリアントではポリシーを回復できないと結論づけている。