On the Generalization of SFT: A Reinforcement Learning Perspective with Reward Rectification

本論文は、SFT の勾配が内包する報酬構造の問題を理論的に解明し、トークンの確率に基づき目的関数を動的に再スケーリングする「Dynamic Fine-Tuning（DFT）」を提案することで、単一行の変更で RL に匹敵する汎化性能を達成する手法を開発したことを示しています。

要約

この論文は、人工知能（AI）の学習方法について、とてもシンプルで面白い発見をしたものです。タイトルは「SFT（教師あり微調整）の一般化能力について：報酬の修正を加えた強化学習の視点」という少し難しそうなものですが、実は**「AI に教えるとき、先生が間違えて『すごい！』と褒めすぎないようにするだけで、AI がもっと賢く、柔軟になる」**という話です。

わかりやすく、3 つのポイントで説明しますね。

1. 従来の方法（SFT）の「過剰な褒め」が問題だった

まず、AI を教える標準的な方法（SFT）について考えてみましょう。
これは、「優秀な生徒（専門家）のノート（正解）」を AI に見せて、「これを真似しなさい」と教える方法です。

しかし、論文によると、この方法には**「先生が過剰に反応してしまう」**という欠点がありました。

• 従来の仕組み：
  AI が「正解」を答えようとしたとき、もし AI が**「えっ、これって本当に正解かな？」と自信なさそうに（確率が低い状態で）答えようとした場合**、先生（アルゴリズム）は**「おぉ！すごい！ここを正解にするんだ！もっと頑張れ！」と、ものすごい勢いで褒め（ gradients が大きくなり）、AI を急かしてしまいます。**
• 悪い結果：
  この「自信がないのに過剰に褒める」行為が、AI を**「特定の正解を丸暗記する」方向に導いてしまいます。まるで、テストで「A という答えが出たら、どんな状況でも A と書けばいい」と覚えてしまうようなものです。
  その結果、「少し問題が変わると、AI はパニックになって答えられなくなる（一般化できない）」**という現象が起きました。

2. 新しい方法（DFT）：「冷静な先生」の登場

そこで、この論文が提案した新しい方法**「DFT（動的微調整）」は、「先生が冷静になる」**というたった一つの工夫で問題を解決しました。

• DFT の仕組み：
  AI が「自信なさそうに（確率が低い状態で）」正解を答えようとしたとき、先生は**「あ、でも君は自信がないんだね。だから、そんなに慌てて褒めなくていいよ。落ち着いて考えよう」と、AI の自信の度合いに合わせて「褒める度合い」を調整します。
  具体的には、AI が自信がないときは「無理に急かさない」、逆に自信があるときは「そのまま進めて」というバランスの取れた指導**を行います。

• どんな効果がある？
  これにより、AI は「特定の答えを無理やり丸暗記する」のではなく、「問題の本質を理解して、どんな状況でも柔軟に答えられる」ようになります。
  まるで、「暗記テスト」から「理解力テスト」へと学習の質が変わったようなものです。

3. 具体的な成果：数学もコードも、マルチタスクも

この「たった一行のコード変更（先生が冷静になる設定）」だけで、驚くべき成果が出ました。

• 数学の問題：
  従来の方法では、難しい数学オリンピックの問題になると AI がボロボロになり、成績が下がってしまいました。しかし、DFT を使った AI は、難しい問題でも成績が劇的に向上しました。
• プログラミング：
  コードを書くタスクでも、新しい言語や複雑な要件に対応できるようになりました。
• 画像と文章の組み合わせ：
  写真を見て数学の問題を解くような、複雑なタスクでも効果を発揮しました。

まとめ：なぜこれがすごいのか？

この研究の最大の魅力は、「強化学習（RL）」という、非常にコストがかかり難しい方法を使わずに、従来の「教師あり学習（SFT）」だけで、強化学習に近い「賢さ」を実現できた点です。

• 従来の強化学習： 先生が AI に試行錯誤させて、正解か不正解かを何度もチェックして教える方法。すごく時間とお金がかかる。
• この新しい方法（DFT）： 既存の「正解ノート」を使うだけで、「先生が冷静になる」という心構え一つで、同じような賢さを手に入れることができる。

「AI を教えるとき、先生が『自信がない生徒』を無理やり褒めすぎないで、冷静に指導するだけで、AI はもっと賢く、柔軟になる」。

これが、この論文が伝えたかった、シンプルで強力なメッセージです。まるで、子供に勉強を教えるとき、「間違えたら怒る」でも「自信がなくても無理やり褒める」でもなく、**「その子のペースに合わせて、的確にアドバイスする」**ことが、一番の近道だったという発見です。

技術概要

論文要約：ON THE GENERALIZATION OF SFT: A REINFORCEMENT LEARNING PERSPECTIVE WITH REWARD RECTIFICATION

発表: ICLR 2026 (Conference Paper)
著者: Yongliang Wu, Yizhou Zhou, et al. (Southeast University, UCLA, 他)

1. 背景と課題 (Problem)

大規模言語モデル（LLM）の学習において、**教師あり微調整（SFT: Supervised Fine-Tuning）**は専門家のデモンストレーションに適応させるための標準的な手法ですが、**強化学習（RL: Reinforcement Learning）と比較して汎化能力（Generalization）**が限定的であるという問題が長年指摘されています。

• SFT の限界: SFT は「SFT は記憶し、RL は汎化する（SFT memorizes, RL generalizes）」という特徴を持ちます。SFT は特定のタスクへの適応が容易ですが、複雑な推論タスクや未知の状況への対応において、RL に比べて性能が低下しやすい傾向があります。
• RL の課題: RL は報酬信号を用いて多様な戦略を探索し、優れた汎化性能を発揮しますが、計算コストが膨大であり、報酬関数の設計やハイパーパラメータの調整が困難です。また、正解データのみが存在し、負のサンプルや報酬モデルが利用できない現実的な場面では適用が難しいという制約があります。
• 核心的な問題: 既存のハイブリッド手法（SFT と RL の組み合わせ）は多いものの、「SFT 自体を根本的に改善し、RL 並みの汎化性能を達成できるか」という問いに対する答えは未だ明確ではありませんでした。

2. 手法 (Methodology)

著者らは、SFT と RL の数学的な関係を分析し、SFT の勾配更新が本質的に「問題のある報酬構造」を暗黙的にエンコードしていることを発見しました。これに基づき、**動的微調整（DFT: Dynamic Fine-Tuning）**という新しい手法を提案しました。

2.1 理論的洞察：SFT の勾配と報酬の歪み

SFT の勾配を強化学習の方策勾配（Policy Gradient）の観点から再解釈すると、以下の式のように変形できます。

$$\nabla_\theta L_{SFT} \approx -\mathbb{E} \left[ \frac{1}{\pi_\theta(y|x)} \nabla_\theta \log \pi_\theta(y|x) \cdot r(x, y) \right]$$

ここで、$r(x, y)$ は専門家と一致する場合に 1、そうでなければ 0 となるスパースな報酬です。
この式において、重要度重み（Importance Weight）として**モデルの確率の逆数（$1/\pi_\theta$）**が現れます。

• 問題点: モデルが専門家の行動に対して低い確率（$\pi_\theta$ が小さい）を割り当てた場合、重み $1/\pi_\theta$ が極端に大きくなり、勾配が不安定になります。これは「確率が低い正解サンプルに対して過剰に学習しようとする」ことを意味し、最適化の不安定さや過学習（記憶）を引き起こし、汎化を阻害します。

2.2 提案手法：DFT (Dynamic Fine-Tuning)

この歪みを補正するため、DFT はトークンごとの確率で目的関数を再スケーリングします。具体的には、損失関数にモデルの確率を掛け合わせ、逆数による歪みを打ち消します。

• 損失関数の変更:
  従来のクロスエントロピー損失 $L = -\log \pi_\theta(y^*|x)$ に対し、DFT は以下のように定義されます。
  $$L_{DFT} = -\text{sg}(\pi_\theta(y^*|x)) \cdot \log \pi_\theta(y^*|x)$$
  ここで、$\text{sg}(\cdot)$ は停止勾配（Stop Gradient）演算子です。これにより、勾配計算時に確率項が定数として扱われ、結果として勾配は以下のように単純化されます。
  $$\nabla_\theta L_{DFT} = -\nabla_\theta \pi_\theta(y^*|x)$$

• 効果:

  • 従来の SFT は確率が低いトークンに対して大きな勾配（$1/\pi$倍）を与えていましたが、DFT はすべてのトークンに対して**均一な重み（報酬=1）**で更新を行います。
  • これは、RL における「検証ベースの報酬（Verification-based Reward）」や、すべての正解サンプルに均等な報酬を与えるアプローチに相当します。
  • 実装上は、損失関数に確率を掛ける**「1 行のコード変更」**で実現可能です。

3. 主要な貢献 (Key Contributions)

1. 理論的統一: SFT の勾配を、確率の逆数で重み付けされた方策勾配として数学的に定式化し、SFT の汎化限界の根本原因（逆確率重み付けによる報酬の歪み）を解明しました。
2. 実用的な解決策: 理論に基づき、損失関数を確率で再重み付けする「DFT」を提案しました。これは追加の報酬モデルや RL サンプルを必要とせず、SFT の実装を最小限の変更で強化します。
3. 広範な実験的検証: 数学推論、コード生成、マルチモーダル推論など多様なタスクおよびモデルサイズ（1.5B〜7B）において、標準 SFT や既存の RL 手法（DPO, PPO, GRPO など）を上回る性能を示しました。

4. 実験結果 (Results)

4.1 数学推論タスク (Math Reasoning)

• データセット: NuminaMath-CoT を使用し、Qwen2.5-Math、LLaMA-3、DeepSeekMath などのモデルで評価。
• 結果:
  • 平均性能: DFT は標準 SFT に比べて大幅な改善を示しました。例えば、Qwen2.5-Math-1.5B では、ベースモデルからの改善幅が SFT で +2.09 点だったのに対し、DFT では +15.66 点（約 5.9 倍）となりました。
  • 難易度の高いベンチマーク: Olympiad Bench や AIME 2024 などの難問では、標準 SFT は性能が低下する（オーバーフィッティング）ケースが見られましたが、DFT は一貫して性能を向上させました。
  • 収束速度: DFT は学習初期段階（10〜20 ステップ）で SFT の最終性能を上回り、より効率的な収束を示しました。

4.2 オフライン RL 設定 (Offline RL)

• 拒否サンプリング（Rejection Sampling）で生成された正解データを用いたオフライン RL 設定で、DFT を DPO、RFT、PPO、GRPO と比較しました。
• 結果: DFT はオフライン手法（DPO, RFT）だけでなく、オンライン手法（PPO, GRPO）をも上回る性能を達成しました。特に AMC23 や Minerva Math などの難問で顕著な差が見られました。

4.3 他タスクへの適用

• コード生成: HumanEval, MultiPL-E などのベンチマークで、SFT やベースモデルを上回る結果を示しました。
• マルチモーダル推論: 視覚と数学を組み合わせたタスク（MathVerse, MathVision）でも、SFT よりも高い汎化性能を確認しました。

4.4 限界と分析

• 事実知識の学習: 事実知識（Factual Knowledge）の学習（Natural Questions データセット）では、DFT は SFT よりも性能が低下しました。これは DFT がモデルの既存の信念（確率）を強化する傾向があるため、モデルが知識を持っていない領域での学習が阻害されるためと推測されます。
• 確率分布の分析: DFT 後のモデルは、すべてのトークンを均一に高い確率にするのではなく、重要な意味を持つトークンの確率を高め、接続詞や句読点などの文法機能語の確率を意図的に下げる「二峰性分布」を示しました。これは人間の教育（重要な概念に集中し、接続詞の完璧な使用にはこだわらない）に類似した学習パターンです。

5. 意義と結論 (Significance & Conclusion)

本論文は、SFT と RL の間の「汎化ギャップ」を理論的に解明し、極めて単純な修正（損失関数の確率重み付け）によって SFT の性能を RL 並みに引き上げることを示しました。

• 実用性: 追加の計算リソースや報酬モデルを必要とせず、既存の SFT パイプラインに容易に統合可能です。
• 理論的貢献: SFT が本質的に「逆確率重み付けされた RL」であることを明らかにし、その不安定性のメカニズムを解明しました。
• 将来展望: 事実知識の学習など、特定のタスクでは SFT の方が適している場合があるため、タスクに応じた適切な目的関数の選択が重要であるという示唆を与えています。

総じて、DFT は大規模言語モデルの微調整における新しいパラダイムを提供し、複雑な RL 手法に依存せずに高品質な汎化性能を達成するための現実的な解決策として期待されます。