技術要約：自己蒸留による継続学習

問題提起

基盤モデルは現在、根本的な限界に直面している。すなわち、デプロイ後は静的な状態に留まるということである。プロンプティングや検索を通じて推論時に振る舞いを適応させることはできるが、新しいスキルを獲得したり、新しい知識を内部化したりするためにパラメータを更新することはない。核心となる課題は**継続学習（Continual Learning）**であり、既存の能力を損なうことなく、時間の経過とともに学習し改善し続けることを可能にすることである。

エキスパートによるデモンストレーションから学習する既存のアプローチ（明示的な報酬関数の主要な代替手段）は、**教師あり微調整（SFT）に依存している。しかし、SFTは本質的にオフポリシー（off-policy）であり、固定されたオフラインのデータ分布に対して学習を行う。これは、新しいタスクに適応することで以前の汎用的な能力が著しく低下する破滅的忘却（catastrophic forgetting）**を引き起こす。対照的に、オンポリシー学習（on-policy learning）（モデル自身が生成した軌跡を用いて学習すること）は、忘却を抑制し汎化性能を向上させることが示されているが、通常は明示的な報酬関数（強化学習）を必要とする。これは、現実世界の環境では利用できないことが多い。

本研究が取り組む中心的な問いは、**「エキスパートによるデモンストレーションしか利用できない場合に、どのようにしてオンポリシー学習の恩恵を得ることができるか？」**である。

手法：自己蒸留微調整（SDFT）

著者らは、大規模な事前学習済みモデルの**インコンテキスト学習（ICL）能力を活用することで、デモンストレーションから直接オンポリシー学習を可能にする手法である自己蒸留微調整（Self-Distillation Fine-Tuning: SDFT）**を提案する。

コアメカニズム

SDFTは、学習中に単一のモデルを2つの異なる役割として利用する：

1. 教師（Teacher）: タスク入力（$x$）とエキスパートのデモンストレーション（$c$）の両方に条件付けられたモデル。これにより、デモンストレーションを考慮した分布 $Q = \pi(\cdot|x, c)$ が作成される。プロンプトの構造は、モデルがデモンストレーションを逐語的にコピーするのではなく、その背後にある意図を理解するように促す。
2. 生徒（Student）: タスク入力（$x$）のみに条件付けられたベースモデルであり、分布 $P = \pi(\cdot|x)$ を生成する。

学習目的

生徒は、生徒自身によって生成された軌跡上での教師の振る舞いに一致するように学習される（オンポリシー）。目的関数は、生徒と教師の分布間の逆Kullback-Leibler（KL）ダイバージェンスを最小化する：
$$\mathcal{L}(\theta) = D_{KL} (\pi_\theta(\cdot|x) \parallel \pi(\cdot|x, c)) = \mathbb{E}_{y \sim \pi_\theta(\cdot|x)} \left[ \log \frac{\pi_\theta(y|x)}{\pi(y|x, c)} \right]$$

理論的解釈

本論文では、SDFTを2つの観点から解釈している：

1. 蒸留（Distillation）: 教師が生徒よりも「賢い」、デモンストレーションを考慮したバージョンである生徒・教師フレームワーク。
2. 逆強化学習（Inverse Reinforcement Learning: IRL）: 著者らは、SDFTが暗黙的な報酬関数を最大化することと数学的に等価であることを示している。デモンストレーションに条件付けられた方策が最適方策（$\pi^* \approx \pi(\cdot|x, c)$）を近似すると仮定することで、教師と生徒の分布の対数比が内在的な報酬信号として機能する。これにより、明示的な報酬関数なしでオンポリシーの更新が可能となる。

実装の詳細

• 教師のパラメータ化: 教師のパラメータは、通常、生徒のパラメータの指数移動平均（EMA）である。
• 損失関数: 理論的な導出では逆KLダイバージェンスが示唆されているが、著者らはロジットレベルでの**順方向KL（Forward KL）**の方が実用的なパフォーマンスが高いことを見出した。
• 勾配推定: 損失はトークンレベルの損失に分解され、勾配計算中には教師の分布は固定されるものとして扱う。

主な貢献

1. 新しいフレームワーク: 明示的な報酬推論なしに、エキスパートのデモンストレーションをオンポリシーの学習信号に変換するシンプルな手法であるSDFTの導入。
2. 理論的等価性: デモンストレーションからの自己蒸留が、モデル自身のインコンテキスト学習能力から導出される暗黙的な報酬関数を最大化することと数学的に等価であることの証明。
3. ICL仮説の検証: デモンストレーションに条件付けられたモデルが、高品質な教師（最適な出力を生成する）として機能すると同時に、ベースの方策に近い状態を維持（偏差を最小化）しており、信頼領域正則化の要件を満たしていることの実証。
4. データ制限への堅牢性: 標準的なSFTにおいて、回答のみのデータを用いた場合に発生しやすい「推論の崩壊（reasoning collapse）」を防ぎつつ、SDFTが推論モデルを効果的に訓練できることを示した。

実験結果

著者らは、SDFTを**スキル学習（Skill Learning）と知識獲得（Knowledge Acquisition）**の2つの設定で評価した。

1. スキル学習（逐次学習）

• タスク: 科学Q&A、ツール利用、および医学的推論。
• 知見:
  • 破滅的忘却: 逐次学習の実験（3つのスキルを順番に学習）において、SDFTは以前のタスクに対する性能低下を起こすことなく、単一のモデルにスキルを蓄積させることを可能にした。対照的に、SFTは深刻な干渉を示し、新しいタスクを学習することで以前に学習したスキルが急速に劣化した。
  • 汎化: SDFTはSFTと比較して新しいタスクで高い精度を達成しており、分布内（in-distribution）の汎化性能が高いことを示している。
  • パレート効率: SDFTは、ベースライン（SFT、DFT、Re-invoke）と比較して、新タスクの精度と既習能力の保持の間で一貫して優れたトレードオフを実現した。

2. 知識獲得

• 設定: 2025年の自然災害に関する事実的知識（トレーニングのカットオフ後）をモデルに統合する。
• 知見:
  • SDFTは、厳密な精度および分布外（間接的）な質問の両方において、SFTおよび継続的事前学習（CPT）を大幅に上回った。
  • SDFTは間接的な質問に対してほぼ完璧な精度を達成しており、これは新しい知識が単なる特定の回答パターンとして記憶されたのではなく、モデルの内部メモリに適切に統合されたことを示唆している。

3. スケーリングとモデルサイズ

• ICLへの依存性: SDFTの有効性は、モデルサイズと密接に結びついている。インコンテキスト学習が弱い小規模モデル（例：3B）は、意味のある教師信号を提供できず、SFTよりも低い性能となった。一方で、大規模モデル（7B, 14B）では単調な改善が見られ、14BモデルはSFTに対して6.9ポイントの差をつけた。

4. 推論モデル

• 回答のみの教師あり学習: 推論モデル（Olmo-3-7B-Think）を、思考プロセス（Chain-of-Thought）を含まない最終回答のみのデータで微調整した場合、標準的なSFTは推論の深さ（回答の短文化）の崩壊と精度の低下を引き起こした。SDFTは、精度を向上させつつ、モデルの長い思考プロセス（Chain-of-Thought）の振る舞いを維持した。

意義と主張

本論文は、SDFTがデモンストレーションからの継続学習への実用的な道筋として、オンポリシー蒸留を確立したと主張している。

• オフポリシーの限界の克服: 本研究は、モデルが十分なインコンテキスト学習能力を備えていれば、明示的な報酬関数がなくても、オンポリシー学習の恩益（忘却の低減、汎化性能の向上）が得られることを示している。
• 実用的な実現可能性: SDFTは、オンポリシーのロールアウトを行うため、SFTと比較して高い計算コスト（FLOPsで約2.5倍、ウォークタイムで4倍）を要する。しかし、著者らは、忘却を軽減するために必要な他の手法（SFTの後にRe-invokeを行うなど）のような多段階のトレーニングパイプラインを排除できることから、これが相殺されると主張している。
• RLとの補完関係: 著者らは、SDFTをオンポリシー強化学習（RL）の代替ではなく、補完的なレジームとして位置づけている。SDFTは、その後の報酬ベースの微調整のための効果的な初期化として機能することができる。

結論として、SDFTは基盤モデルが時間をかけて知識を蓄積し、スキルを洗練させていく、人間のような学習能力へと近づくための手段を提供するものである。