技術的サマリー：明示的な分布制御による大規模言語モデルの教師あり微調整の安定化

1. 問題定義

新しい目的に適応させるために教師あり微調整（SFT）を用いて大規模言語モデル（LLM）をポストトレーニングすると、頻繁に破滅的忘却を誘発します。これは、ターゲットタスクでの改善が、以前に獲得された一般能力を劣化させる現象です。最近の経験的および理論的研究は、この現象が主に最適化中の過度な分布ドリフトによって駆動されていることを示唆しています。

強化学習（RL）手法（特にオンポリシー RL）は、このドリフトを暗黙的に制約し、SFT よりも以前の能力をよりよく保持しますが、高コストなデータ収集と複雑な最適化パイプラインに依存しています。一方、標準的な SFT は、分布シフトの大きさや方向を制御する明示的なメカニズムを欠いており、しばしば急激な行動変化を引き起こします。既存の緩和戦略、例えば静的 KL 正則化や固定教師モデルによる蒸留は、モデル分布の局所幾何学と整合しない間接的または大域的に調整された制御しか提供せず、新しいタスクへの適合とベースモデルの保持の間で持続的な勾配競合を引き起こす結果となります。

対処される核心的な課題は以下の通りです：単純で明示的なメカニズムが、オンポリシー RL の安定性と SFT の効率性を組み合わせながら、純粋なオフライン SFT 設定において分布更新を安定して制御することを可能にできるか？

2. 手法：アンカー学習

著者らは、動的に変化する移動アンカーを用いてオフライン微調整中の分布更新を明示的に制御するフレームワークであるアンカー学習を提案します。

中核メカニズム

固定された参照分布（例えばベースモデル $p_{base}$）に一致させる代わりに、アンカー学習は各反復 $t$ において、以下の 2 つを補間することで中間ターゲット分布 $q^{(t)}$ を構築します：

1. 現在の学習可能なモデル $p_{\theta}^{(t)}$。
2. ターゲットデータで一度訓練され固定された凍結 SFT 参照モデル $p_{sft}$。

このフレームワークは 2 つのループで動作します：

• 外側ループ（アンカー選択）： 反復 $t$ において、アンカー分布 $q^{(t)}$ が補間演算子 $I_\alpha$ によって構築されます：
  $$q^{(t)}(\cdot | x) = I_\alpha(p_{\theta}^{(t)}(\cdot | x), p_{sft}(\cdot | x))$$
  アンカーは計算グラフから切り離され、内側ループに対する固定ターゲットとして機能します。
• 内側ループ（アンカー適合）： モデルパラメータは、ターゲットデータセット $D$ 上の蒸留目的関数（KL 発散）を最小化することによって、このアンカーに近似するように更新されます：
  $$\theta^{(t+1)} \approx \arg \min_\theta \mathcal{L}_{distill}(\theta; q^{(t)})$$

具体化

補間演算子 $I_\alpha$ は、2 つの空間で具体化されます：

1. Logit 空間： ソフトマックス前のロジットの線形補間 followed by ソフトマックス正規化。これは分布の幾何平均（モード探索行動）に対応します。
2. 確率空間： 予測分布の直接の線形補間。これは算術平均（モードカバリング行動）に対応します。

理論的保証

本論文は、このアンカーベースの更新が反復ごとの線形 KL 発散上限を許容することを理論的に証明しています。

• 確率空間： アンカーと現在のモデル間の KL 発散は、$\alpha \cdot KL(p_{sft} \parallel p_{\theta}^{(t)})$ によって有界です。
• Logit 空間： 発散は $\frac{\alpha}{1-\alpha} KL(p_{\theta}^{(t)} \parallel p_{sft})$ によって有界です。

これらの上限は、モデルが分布間で安定かつ制御された方法で遷移することを保証し、効果的に大域的微調整を局所的なトラストリージョン更新の系列に変換します。理論分析は、正確な射影の下では、モデルが有界なステップごとの偏差を維持しつつ、SFT 参照に対して幾何学的に収束することを示しています。

3. 主要な貢献

1. フレームワークの提案： 移動アンカーを介してオフライン微調整における分布更新の局所制御を強制する単純なフレームワークアンカー学習の導入。オンライン相互作用や複雑な RL パイプラインの必要性を回避します。
2. 理論的安定性： 確率空間および Logit 空間のアンカーリングの両方に対する明示的な反復ごとの KL 発散上限の導出。分布安定性に関する形式的保証を提供します。
3. 経験的検証： 複数のベンチマークにおいて、性能向上と安定性の間の優れたトレードオフを達成し、強力なベースラインと比較して一貫してパレートフロンティア上に位置することを示す実証。

4. 実験結果

この手法は、Qwen2.5（1.5B–14B）およびLlama-3.2-3Bモデルを用いて、3 つのターゲットタスク（iGSM、MedCalc、IFEval）で評価されました。性能は、標準 SFT および様々な忘却緩和ベースライン（Low-SFT、KL-SFT、Self-SFT、Iter-SFT など）と比較して測定されました。

• 獲得 - 安定性トレードオフ： 標準 SFT は高いドメイン性能を達成しましたが、一般能力の深刻な劣化（iGSM および MedCalc で 53% 以上の性能低下など）を被りました。アンカー学習は、この劣化を5% 未満に削減しつつ、ほぼ最適な獲得を維持しました（例：iGSM で 75.2%）。
• パレート最適性： すべてのモデルサイズおよびタスクにおいて、アンカー学習は常にパレートフロンティアの近くに位置し、安定性のためにドメイン性能を犠牲にしたベースライン（例：Low-SFT）や忘却を防げなかったベースライン（例：標準 SFT）を上回りました。
• スケーリング： アンカー学習の恩恵は、モデルスケール（1.5B から 7B）全体で堅牢であり、ドメイン精度を犠牲にすることなく、Low-SFT よりもはるかに高い一般能力を保持しました。
• ハイパーパラメータ感度：
  • 補間係数（$\alpha$）： 中間範囲の $\alpha$ が最適なトレードオフを提供しました。
  • 更新スケジュール： 本研究は、ターゲット精度が飽和しても、トレーニング反復の増加に伴い一般性能が単調ではない劣化を示すことを強調しました。これは「より多くのトレーニング」が安定性を保証するものではなく、明示的な軌道制御の必要性を裏付けています。
  • 補間空間： Logit 空間補間（幾何平均）は安定性と一般能力の保持を好み、確率空間補間（算術平均）は可塑性和ドメイン適応を好みました。

5. 意義と主張

本論文は、アンカー学習がオンポリシー RL に見られる暗黙的安定メカニズムに対する実用的な代替手段であると主張しています。中間ターゲット分布を明示的に形成することで、大域的最適化を保守的な局所更新の系列に変換します。

著者らは、彼らのアプローチが以下の点に重点を置いていると強調しています：

• 再生や共同トレーニングのための一般ドメインデータへのアクセスを必要としない純粋なオフライン設定で動作する。
• 忘却の根本原因（過度なドリフト）に直接対処し、単に症状に対処するのではなく、分布安定性に関する理論的保証を提供する。
• 既存の静的正則化および蒸留手法を上回る性能で、ターゲットタスクにおいてほぼ最適な性能を達成しつつ、破滅的忘却を大幅に削減する。

限界： 著者らは、アンカー構築と蒸留のための追加のフォワードパスの必要性により、標準 SFT に比べて追加的な計算オーバーヘッド（トレーニング遅延およびメモリ使用量が約 1.5 倍～2 倍）が発生することを認めています。ただし、これはオンポリシー RL のコストよりもはるかに低いと指摘しています。