Proximal Supervised Fine-Tuning (PSFT) 技術サマリー

ICLR 2026 にて発表された本論文「Proximal Supervised Fine-Tuning (PSFT)」は、大規模言語モデル（LLM）の事後学習（Post-training）における教師あり微調整（SFT）の課題を解決し、強化学習（RL）との親和性を高めるための新しい最適化手法を提案しています。

以下に、問題定義、手法、主な貢献、実験結果、および意義について詳細にまとめます。

1. 背景と問題定義

近年、推論タスクにおいて強化学習（RL、特に PPO や GRPO）が大きな成果を上げていますが、その前段階として一般的に用いられる**教師あり微調整（SFT）**には以下の重大な課題が存在します。

• 汎化能力の低下: SFT は本質的に「行動クローニング（Behavior Cloning）」であり、特定のタスクデータに過剰適合（Overfitting）しやすい。これにより、事前学習で獲得した汎用的な能力が失われ、ドメイン外（Out-of-Domain）のタスクでの性能が劣化する。
• エントロピーの崩壊（Entropy Collapse）: SFT 中の推論分布が特定のトークンに偏り、多様性が失われる現象。これにより、モデルの探索能力が低下し、その後の RL 学習におけるさらなる改善が阻害される。
• RL への冷たいスタート（Cold Start）の問題: 従来の SFT モデルは RL 学習の初期値として不適切な場合が多く、RL による能力向上の余地（ポテンシャル）を十分に引き出せない。

2. 提案手法：Proximal Supervised Fine-Tuning (PSFT)

著者らは、強化学習における**信頼領域方策最適化（TRPO）や近傍方策最適化（PPO）**のアイデアを SFT に適用し、Proximal Supervised Fine-Tuning (PSFT) を提案しました。

2.1 理論的基盤

• SFT と方策勾配の統一: SFT を、正のアドバンテージ（$\hat{A}_t = 1$）を持つ特別な方策勾配法として再解釈します。
• 信頼領域の導入: PPO の「クリップされた代理目的関数（Clipped Surrogate Objective）」を SFT の損失関数に導入します。これにより、新しい方策 $\pi_\theta$ が古い方策 $\pi_{\theta_{old}}$ から大きく逸脱することを防ぎます。

2.2 目的関数

PSFT の損失関数は以下の通り定義されます（$\epsilon$ はクリッピング閾値）：

$$L_{PSFT}(\theta) = \mathbb{E}_{(s_t, a_t) \sim D} \left[ \min \left( r_t(\theta), \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon) \right) \right]$$

ここで、$r_t(\theta) = \frac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{old}}(a_t|s_t)}$ は重要度サンプリング比率です。

• 仕組み: トークンの確率変化が過度に大きくなる（比率が $1 \pm \epsilon$ を超える）場合、勾配が抑制されます。
• 動的更新: 参照方策 $\pi_{\theta_{old}}$ を固定せず、学習中に動的に更新します。これにより、オフラインデータセットから段階的に知識を吸収しつつ、信頼領域を維持します。
• ウォームアップ: 初期段階で $\pi_{\theta_{old}}$ がデータ分布と乖離するバイアスを防ぐため、PSFT 前に通常の SFT によるウォームアップを行うことが推奨されます。

3. 主な貢献

1. PSFT の提案: クリップされた代理目的関数を用いて信頼領域のような制約を課す新しい SFT 最適化手法。標準的な SFT と同等のタスク性能を維持しつつ、モデルの汎用能力を保持する。
2. エントロピー崩壊の防止: SFT 中のエントロピー低下を抑制し、RL 段階での探索を可能にする。これにより、RL 後のタスク性能と汎化性能の両方が向上する。
3. 広範な検証: 数学推論、人間価値の整合性（Alignment）、マルチモーダルタスクなど、多様なベースモデルと設定において PSFT の有効性を実証。

4. 実験結果

4.1 数学推論タスク（SFT 段階）

• エントロピー: 標準 SFT や KL 正則化付き SFT ではエントロピーが急激に低下するのに対し、PSFT は滑らかなエントロピー曲線を示し、過学習を防ぐ。
• 性能:
  • ドメイン内（In-Domain）: 標準 SFT と同等かそれ以上の性能（AIME-24, MATH-500 など）を達成。
  • ドメイン外（Out-of-Domain）: 標準 SFT が性能を大きく低下させるのに対し、PSFT は GPQA、ARC-C、IFEval などで高い汎化性能を維持。特に IFEval（指示従順性）では、SFT が大幅に劣化するのに対し PSFT は性能を維持。

4.2 RL 段階への影響

• RL による改善余地: PSFT を冷たいスタートとして RL（GRPO/DAPO）を適用した場合、標準 SFT 起点よりも最終的な性能が向上。
• エントロピーの維持: PSFT 起点は RL 学習中も高いエントロピーを維持し、探索を促進することで、より急速かつ大きな性能向上を実現。

4.3 人間価値の整合性（Alignment）

• アライメント税（Alignment Tax）の低減: 標準 SFT は汎用能力を犠牲にする「アライメント税」が発生しやすいが、PSFT は DPO（Direct Preference Optimization）後の性能向上と汎用能力の維持を両立。
• 負のサンプル学習: PSFT は正のサンプルだけでなく、負のサンプルからの学習も効果的に行い、選好の崩壊（Preference Collapse）を防ぐ。

4.4 マルチモーダルモデル（VLM）への適用

• テキストみの推論データ（Long CoT）を用いて VLM を微調整する際、PSFT はテキスト推論能力を注入しつつ、視覚理解能力（MMMU など）の低下を防ぐ。標準 SFT は視覚理解能力を大幅に損なう傾向がある。

5. 意義と結論

本論文は、SFT と RL の間に存在する「信頼領域」の概念を橋渡しし、**「SFT 段階で汎化能力と探索余地を維持したまま、タスク特化性能を向上させる」**という新たなパラダイムを示しました。

• 実用的意義: 計算コストの低い SFT 段階で RL の前処理を最適化することで、その後の RL 学習の効率と最終性能を劇的に向上させます。
• 学術的意義: SFT を単なる「行動の模倣」から、「信頼領域制約付きの方策更新」として再定義し、強化学習の理論を教師あり学習に適用する新しい視点を提供しています。

結論として、PSFT は従来の SFT に代わる有望な代替手段であり、特に推論能力や汎用性を重視する大規模モデルのポストトレーニングパイプラインにおいて不可欠な技術となる可能性があります。