技術概要：回転保存型教師あり微調整（RPSFT）

1. 問題定義

教師あり微調整（SFT）は、大規模言語モデル（LLM）を特定タスクに適応させるために用いられる標準的なポストトレーニング段階である。しかし、先行研究は、SFT がドメイン外（OOD）汎化能力を劣化させることを示しており、この現象はしばしば「破滅的忘却」として説明される。最近の研究は、この劣化が事前学習済み重み行列における幾何学的ドリフト、特に支配的な特異部分空間の過度な回転と関連していることを示唆している。これらの支配的な方向は、汎用能力を符号化する高分散・高曲率構造に関連している。

ヘッシアンまたはフィッシャー情報を用いて損失感受性方向を直接特定し、保存することは、現代の LLM の規模において計算的に実行不可能である。したがって、SFT 中に不要な幾何学的ドリフトを制限しつつ、ターゲットタスクへの適応能力を維持し、ドメイン内（ID）性能と OOD 保持のトレードオフを改善する、効率的な正則化手法が必要とされている。

2. 手法：回転保存型 SFT（RPSFT）

著者は、事前学習済み重み行列の支配的な特異部分空間を固定する正則化手法である**回転保存型教師あり微調整（RPSFT）**を提案する。

中核メカニズム

RPSFT は、事前学習済み重み行列の上位$k$個の特異ベクトルが、フィッシャー感受性方向（更新により OOD 損失が大幅に増加する方向）と著しく重なり合っているという仮説に基づいて動作する。パラメータを凍結したり勾配を射影したりすること（これらは硬直または高コストになり得る）の代わりに、RPSFT は標準的な SFT 損失関数にペナルティ項を追加する。

事前学習初期化$W_0$を持つ選択された重み行列$W$について、本手法は特異値分解（SVD）を介して上位$k$個の左および右特異ベクトル基底$U^{(k)}_0$および$V^{(k)}_0$を事前計算する。正則化項は、この基底内の重み行列の射影されたブロックの変化にペナルティを課す：

$$\mathcal{L}_{RPSFT} = \mathcal{L}_{SFT} + \lambda \sum_{\ell \in \mathcal{M}} \| (U^{(k)}_{0, \ell})^\top (W_\ell - W_{0, \ell}) V^{(k)}_{0, \ell} \|_F^2$$

ここで：

• $\mathcal{L}_{SFT}$は標準的な負対数尤度損失である。
• $\lambda$は正則化強度である。
• 項$\| (U^{(k)}_{0, \ell})^\top (W_\ell - W_{0, \ell}) V^{(k)}_{0, \ell} \|_F^2$は、上位$k$個の特異部分空間内での重み行列のドリフトを測定する。
• $\mathcal{M}$は選択された層の集合（フルパラメータ微調整では通常、すべての層）である。

設計の根拠

• 部分的な保護： フルランクの固定（初期重み周りの$L_2$正則化に相当）とは異なり、RPSFT は上位$k$個のブロックのみを固定する。補完的な方向は適応のために自由に残され、タスク固有の学習を可能にする。
• 計算効率： 本手法は、層あたり$O((m+n)k + k^2)$のメモリで特異基底の事前計算とキャッシュ、およびトレーニング中の射影されたブロックの計算（評価あたり$O(mnk)$の FLOPs）を必要とする。著者は、特に射影を$s$ステップごとに計算する場合、標準的な SFT に比べてオーバーヘッドが最小限であると指摘している。
• 理論的正当性： 著者は損失の局所二次展開を分析する。彼らは、一次項が適応を駆動する一方、二次項（曲率）が忘却を駆動すると論じる。フィッシャー情報（曲率の代理）の計算は高コストであるため、彼らは事前学習済み重みの上位特異ブロックが、フィッシャー射影勾配エネルギーの相当部分（約 20%）を捉えており、損失感受性方向の有効かつ低コストな構造的代理であることを実証的に示す。

3. 実験設定

著者は、Llama-3.1-8B-Instruct、Qwen2.5-7B-Instruct、およびQwen2.5-3B-Instructという 3 つのモデルファミリーとスケール全体で RPSFT を評価した。

• トレーニングデータ： 教師あり微調整はOpenR1-Math（数学推論データ）で行われた。
• ベースライン： 標準的なフルパラメータ SFT、動的微調整（DFT）、重要度重み付け SFT（IW）、および$L_2$初期化固定との比較が行われた。
• 評価：
  • ドメイン内（ID）： 数学ベンチマーク（AIME、AMC、MATH-500 など）。
  • ドメイン外（OOD）： 一般推論、安全性、知識ベンチマーク（GPQA、MMLU-Pro、TruthfulQA など）。
  • ダウンストリーム RL： SFT チェックポイントは、DAPO（GRPO の変種）を用いた強化学習微調整（RLFT）の初期化として機能した。

4. 主要な結果

ドメイン内およびドメイン外のトレードオフ

• RPSFT は一貫して ID/OOD のトレードオフを改善する。 すべてのモデルサイズにおいて、RPSFT は標準的な SFT に比べて OOD 忘却を大幅に削減しつつ、最良または競争力のある ID 性能（Avg@k および Pass@k）を達成した。
• ベースラインとの比較： DFT および IW はある程度の OOD 保持を示したが、ID タスクでの未学習に苦しむことが多かった。RPSFT は、標準的な SFT よりも OOD 能力をよりよく維持しながら、強力な ID 適応を維持した。例えば、Llama-8B において、RPSFT はベースモデルに対して OOD Avg@k を +1.83% 改善したが、標準的な SFT は +1.73% 改善したものの、他の指標における堅牢性は低かった。
• ランク感度： 保護されるランク$k$を変化させる実験により、中間的なランク（例：$k=768$）が最良のバランスを提供することが示された。過度に大きなランク（フルランク固定に近づく）はタスク適応を妨げ、$k=0$は標準的な SFT に戻った。

ダウンストリーム RL 性能

• 強力な初期化： RPSFT チェックポイントは、ダウンストリーム RLFT のための優れた初期化として機能した。標準的な SFT や他のベースラインで初期化されたモデルと比較して、RPSFT で初期化されたモデルは、ID および OOD の両方のベンチマークでより高い最終的な RL 性能を達成した。
• 能力の保持： SFT 段階での OOD 保持の改善は、その後の RL 段階によって洗い流されることはなく、むしろ引き継がれ、一貫して高い最終スコアにつながった。

幾何学的および表現分析

• 回転の削減： 重み空間ドリフトの分析により、RPSFT は標準的な SFT、DFT、および IW に比べて支配的な左特異部分空間の回転を大幅に削減することが示された。
• 隠れ状態の安定性： RPSFT 微調整モデルの隠れ状態の幾何学はよりよく保持された。RPSFT 微調整モデルの隠れ状態の重心は、さまざまなベンチマークにわたってベースモデルの重心に近接して留まったのに対し、標準的な SFT や DFT はより大きなドリフトを示した。これは、重み空間の回転を制限することが、モデルの内部表現空間の保持に直接寄与することを示唆している。

5. 意義と主張

本論文は、RPSFT が教師あり微調整中に汎用能力の忘却を効果的に緩和するシンプルで計算的に効率的な正則化器を提供すると主張している。

• メカニズム： この研究は、支配的な事前学習済み特異部分空間を保持することが、幾何学的回転を減少させ、隠れ状態表現を保護し、忘却と適応のトレードオフを改善するという、実証的および理論的証拠を提供する。
• 実用性： ヘッシアン推定や複雑な勾配射影を必要とする手法とは異なり、RPSFT は追加のデータやタスク境界を必要とせずに、標準的なフルパラメータ SFT パイプラインに直接統合される。
• 一般性： この手法は、異なるモデルアーキテクチャ（Llama および Qwen）およびスケール（3B から 8B パラメータ）全体で一貫した改善を示す。

著者は、事前学習済み特異部分空間におけるドリフトを制御することが、迅速なタスク適応を可能にしながら OOD 汎化を維持するための実用的かつ効果的な戦略であり、その後の強化学習段階のためのより強力な基盤を提供すると結論付けている。

6. 限界

著者は、RPSFT が現在、すべての重み行列に対して均一な保護ランク規則を適用していることを認めている。彼らは、将来の研究がオーバーヘッドをさらに削減するために層選択的正則化（例：初期の自己注意層に焦点を当てる）を調査することを提案している。さらに、現在の実験は数学トレーニングデータセットおよび 3B〜8B の範囲のモデルに焦点を当てているため、非数学データおよびより大規模なモデルスケールへの拡張は、将来の研究の方向性として特定されている。