技術概要：DualSFT – LLM 微調整のための 1 つのアルゴリズム、2 つの目標

1. 問題提起

大規模言語モデル（LLM）の微調整は、現代の規模において莫大なコストに直面しており、研究は 2 つの異なる効率化戦略、すなわち**パラメータ効率型微調整（PEFT）とデータ効率型微調整（DEFT）**へと向かっています。PEFT 手法（パラメータ選択、LoRA など）は学習可能な状態メモリを削減し、DEFT 手法（データ選択、再重み付けなど）は最適化の作業負荷を削減します。

現在、これらの戦略は独立して動作しています。更新を制限するためにパラメータマスクとデータサブセットの両方を適用する場合、既存のアプローチは通常、個別のスコアリングメカニズムを採用します。この分離は冗長な計算オーバーヘッドを招き、調整の不一致を生み出します。すなわち、特定のデータサブセットを考慮せずに選択されたパラメータマスク（およびその逆）は、最適な共同パフォーマンスをもたらさない可能性があります。本論文は、パラメータマスクとデータサブセットが制限された更新を共同で決定するため、これらは分離されたメカニズムではなく、共有スコアリングルールを通じて選択されるべきであると主張します。

2. 手法：DualSFT

著者は、共有勾配統計からパラメータの重要度とデータの有用性を同時に抽出するワンショットアルゴリズムであるDualSFT（Dual-Selection Fine-Tuning）を提案します。核心的な理論的洞察は、パラメータ選択とデータ選択を、共通の検証目的の下での単一の局所レスポンス・サロゲート問題の 2 つの視点として定式化することです。

2.1 理論的基盤：バイレベル定式化とサロゲート

選択プロセスは、$\mathcal{L}_{val} = \mathcal{L}_{new} + \lambda \mathcal{L}_{prior}$という共通の外部検証目的を共有する 2 つのバイレベル最適化問題として定式化されます。ここで、$\mathcal{L}_{new}$はターゲットタスクの損失、$\mathcal{L}_{prior}$は事前学習された能力を保持します。

• 外部レベル: 予算制約付きマスク（パラメータマスク $\mathbf{m}_\theta$ またはデータマスク $\mathbf{m}_D$）を選択します。
• 内部レベル: 選択されたマスクによって誘発される最適なパラメータ更新 $\delta^*$ を計算します。

これらを正確に解くことは LLM に対して非現実的です。著者は、共通のウォームアップチェックポイント $\bar{\theta}$ におけるワンステップ勾配更新を用いて内部レスポンスを近似します。これにより、更新方向が選択されたサブセットに依存する局所サロゲートが得られます。

2.2 共有相互作用行列

1 次および 2 次テイラー近似を用いて $\bar{\theta}$ 周辺で検証目的を展開することにより、著者は勾配相互作用行列 $\mathbf{M} \in \mathbb{R}^{N \times D}$（ここで $N$ はサンプル数、$D$ はパラメータ次元）を導出します。

• パラメータ重要度: $\mathbf{M}$ の列方向集約として現れます。
• データ有用性: $\mathbf{M}$ の行方向集約として現れます。

この構造は行 - 列双対性を明らかにします。すなわち、両方の信号は同じ代数的対象から導出されます。閉形式のスコアは、選択を相互作用行列がクレジット割り当てを提供する協力ゲームとみなすシャプレイ値解釈を認めます。

2.3 DualSFT アルゴリズムパイプライン

アルゴリズムは 3 つの段階で実行されます。

1. パイロットウォームアップ: 軽量なウォームアップ（1 エポック、データの 5%）により、安定したチェックポイント $\bar{\theta}$ を確立し、AdamW の 2 次モーメントバッファを使用して対角曲率 $\hat{c}$ を推定します。
2. ワンショット双スコアリング:
   • 検証改善投影ベクトル $\mathbf{u}$ を構築します：$\mathbf{u} = \eta_{sc}(\nabla \mathcal{L}_{new} + \lambda \nabla \mathcal{L}_{prior}) - \frac{\eta_{sc}^2}{2} \hat{c} \odot \mathbf{G}$。ここで、$\mathbf{G}$ は蓄積された学習勾配です。
   • パラメータスコア: $s_{\theta, d} = u_d G_d$（列集約）。
   • データスコア: $s_{D, n} = \langle \mathbf{u}, \mathbf{g}_n \rangle$（行集約、サンプルごとの勾配を具体化しないように Ghost Dot Product を使用して計算）。
   • これらの符号付きスコアに基づき、上位 $k$ 個のパラメータと上位 $b$ 個のサンプルを選択します。
3. 制限付き微調整: モデルは、選択されたパラメータのみを使用して、選択されたデータサブセットで微調整されます。

2.4 保持メカニズム

事前学習データへのアクセスなしで破滅的忘却を緩和するため、DualSFT は**信頼度重み付き自己蒸留（CWSD）**を採用します。これは、アンカーセットにおける現在のモデルと元の事前学習済みモデルとの間の KL 発散を最小化することで保持方向 $\nabla \mathcal{L}_{prior}$ を構築し、元のモデルの予測の信頼度で重み付けします。

3. 主要な貢献

1. 統合スコアリング理論: 個別のパラメータ選択とデータ選択の問題を、単一の勾配相互作用行列の行方向および列方向集約に変換する共有レスポンス・サロゲートスコアリングルールの導出。これは局所化されたシャプレイ解釈によって支持されます。
2. DualSFT アルゴリズム: パラメータとデータの選択を同時に調整し、逐次ハイブリッドベースラインに見られる冗長なスコアリングパスと調整ギャップを排除する、実用的なワンショット双スコアリングアルゴリズム。
3. 保持方向: CWSD を用いたコーパスフリーの保持方向。これは制限付き微調整中の忘却を効果的に緩和します。
4. 実証的検証: コード生成と数学的推論タスクにおける 3B〜9B LLM（Llama-3.2、Gemma-3、Qwen-3.5）での包括的な実験。

4. 実験結果

実験は、Magicoder（コード）と MetaMathQA（数学）で行われ、予算（データ 10%、パラメータ 5%）を一致させました。

• パフォーマンス: DualSFT は、単一軸ベースライン（LESS、S2FT、NanoAdam など）および逐次ハイブリッド（LESS + S2FT、SPICE + NanoAdam など）を上回りました。
  • Llama-3.2-3B（Magicoder）において、完全な DualSFT は47.10% の全体スコアを達成し、最強の逐次ハイブリッド（SPICE + NanoAdam、44.71%）を2.39 ポイント上回りました。
  • DualSFT のバリアントは、可塑性（ターゲットタスクのパフォーマンス）と安定性（一般能力の保持）の両方において、それぞれの比較グループを常にリードしました。
• 効率性: DualSFT は微調整コストを削減します。完全な DualSFT は7.4 GPU 時間と28.5 GBのピーク選択メモリで結果を達成し、制約付きのトレードオフにおいて逐次ハイブリッドを上回りました。
• アブレーション研究:
  • ウォームアップステップを除去すると、可塑性が著しく低下しました。
  • CWSD を除去すると、安定性が著しく低下しました。
  • 対角曲率を無視した 1 次スコアリングのみを使用すると、全体パフォーマンスが最大に低下し、2 次近似の有効性が検証されました。
• 診断分析: 論文は、ワンショットスコアリングがほとんどの結合構造を捉えていることを確認しました。固定側再選択（一方の軸を固定した後に他方の軸を再スコアリング）は、計算量の大幅な増加を伴うにもかかわらず、わずかな利益（0.12 ポイント未満）しか生み出しませんでした。

5. 意義と主張

本論文は、DualSFT がパラメータ選択とデータ選択を独立したヒューリスティックとして扱うことから、結合された適応リソースとして見る方向への転換を表すと主張しています。単一の検証改善サロゲートから両方の信号を導出することで、この手法は以下の点を実現します。

• 冗長性の削減: 個別のスコアリングメカニズムと反復的な条件付きパスの必要性を排除します。
• 調整の改善: 結合更新前に選択軸を整合させ、独立した選択が未検証の信号を混合する「調整ギャップ」を回避します。
• トレードオフのバランス: 一致した予算の下で、既存の逐次または単一軸手法よりも有利な安定性 - 可塑性 - 効率性のフロンティアを達成します。

著者は控えめに、この手法は局所サロゲートに依存しており、最適化がウォームアップチェックポイントから遠ざかるにつれてスコアの忠実度が低下する可能性があることに言及しています。彼らは、より長い適応期間に向けた将来の方向性として動的な再スコアリングを提案していますが、研究された予算においてはワンショットアプローチが非常に費用対効果が高いことを強調しています。