技術的概要：LLM 適応のための勾配誘導オプティマイザ・ルーティング（MoLF）

1. 問題定義

大規模言語モデル（LLM）のファインチューニングは、**全量ファインチューニング（FFT）と低ランク適応（LoRA）**の間で、構造的なトレードオフに直面しています。

• FFTは、高エントロピーな知識（事実の更新など）の注入に不可欠な高い表現の可塑性を提供しますが、過激な最適化により事前学習された推論能力の破滅的忘却（catastrophic forgetting）を招くリスクがあります。
• LoRAは暗黙的な正則化剤として機能し、事前学習された論理を維持して過学習を防ぎますが、高ランクの更新を必要とするタスク（複雑な事実的関連性の記憶など）において、容量のボトルネックに陥ります。

経験的証拠は、静的なアーキテクチャのどちらが普遍的に最適であるとは限らず、最適な選択はタスクの内在次元と特定のモデルに依存することを示唆しています。トークンをルーティングする適応的ランク LoRA やエキスパート混合（MoE）などの既存の解決策は、検索空間を低ランク部分空間に制限するか、入力ルーティングにより勾配統計を断片化するため、この緊張関係を解決できず、不安定な学習ダイナミクスやランク変更時のコールドスタート問題を引き起こしています。

2. 手法：MoLF および MoLF-Efficient

著者は、前方パスの構造を変更することなく、単一の学習レジーム内で FFT と LoRA を統合するLoRA と Full の混合（MoLF）ファインチューニングを提案します。

コアアーキテクチャ

MoLF は、ベースモデル重み（$W_{base}$）を「FFT エキスパート」と見なし、複数の独立した LoRA アダプタを「LoRA エキスパート」として注入します。従来の MoE とは異なり、すべてのエキスパートがすべての前方パスおよび後方パスに参加します。前方パスは条件付きでない重ね合わせです：
$$y = W_{base}x + \sum_{i=1}^{N} \alpha_i \frac{1}{\sqrt{r_i}} B_i(A_i(\text{Dropout}(x)))$$
ここで、$\alpha_i$ はランク安定化 LoRA（RS-LoRA）のスケーリング因子です。

勾配誘導オプティマイザ・ルーティング

MoLF の革新性は、前方パスではなくパラメータ更新ステップをスパース化することにあります。このフレームワークは、3 段階のルーティング機構を備えたカスタムSparse AdamWオプティマイザを採用します：

1. ユニバーサルモーメント追跡: すべてのエキスパート（FFT および LoRA）は全バッチ勾配を受け取り、Adam の第 1 次モーメント推定値（$m_t$）および第 2 次モーメント推定値（$v_t$）を更新します。これにより、すべてのエキスパートが成熟したバイアス補正済みモーメント状態を維持し、適応的ランク手法で見られる「コールドスタート」失敗モードを回避します。
2. エキスパートスコアリング（期待事前条件付き降下 - EPD）: 生勾配ノルムに基づくルーティングの代わりに、MoLF は各エキスパートに対してEPD スコア（$S_t^{(i)}$）を計算します。このスコアは、そのエキスパートが更新された場合の単位パラメータあたりの期待損失減少量を、パラメータ数（$N_{params}^{(i)}$）で正規化したものです：
   $$S_t^{(i)} = \frac{\eta_t^{(i)}}{N_{params}^{(i)}} \sum_{\theta \in \Theta_i} \frac{(m_t^{(i)})^2}{\sqrt{v_t^{(i)} + \epsilon}}$$
   この指標は、オプティマイザの意図されたステップサイズと局所損失トポロジーの両方を考慮し、巨大な FFT バックボーンと軽量な LoRA アダプタ間の公平な比較を可能にします。
3. Top-K スパース更新: EPD スコアが最も高い上位$K$個のエキスパート（通常$K=1$）のみが、標準的な AdamW ステップを介して物理的な重み更新を受けます。更新されなかったエキスパートは以前の重みを保持しますが、勾配統計の蓄積を継続します。

MoLF-Efficient（MoLF-E）

メモリ制約のある環境向けに、MoLF-Eは FFT エキスパートを完全に除去します。これは、異なるランク（例：$r$と$128$）を持つ LoRA エキスパートのペア間で更新をルーティングします。この変種はベース重みと非線形パラメータを固定し、メモリオーバーヘッドを削減しながら、動的な部分空間探索の恩恵を維持します。

推論

学習後、MoLF はオーバーヘッドなしの推論を可能にします。学習済みのすべての LoRA エキスパートは、数学的にベース重み（$W_{final} = W_{base} + \sum \Delta W_i$）に直接投影され、マルチエキスパートグラフをベース LLM アーキテクチャと同一の標準的な密モデルに縮約します。

3. 主要な貢献

1. ファインチューニングレジームの実証的特徴付け: 著者は、3 つのデータセット（CounterFact, MedMCQA, Text-to-SQL）と 3 つのモデル（Gemma-3-1B, Qwen2.5-1.5B, Qwen2.5-3B）にわたって FFT と LoRA を体系的に評価しました。彼らは 3 つの明確なレジームを特定しました：
   • Fact（容量ボトルネック）: FFT が支配的；LoRA は高エントロピーで重尾を持つ特異値スペクトルを捉えられず失敗します。
   • Med（スペクトル正則化）: 高ランク LoRA が FFT を上回る；低ランク制約は推論の破滅的忘却を防ぐ正則化剤として機能します。
   • SQL（低内在次元）: 両者は同様に機能；LoRA は集中した特異スペクトルを効率的に捉えます。
2. MoLF フレームワーク: 学習ダイナミクスを安定させるためにすべてのエキスパートを勾配蓄積でアクティブに保ちながら、オプティマイザレベルで FFT と LoRA の間を動的に移動する統合手法。
3. MoLF-E: FFT パスなしで異なるランクの並列 LoRA エキスパートを維持することで、既存の適応的ランク手法（AdaLoRA, AdaMix）を上回るメモリ効率型の変種。

4. 実験結果

• MoLF vs 静的ベースライン: 9 つの設定（3 モデル×3 タスク）において、MoLF は一貫して最良の静的ベースライン（FFT または最適ランク LoRA）と同等かそれ以上の性能を示しました。すべてのケースで最良のベースラインから**1.5%以内におさまっており、3 つの構成で明確に最良のスコアを達成しました。特に、Fact タスクでは FFT レベルの容量を回復しつつ、Med タスクでは FFT を最大3.25%**上回る性能を達成しました。
• MoLF-E vs 適応型 PEFT: MoLF-E は、9 つの設定のうち8 つで AdaLoRA および AdaMix を上回りました。改善は Fact タスクで最も顕著で、容量がボトルネックとなる場合に更新をより高ランクの部分空間に効果的に割り当てることで、MoLF-E は最低性能のベースライン（AdaMix）よりも最大**20%**高い精度を達成しました。
• アブレーション研究:
  • スパース更新: すべてのエキスパートを同時に更新する（密更新）ことは、競合する表現能力間の最適化振動により Med タスクで深刻な性能劣化を引き起こします。
  • ルーティングヒューリスティック: EPD スコアは Med タスクで事前条件付きフロベニウスノルム（PFN）を上回り、学習率とステップサイズを組み込むことが、異なるスケールのエキスパートをバランスさせるために重要であることを示しています。
  • ルーターの安定性: ルーターは約 500 ステップ以内に安定した構造的割り当てに収束し、特定のモジュールが FFT または LoRA パスウェイのいずれかに決定的にコミットし、振動することなく動作します。

5. 意義と主張

本論文は、単一の静的アーキテクチャに依存することは LLM 適応において構造的に限界があると主張しています。MoLF は、前方パスを更新メカニズムから切り離すことで、表現の可塑性と暗黙的正則化の間の緊張関係を解決します。

著者は、MoLF が学習レジーム間の「連続的なナビゲーション」を提供し、手動のハイパーパラメータ調整や網羅的なランク探索なしに、知識注入のための FFT の高容量と推論維持のための LoRA の正則化をモデルに活用させると主張しています。さらに、学習後にモデルを縮約できる能力は、これらの性能向上が推論レイテンシのペナルティを招かないことを保証し、実用的な展開を可能にします。この研究は、エキスパートレベルの更新のみをスパース化しつつ、表現力のある学習可能なアーキテクチャを維持することが、多様なエキスパートタイプの恩恵を捉えるための効果的な戦略であることを示唆しています。