技術要約：LoRAのランクを横断する学習率のスケーリングとフルファインチューニングへの転移

問題提起

低ランク適応（LoRA）は、凍結された事前学習済み重みに低ランク分解 $\alpha BA$ を加える、パラメータ効率の高い大規模モデルのファインチューニング（PEFT）における標準的な手法である。しかし、LoRAの訓練ダイナミクスはハイパーパラメータの相互作用、具体的には初期化スキーム（どちらの因子をランダム化し、どちらをゼロにするか）、ランク依存のスケーリング係数 $\alpha$、および学習率 $\eta$ に対して非常に敏感である。

実務家は重大な課題に直面している。すなわち、最適な学習率はLoRAのランク $r$ に対して不変ではないということである。ランクを変更したり、標準的な設計選択（例：$Init[A]$対$Init[B]$、または$\alpha=1$対$\alpha=r^{-1}$）を切り替えたりすると、以前に最適であった学習率が最適ではなくなることが多く、コストのかかる再チューニングを必要とする。さらに、LoRAの設定からフルファインチューニング（FFT）へ学習率をどのように転移させるかは不明確であり、FFTは計算コストが高いプロセスである。核心となる問いは、**「最適な学習率 $\eta$ は、異なるLoRA構成の下で、アダプターのランク $r$ とモデルの幅 $n$ にどのように依存するのか？」**である。

メソドロジー

著者らは、事前学習で使用されるMaximal-Update Parametrization ($\mu P$) に着想を得た理論的枠組みである Maximal-Update Adaptation ($\mu A$) を導入する。分析は、モデルの幅 $n$ とLoRAのランク $r$ の両方が無限大に近づく（$n, r \to \infty$）同時極限において行われる。

理論的枠組み

1. 安定性と非消失更新: フレームワークは、「安定した特徴学習」を、特徴量の更新が爆発を防ぐために有界（$O(1)$）でありながら、学習が停滞しないように非消失（$\Theta(1)$）である領域として定義する。
2. 更新の分解: 特徴量更新 $\Delta Z_B$ を、一方の因子を固定した状態での他方の線形更新を表す項、および両方のマルチプライティブな更新を表す項（$\delta_1, \delta_2, \delta_3$）の3つの項に分解する。理論は、異なる初期化スキームの下でのこれらの項の漸近的なスケーリングを分析する。
3. 仮定: 分析は、有界な順伝播・逆伝播信号を仮定し、閉じた形式のスケーリング規則を導出するために、Adamの扱いやすいプロキシであるSignSGDオプティマイザの抽象化を利用する。
4. 初期化スキーム:
   • Init[A]: $A$ はランダムに初期化され（$A \sim \mathcal{N}(0, 1/n)$）、$B=0$ とする。
   • Init[B]: $B$ はランダムに初期化され（$B \sim \mathcal{N}(0, 1/r)$）、$A=0$ とする。
5. スケーリング係数: 係数 $\alpha$ の一般的な選択肢（定数 $\alpha=1$ および ランク依存の $\alpha=r^{-1}$）を検討する。

スケーリング規則の導出

$\Delta Z_B = \Theta(1)$ という条件を課すことで、著者らは $n$ と $r$ の関数としての $\eta$ に関する明示的なスケーリング処方箋を導出する：

• Init[A] の場合: 最適な学習率は $n$ と $r$ の両方に依存する。具体的には、$\alpha=1$ の場合、$\eta \propto n^{-1/2}r^{-1/2}$ である。$\alpha=r^{-1}$ の場合、$\eta \propto n^{-1/2}$ となり、ランク不変となる。
• Init[B] の場合: $\alpha=1$ のとき、最適な学習率は $\eta \propto n^{-1}$ とスケールし、ランク $r$ に依存しない。決定的なことに、このスケーリングは、同じ仮定の下での線形層のフルファインチューニングの理論的要件と一致する。

主な貢献

1. $\mu A$ フレームワーク: $n, r \to \infty$ の同時極限におけるLoRAファインチューニングのダイナミクスを特徴付ける理論的枠組みの導入。これは最大（安定）適応の条件を定義する。
2. 2つのレジームの特定:
   • ランク依存レジーム: 定数 $\alpha$ を用いた $Init[A]$の下では、最適な学習率はランクに反比例してスケールする（例：$\eta \propto r^{-1/2}$）。
   • ランク不変レジーム: $\alpha=1$ を用いた $Init[B]$ の下では、最適な学習率はランクの変化に対して不変である。
3. LoRAからFFTへの転移: 最適な学習率のスケーリング（$\eta \propto n^{-1}$）がフルファインチューニングと一致する特定の構成（$Init[B]$かつ$\alpha=1$）の特定。これは、再チューニングなしにLoRAからFFTへ学習率を転移させるための必要条件を提供する。
4. 実証的検証: 多様なタスク（言語、視覚、視覚と言語、画像生成、強化学習）およびアーキテクチャ（Llama, Qwen, RoBERTa, ViT, Stable Diffusion）にわたる広範な実験により、導出されたスケーリング規則を検証する。

結果

実験結果は一貫して理論的予測と一致している：

• $\alpha=1$ を伴う Init[A]: ランク $r$ が増加するにつれて、最適な学習率は減少する。ランクが4倍になると、最適な学習率は約2倍減少する（$\eta \propto r^{-1/2}$ と一致）。
• $\alpha=r^{-1}$ を伴う Init[A]: 最適な学習率はほぼランク不変であるが、安定範囲は狭い。
• $\alpha=1$ を伴う Init[B]: 最適な学習率はランク不変であり、ほとんどのモデルにおいてフルファインチューニングの最適学習率と密接に一致する。
• 転移可能性: $Init[B], \alpha=1$ の構成を用いたLoRAでチューニングされた学習率は、フルファインチューニングへ信頼性高く転移し、FFTのハイパーパラメータ探索コストを劇的に削減する。
• RLVRにおける感度: 検証可能な報酬を伴う強化学習（RLVR）において、不適切な学習率は性能を低下させるだけでなく、モデルが探索フェーズで停滞するため、訓練時間を大幅に増加させる（2〜4倍）。$\mu A$ の規則は、これを回避するための安定領域を特定するのに役立つ。

意義と主張

本論文は、ヒューリスティックなルールを超えて、LoRAにおける学習率選択のための原理的なアプローチを提供することを主張している。幅とランクの同時極限を特徴付けることで、著者らはなぜ特定の構成がランク依存の学習率を必要とし、他の構成はそうでないのかを説明している。

主要な意義は、ハイパーパラメータの転移性にある。著者らは、正しい初期化（$Init[B]$）とスケーリング（$\alpha=1$）を選択することで、実務家が以下のことを実行できることを示している：

1. LoRAのランクを変更する際に、学習率の再チューニングを避ける。
2. 低ランクのLoRA実験からフルファインチューニング設定へ、最適な学習率を直接転移させ、計算リソースを大幅に節約する。

著者らは、本理論は漸近的なものであり、有限の $(n, r)$ 設定におけるノイズに敏感である可能性があること、また導出された一致条件は必要条件ではあるが、すべての転移シナリオに対して十分であることを証明したわけではない、という限界についても謙虚に述べている。しかし、多様な領域における実証的な証拠は、理論と実践の強い一致を示唆している。