技術要約：勾配と自然勾配の間：LoRA初期化の連続体

問題提起

低ランク適応（LoRA）は、重みの更新を低ランク形式（$\Delta W = \frac{1}{\sqrt{r}}BA$）に制限することで、大規模な学習済みモデルに対する効率的な代替手段を提供します。しかし、LoRAの性能はアダプタ行列 $A$ と $B$ の初期化に対して非常に敏感です。標準的なLoRAは $B=0$ および $A$ のランダム初期化を行い、これはタスク固有の情報を含んでいません。

近年の進展では、ダウンストリームの損失勾配を用いてアダプタを初期化する手法が試みられています。これらの手法は、勾配の扱いにおいて以下のように分かれています：

• 勾配のみの手法（例：LoRA-GA、LoRA-One）：二次の曲率情報（curvature information）を無視し、生の勾配をその上位方向へと投影します。
• 曲率ホワイトニングを用いた手法（例：CG-LoRA）：Kronecker因子分解による曲率（K-FAC）推定を用い、投影前に固定の逆平方根ホワイトニング（$\alpha = -1/2$）を適用します。

著者らは、決定的なギャップを特定しています。既存の手法は、「曲率を完全に無視する」か、「理論的に裏付けられた固定のホワイトニング強度を適用する」かという、硬直的で二値的な選択を行っています。このアプローチは、最適な曲率プリコンディショニングのレベルが、中間的であり、タスクに依存し、かつ曲率推定に内在するノイズ（特に小さなバッチサイズや非線形モデルの場合）に対して敏感である可能性を見落としています。

手法：Unified LoRA (ULoRA)

本論文では、既存の勾配ベースのLoRA初期化手法を、単一の連続的な二パラメータ・ファミリーへと統合するフレームワークである Unified LoRA (ULoRA) を提案します。

二パラメータ・ファミリー

ULoRAは、低ランク部分空間を抽出する前に、損失勾配 $\nabla_W L$ に適用されるプリコンディショニング演算子 $P_{\alpha, \beta}$ を定義します。この演算子は以下のパラメータによって制御されます：

1. スペクトル・ホワイトニング指数 ($\alpha$): K-FAC固有値の再スケーリングの強さを制御します。
   • $\alpha = 0$: スペクトル・ホワイトニングなし（LoRA-GA/LoRA-Oneを再現）。
   • $\alpha = 1$: 逆平方根ホワイトニング（CG-LoRAを再現）。
   • $\alpha = 2$: 完全な逆曲率スケーリング（自然勾配）。
2. 対角プリコンディショニング指数 ($\beta$): Adamにおける二次のモーメント・スケーリングと同様に、レイヤー入力の経験的分散および出力勾配による正規化を適用します。
   • $\beta = 0$: 対角補正なし。
   • $\beta > 0$: Adamのような対角スケーリング。

プリコンディショニングされた勾配は次のように計算されます：
$$P_{\alpha, \beta} = T^{-\alpha/2} \left[ d_T^{-\beta/2} \odot \nabla_W L \odot d_S^{-\beta/2} \right] S^{-\alpha/2}$$
ここで、$S$ と $T$ はヘシアン近似のKronecker因子であり、$d_S, d_T$ はそれらの対角成分です。

実装の詳細

• 効率的な計算: フル行列演算のコストを避けるため、ULoRAは $S$ と $T$ のランク-$s$（ここで $s = r + \text{oversample}$）のレイリー・リッツ（Rayleigh–Ritz）近似を計算します。勾配はこの低次元の部分空間に投影され、指数 $\alpha$ および $\beta$ を用いてプリコンディショニングされた後、元のパラメータ空間へと逆投影されます。
• クロスエントロピー補正: 分類タスクにおいては、ソフトマックス出力によって誘発される曲率を考慮するためにFisher補正を組み込み、出力空間における距離が正しく測定されるようにします。
• バランスの取れた初期化: 得られた特異ベクトルは、QR分解およびSVDを通じて分解され、特異値が $A_0$ と $B_0$ の間に均等に分配されるようにし、一方のアダプタが支配的になるのを防ぎます。

ULoRA-Auto (探索フリー・バリアント)

ハイパーパラメータのグリッドサーチの必要性を排除するため、著者らは ULoRA-Auto を提案します。このバリアントは、初期化中に計算されるスペクトル統計量に基づいて、レイヤーごとの指数 $(\alpha^*, \beta^*)$ を自動的に選択します。

• $\alpha^*$: K-FAC固有値の実効ランク ($r_{eff}$) と条件数 ($\kappa$) によって決定されます。条件が良く高ランクなスペクトルには強いホワイトニングを適用し、条件が悪く（ノイズが多く）不安定なスペクトルには、推定ノイズを増幅することを避けるために保守的なホワイトニングを適用します。
• $\beta^*$: 投影された共分散の非対角エネルギー比によって決定されます。対角プリコンディショニングは、共分散が経験的に対角に近い場合にのみ適用されます。

主な貢献

1. 統合: 本論文は、勾配ベースのLoRA初期化手法が単一の二パラメータ連続体の特殊なケースであることを確立し、原理に基づいた設計空間を提供します。
2. 最適なプリコンディショニングの特性付け: 系統的なグリッドサーチを通じて、最適なプリコンディショニング強度はゼロ（純粋な勾配）でもフル（純粋な自然勾配）でもないことを示しました。代わりに、最適な動作点は頻繁に、この連続体の内部に位置しており、タスクやモデルに強く依存します。
3. 展開可能な探索フリー手法: ULoRA-Autoは、グリッドサーチを必要とせずに、スペクトル統計量を利用することで、OracleチューニングされたULoRAの性能の大部分を回収します。

実験結果

著者らは、NLU（RoBERTa-base, T5-base on GLUE）およびNLG（LLaMA 2-7B on GSM8K, HumanEval, MMLU）のタスクにおいて、LoRA-GA, LoRA-One, CG-LoRA, PiSSA, およびフル・ファインチューニングを含むベースラインと比較して、ULoRAを評価しました。

• GLUEにおけるRoBERTa: チューニングされたULoRA構成（オラクル上限）は、5つのGLUEタスクすべてにおいてフル・ファインチューニングと同等またはそれを上回りました。最適な $(\alpha, \beta)$ ペアは一貫して中間的（例：$\alpha \in \{1.0, 1.5\}$）であり、既存の手法の端点と一致することは稀でした。
• GLUEにおけるT5: バニラLoRAがすでにフル・ファインチューニングに近い性能を示す飽和状態において、最適な構成は弱いプリコンディショニング（$\alpha=0, \beta=0$）へと収束しました。これは、曲率推定がノイズが多い場合やヘッドルームが限られている場合、積極的なホワイトニングは恩恵をもたらさないことを示唆しています。
• LLaMA 2-7B: 最適な構成はタスク間で大きく変動しました（例：GSM8Kでは $(0.0, 0.0)$、HumanEvalでは $(2.0, 0.5)$）。注目すべきは、$(0.0, 0.0)$ におけるULoRAが依然としてLoRA-GAやLoRA-Oneを上回っていたことです。これは、ULoRAのパイプライン（レイリー・リッツ投影、Fisher補正、バランスの取れた実現）が、指数の値とは独立して利益をもたらすことを示しています。
• ULoRA-Autoの性能: 展開可能な手法の中で、ULoRA-Autoはすべてのベンチマークにおいてトップクラス、あるいはそれに近い順位を記録しました。MMLUにおいては、グリッドサーチされたグローバル最適解さえも上回っており、レイヤーごとの適応の価値を証明しました。

意義と主張

本論文は、LoRA初期化における曲率プリコンディショニングの選択は、固定された設計決定ではなく、調整可能な次元として扱うべきであると主張しています。著者らは以下の通り述べています：

• 固定された選択（ホワイトニングなし、またはフルホワイトニングのいずれか）は、ほとんどの設定において性能を十分に引き出せていません。
• 「最良の」動作点は普遍的なものではなく、曲率推定の信頼性と特定のタスクに依存します。
• 体系的な設計空間を用いることで、既存の端点よりも堅牢な中間的な戦略が可能になります。
• 最適なプリコンディショニング強度は、初期化時のスペクトル統計量から予測可能であり（ULoRA-Auto経由）、高精度を維持しながら高価なハイパーパラメータ探索の必要性を排除できます。

著者らは、彼らの特定のファミリーは、この設計空間の「最初のインスタンス（実例）」であることを強調し、プリコンディショニングの決定を明示的かつ連続的なものにすることが重要な洞察であると結論付けています。