技術的サマリー：AdaPreLoRA

1. 問題定義

低ランク適応（LoRA）は、低ランク因子 $B \in \mathbb{R}^{m \times r}$ および $A \in \mathbb{R}^{r \times n}$ を用いて重み更新 $W = BA$ を再パラメータ化する標準的なパラメータ効率型微調整（PEFT）手法であり、学習可能なパラメータを $O(mn)$から$O((m+n)r)$に削減する。しかし、因子空間$[B, A]$において直接最適化を行うことは、ゲージ冗長性（すなわち、任意の可逆行列$C$に対して$(B, A) \to (BC, C^{-1}A)$となる）に起因するヤコビアン$J_G$ のランク欠損という根本的な幾何学的障害をもたらす。

その結果、重み空間 $W$ における勾配統計に基づく前処理行列 $F_t$ から連鎖則を導出した因子空間における自然な前処理行列 $J_G^* F_t J_G$ は特異行列となる。この特異性は、前処理された重み空間の方向を因子空間の更新に一意に写像するために必要な逆演算を不可能にする。既存の LoRA オプティマイザは、これを以下のいずれかの方法で対処している：

1. 勾配統計の無視： 単純な対角近似や単位行列を使用する（例：Vanilla LoRA、LoRA+）。これにより $F_t$ に含まれる曲率情報が破棄される。
2. メモリコストの増大： 完全な重み空間のモーメントを保持するか、$O(mn)$ のメモリを必要とする擬似逆行列を使用する（例：LoRA-Pro AdamW）。これは大規模言語モデル（LLM）には禁じ手である。
3. リーマン幾何学的アプローチ： 多様体上でステップを踏み、再帰（retraction）を行う。しかし、特定の前処理された方向に対して閉形式の解が存在しないことが多い。

依然として、非自明かつ勾配統計を考慮した前処理行列 $F_t$ を活用しつつ、標準的な LoRA の $O((m+n)r)$ メモリ予算を維持するオプティマイザのギャップが存在する。

2. 手法：AdaPreLoRA

著者は AdaPreLoRA（Adafactor 前処理付き低ランク適応）を提案する。これは、(i) 重み空間の前処理行列 $F_t$ と、(ii) 特異な線形系のアフィン解集合から特定の要素を選択する規則という 2 つの選択によって定義される統一的な枠組み内で動作する。

A. 統一的な枠組み

最適化問題は、以下の整合性のある線形系を解くこととして定式化される：
$$J_G^* F_t J_G [\Delta B_t, \Delta A_t] = J_G^*(G_t)$$
ここで、$G_t$ は重み空間における勾配である。$J_G^* F_t J_G$ は特異であるため、解集合は次元 $r^2$ のアフィン部分空間となる。課題は、前処理行列の計量に準拠する一意な更新 $[\Delta B_t, \Delta A_t]$ を選択することである。

B. 前処理行列の選択 ($F_t$)

AdaPreLoRA は、$F_t$ に対して Adafactor の対角クラネッカー前処理行列を採用する：
$$F_t = L_t \otimes R_t$$
ここで、$L_t$ と $R_t$ は、二乗勾配（$G_t \odot G_t$）の行および列の統計情報を格納する対角行列である。この選択は、勾配統計を捉えつつ $O(m+n)$ のメモリのみを必要とする点に動機付けられており、最もコストの低い非自明な前処理行列である。演算子の平方根は $H_t = F_t^{1/2}$ と定義され、$H_t Y = L_t^{1/2} Y R_t^{1/2}$ として作用する。

C. 選択規則（$H_t$-バランス基準）

解集合における $r^2$ 次元の曖昧さを解決するため、著者は特定の選択規則を提案する。アフィン集合内のすべての解が同じ重み更新（$H_t^{-1}G_t$ の接空間 $T_t$ への $H_t$-直交射影）を誘導するが、それらは異なる因子軌跡をたどる。

AdaPreLoRA は、重み更新に対する 2 つの因子の寄与間の $H_t$-不均衡 を最小化する一意の要素を選択する：
$$\min_{X_t} \|\Delta B_t A_t - B_t \Delta A_t\|_{H_t}^2$$
この基準は、低ランク行列復元における正則化技術に類似して、前処理行列の計量の下での $B$ と $A$ からの更新の大きさをバランスさせる。

D. 閉形式解

Adafactor 前処理行列と $H_t$-バランス基準を組み合わせることで、著者は 閉形式の因子更新（定理 3.2）を導出する。この更新は低ランク因子勾配と Adafactor 統計情報のみに依存し、オプティマイザの状態が $O((m+n)r)$ に留まることを保証する。得られる重み更新は、$H_t$-加重ノルムの下で、接空間 $T_t$ における Adafactor 前処理された方向 $H_t^{-1}G_t$ に最も近い点である。

3. 主な貢献

1. 統一的な枠組み： 本論文は、既存の LoRA オプティマイザを、$F_t$ の選択とアフィン解集合に対する選択規則によってパラメータ化された、整合性のある線形系 $J_G^* F_t J_G [\Delta B, \Delta A] = J_G^*(G_t)$ のインスタンスとして再構成する。
2. AdaPreLoRA アルゴリズム： Adafactor 対角クラネッカー前処理行列と、閉形式かつ $H_t$-バランスされた因子更新を組み合わせる新しいオプティマイザである。これは、$O((m+n)r)$ のメモリを維持しつつ、前処理された重み空間の方向に対する最良の LoRA 近似であるという理論的保証を達成する。
3. 実証的検証： さまざまなスケールとタスクにおいて、AdaPreLoRA がフル重み前処理のメモリオーバーヘッドを伴わずに、最先端の LoRA オプティマイザと競合するかそれ以上であることを示す広範な実験。

4. 実験結果

著者は、モデルスケール、タスクファミリー、リソースコストの 3 つの軸において、AdaPreLoRA を異なる設計ファミリーの代表（Vanilla LoRA、LoRA+、LoRA-Pro、SOAP、リーマン幾何学的手法）と比較評価した。

• E2E における GPT-2（Small/Medium）： AdaPreLoRA は、SGD および AdamW の両バリアントにおいて、すべての指標（BLEU、NIST、METEOR、ROUGE-L、CIDEr）で最良または同率最良のスコアを達成した。特に勾配統計が最も重要な SGD ベースの設定において、Vanilla LoRA や LoRA-Pro を上回った。
• 7B スケールの LLM（Mistral-7B、Qwen2-7B）： GLUE（RTE、CoLA、MRPC）、ARC、および GSM8K において、AdaPreLoRA は 7 つの設定のうち 6 つで最高精度を達成した。注目すべきは、フル重みモーメントの保存により LoRA-Pro AdamW が約 50.4 GB を必要とするのに対し、AdaPreLoRA は Vanilla AdamW と同等のピークメモリフットプリント（約 26 GB）を維持している点である。
• 拡散モデルのパーソナライゼーション（Mix-of-Show）： Stable Diffusion の微調整において、AdaPreLoRA はすべてのスケーリング因子で最低の FID（分布類似性）を達成し、スケーリング 1.0 において最良の CLIP スコアを達成した。これにより、画像生成への本手法の転移可能性が確認された。

5. 意義と主張

本論文は、AdaPreLoRA が PEFT における重要な設計ギャップを埋めていると主張する：非自明かつ勾配統計を考慮した前処理行列と、LoRA の厳密なメモリ予算を組み合わせること。

• 理論的意義： 因子更新の非一意性を、重み空間の前処理行列と幾何学的に整合する形で解決し、更新が $H_t$-加重ノルムの下で最適近似であることを保証する。
• 実用的意義： 高性能な微調整に、フル行列前処理（LoRA-Pro AdamW や Shampoo など）の $O(mn)$ メモリオーバーヘッドは不要であることを実証する。Adafactor 構造を活用することで、AdaPreLoRA は競争力のある、あるいはそれ以上の性能を維持しつつ、7B パラメータモデルや拡散モデルへ効率的にスケーリングする。
• 謙虚さ： 著者は、現在の枠組みが Adafactor を使用しているものの、2 軸の設計空間（$F_t$ の選択と選択規則）は他の前処理行列に対して開かれていると指摘する。また、量子化されたバックボーン（QLoRA）や Diffusion Transformers のような複雑なアーキテクチャへの拡張には、さらなる適応が必要であることも認めている。