技術的概要：フィッシャー部分空間における学習（FILet）

問題定義

パラメータ効率型ファインチューニング（PEFT）、特に低ランク適応（LoRA）は、重みの更新を低ランク部分空間に制限することでトレーニングコストを削減します。しかし、LoRA の有効性は、これらの部分空間の初期化に決定的に依存します。既存の初期化戦略（PiSSA、MiLoRA、KaSA など）は、主に事前学習済み重みの内在的な幾何学的性質に依存しており、通常、特異値に基づいて方向を選択するために特異値分解（SVD）を利用します。

本論文は、これらの「重みのみ」の基準が下流のデータ分布に無頓着であるため不十分であると主張します。事前学習済み重みにおいて構造的に重要な方向が、特定の下流タスクでは無関係または受動的である可能性があります。逆に、低特異値を持つ方向は、対象データに対して非常に敏感であるかもしれません。限られた適応能力をタスクと無関係な方向に割り当てることは、下流のパフォーマンスを阻害します。核心的な問題は、単に事前学習済み重みのスペクトル構造に従うのではなく、対象データ分布の下で損失の期待増加を最小化する適応方向を特定することです。

手法：FILet

著者は、フィッシャーエネルギーを活用して初期化を導くデータ認識型フレームワークであるFILet（LoRA ファインチューニングのためのフィッシャー導出初期化）を提案します。

1. 理論的定式化

著者は、パラメータ更新方向 $Z$ の有用性を、下流の損失変化 $\Delta L$ によって定義します。2 次テイラー展開を用いると、対称摂動に対して、損失変化は損失のヘッセ行列を含む 2 次項によって支配されることが示されます：
$$\Delta L_{sym}(Z) \approx \frac{\gamma^2}{2} \langle Z, \nabla^2_{W_0} L \rangle$$
完全なヘッセ行列の計算を回避するため、勾配の外積の期待値として定義されるフィッシャー情報行列（$S_W$）を用いて近似します：
$$S_W = E[\text{vec}(\nabla_W L) \text{vec}(\nabla_W L)^\top]$$
方向 $Z = uv^\top$ のフィッシャーエネルギーは以下のように定義されます：
$$E(Z) = \text{vec}(Z)^\top S_W \text{vec}(Z)$$
この指標は、対象データ分布の下で方向 $Z$ における摂動に対するモデル予測の局所感度を定量化します。著者は、低いフィッシャーエネルギーを持つ方向が、最小限の損失増加を引き起こすパラメータ更新に対応し、LoRA 初期化の理想的な候補であると仮説を立てています。

2. 効率的な計算（K-FAC 近似）

大規模言語モデル（LLM）の場合、その巨大なサイズ（$O((mn)^2)$）により、完全なフィッシャー行列の計算は不可能です。FILet は、フィッシャー情報を因数分解するために**Kronecker 因数分解近似曲率（K-FAC）**法を採用します：
$$S_W \approx S_X \otimes S_Y$$
ここで：

• $S_X = E[XX^\top]$ は入力活性化の経験共分散です。
• $S_Y = E[(\nabla_Y L)(\nabla_Y L)^\top]$ は出力勾配の経験共分散です。

これらの因子は、少量のミニバッチ下流データを用いて効率的に推定されます。

3. 初期化手順

完全な SVD を実行せずにこれを運用するために、FILet は事前学習済み重み $W_0$ から代理特異基底を構築します：

1. $W_0$ のグラム行列を計算し、列を正規化して代理右基底 $\hat{V}$ を形成します。
2. $\hat{V}$ を $W_0$ 経由でマッピングし、正規化して代理左基底 $\hat{U}$ を形成します。
3. 推定されたフィッシャー因子（$S_X, S_Y$）をこれらの基底に射影し、各候補方向のフィッシャーエネルギーを計算します。
4. 最小のフィッシャーエネルギーを持つ上位 $r$ 個の方向を選択します。
5. 選択された方向を用いて LoRA 行列 $A$ と $B$ を初期化し、対応するフィッシャーエネルギーの平方根でスケーリングします。

このプロセスにより、LoRA アダプターは対象データに対して最も感度の低い部分空間で初期化され、凍結された残差重みにはタスク関連情報が保持されつつ、損失地形の「平坦な」領域での効率的な適応が可能になります。

主要な貢献

1. データ認識型初期化基準：本論文は、重み中心（SVD ベース）からデータ中心の初期化へとパラダイムを転換し、下流分布に対するパラメータの感度こそが、適応部分空間を選択するためのより原理的な基準であると主張します。
2. フィッシャー導出フレームワーク（FILet）：K-FAC と代理基底を用いてフィッシャーエネルギーを推定する計算効率的な手法であり、大規模重みに対する完全なフィッシャー行列の計算や完全な SVD の莫大なコストを回避します。
3. 実証的検証：最小フィッシャーエネルギーを持つ方向を選択し、フィッシャーベースのスケーリングを組み合わせることで、既存の SVD ベースおよびデータ駆動型のベースラインを一貫して上回ることを示す包括的な実験。

実験結果

著者は、多様なタスクとモダリティにわたって FILet を評価しました：

• 自然言語推論：BoolQ、PIQA、ARC-Challenge などのベンチマークにおいて、Llama2-7B および Llama3-8B を使用しました。FILet は、PiSSA、MiLoRA、KaSA、LoRA-Dash などのベースラインよりも高い平均精度を達成しました。例えば、Llama3-8B において、FILet は平均スコア86.7を達成し、次点の NEAT（84.5）や SVD ベースの手法（KaSA で 85.7）を上回りました。
• 画像分類：ViT-B/32 を Cars、DTD、SVHN などの 7 つのデータセットで使用しました。FILet は最高平均精度（69.3%）を達成し、特に SVHN と Cars で顕著な改善を示しました。
• 自然言語生成：GSM8k（数学）、MBPP（コード）、E2E、MT-bench において、FILet は大幅な改善を示しました。特に GSM8k（Gemma-7B で 63.5）と MBPP（Gemma-7B で 30.8）において、正確な一般化を必要とするタスクでの有効性が示されました。
• 効率性：FILet はフィッシャー因子の計算に追加時間を要しますが、KaSA などの手法が抱える FP32 変換や完全な SVD のオーバーヘッドを回避します。初期化時間は、SVD ベースのアプローチと比較してモデルサイズに対して有利にスケーリングします。
• アブレーション研究：
  • ミニバッチサイズ：パフォーマンスはミニバッチサイズが大きくなるにつれて向上しますが、頭打ちになります。これは、中程度のサイズ（例：320）が精度と効率性の良いバランスを提供することを示唆しています。
  • スケーリング戦略：論文は、方向選択が正しくても、スケーリングに SVD 特異値を使用するのではなく、フィッシャーベースのスケーリング（最小エネルギー）を使用する方が優れていることを確認しました。

意義と主張

本論文は、FILet が LoRA 初期化のための原理的かつタスク依存性の高い基準を提供し、適応を目的タスクにより整合させることを主張します。下流データによって誘発される曲率情報を活用することで、FILet は対象分布の下で受動的な方向に容量を割り当てることを回避します。

著者は、このアプローチが以下の点で優れていることを強調します：

• 推論、生成、分類タスクにわたって下流のパフォーマンスを一貫して向上させる。
• 完全な SVD 手法と比較して最小限の初期化オーバーヘッドで計算効率を維持する。
• 限られた計算予算下で高品質なファインチューニングを可能にし、限られた学習可能パラメータを最も効果的な部分空間に配置することで、PEFT の実用的有用性を高める。

この研究は、データ認識型初期化、特にフィッシャーエネルギー最小化によるものが、パラメータ効率型ファインチューニングの有効性を最大化する上で決定的な要因であり、静的な重み幾何学の限界を超えていると結論付けています。