技術的概要：平均場注意力ダイナミクスを通じた LoRA における破滅的忘却の理解

1. 問題定義

低ランク適応（LoRA）は、計算性能とコストのトレードオフが優れているため、大規模言語モデル（LLM）のパラメータ効率的な微調整における支配的な手法となっています。しかし、事前学習されたバックボーンを凍結し、低ランクの更新のみを学習するにもかかわらず、LoRA は破滅的忘却に陥りやすく、新しい能力を獲得する際に以前学習した能力が劣化します。

大規模 LLM の複雑さは、忘却のメカニズムを解析する上で数学的に扱いにくいものとしており、したがって、注意力行列への低ランク摂動が順方向パスのダイナミクスをどのように変化させ、表現のドリフトや崩壊を引き起こすかを特徴づける理論的枠組みが必要です。

2. 手法

著者らは、理論的観点から忘却を研究するために、解析可能な平均場自己注意力の玩具モデルを提案します。この手法は以下の主要な構成要素に依存しています。

• 相互作用粒子系視点: 最近の平均場トランスフォーマーに関する文献に倣い、順方向パスを相互作用するトークン（粒子）の雲の進化としてモデル化します。深さは連続時間として扱われ、トークン埋め込みは注意力行列によって駆動される微分方程式に従って進化します。
• 摂動としての LoRA: 事前学習された注意力行列 $(Q, K, V)$ は固定定数として扱われます。LoRA は、これらの行列に追加される低ランク摂動 $\Delta M$（ここで $M \in \{Q, K, V\}$）としてモデル化されます。
• 摂動の 2 つの領域:
  1. 決定論的（結合型）アダプター: すべての層に対して同じ低ランク更新が適用されます。これは忘却にとっての最悪ケースシナリオとして機能します。
  2. ランダムアダプター: 低ランク更新は、各層で独立同一分布（i.i.d.）に従ってガウス分布から抽出されます。これは「平均ケース」の代理として機能し、均質化の議論を可能にします。
• 忘却の代理指標: 忘却は、タスク性能そのものではなく、出現する表現幾何学のドリフトによって定量化されます。具体的には、著者らはトークンクラスターの移動（ワッサーシュタイン距離を使用）または事前学習状態からの極限クラスター構成の発散を測定します。
• 数学的ツール: 解析には、偏微分方程式（連続性方程式）、力学系（平衡点の安定性）、およびスペクトル理論（固有値ギャップ）からのツールが利用されます。

3. 主要な貢献と理論的結果

3.1. 有限時間安定性（命題 3.1）

本論文は、$(Q, K, V)$ の摂動下における平均場ダイナミクスに対するワッサーシュタイン距離での定量的安定性 bound を確立します。

• 結果: 事前学習済み分布と摂動されたトークン分布との距離は、時間（深さ）に対して高々二重指数関数的に増加します。
• 示唆: モデルは短時間スケールでは小さな摂動に対して頑健ですが、この bound は、深さが増加するにつれて偏差が有意になる可能性を示唆しています。

3.2. 長時間安定性とスペクトル制御（命題 3.3）

Post-LayerNorm 設定に焦点を当て、著者らは極限クラスター方向が安定し続けるためのスペクトル条件を特定します。

• メカニズム: 安定性は、Value 行列 $V$ のスペクトルギャップ（$\text{gap} = \lambda_1 - \lambda_2$）に依存します。
• 条件: 摂動が $\text{gap} + a > 2\|b\| + \|E\|_{op}$ を満たす場合（ここで $a, b, E$ は主要固有ベクトルに対する摂動の成分です）、摂動されたダイナミクスは新しい安定クラスター $\tilde{u}_1$ に収束します。
• Bound: 元のクラスターと摂動されたクラスターとの偏差は、$\frac{2\|b\| + \|E\|_{op}}{\text{gap} + a}$ によって bound されます。これは、大きなスペクトルギャップが表現のより厳密な拘束を強制し、不安定な方向（小さなギャップ）に整列した LoRA 更新はより大きな忘却を引き起こすことを示唆しています。

3.3. 表現ドリフトにおける相転移（第 4 節）

本論文は、忘却の開始を支配する 2 つの異なる相転移を特徴づけます。

A. ノルム制御型転移（定理 4.2）

ランダムアダプターについて、著者らは摂動ノルム $\eta_L$ の深さ $L$ に対するスケーリングを解析します。

• 安定領域（$\eta_L \ll \sqrt{L}$）: LoRA 更新の累積的なランダム効果は、大深度極限において消滅します。ダイナミクスは事前学習済みクラスターの近くにとどまります。
• 拡散領域（$\eta_L \simeq \sqrt{L}$）: 累積された摂動は、非自明な拡散効果を持ちます。トークンは共通のランダム方向の周りで同期しますが、クラスターは事前学習状態から逸脱します。この逸脱の大きさは、ノイズの大きさおよびスペクトルギャップによって制御されます。
• 不安定領域（$\eta_L \gg \sqrt{L}$）: 摂動が支配的となり、強力にランダムな移動方向の周りで同期する可能性があります。

B. 深さ制御型転移（定理 4.6）

本論文は、ネットワーク深さに対する分岐を調査します。

• 安定ウィンドウ: 小さな深さでは、摂動されたダイナミクスはベースモデルを追跡します。
• 分岐時間（$T^*$）: 摂動されたトークンが元のクラスター領域から発散する臨界深さ $T^*$ が存在します。本論文は $T^*$ の明示的な bound を提供し、それがスペクトルギャップ、摂動の大きさ、およびクラスター間の「最大性ギャップ」に依存することを示しています。
• 示唆: 小さな摂動さえも深さによって増幅され、ネットワークが特定の深さ閾値を超えると破滅的忘却を引き起こす可能性があります。

4. 実証結果

理論的予測は、合成データおよび実在の LLM（Qwen 3 0.6B、Llama 2、ALBERT）を用いた実験によって裏付けられています。

• ノルムベースの分岐: ランダムガウス行列を用いた実験では、摂動のフロベニウスノルムが増加するにつれて、摂動された損失（ベースデータセット上の次のトークン予測）に相転移が生じることを示しました。これは定理 4.2 と一致します。
• 幾何学的整列: 学習された LoRA 更新の分析により、それらが等方的ではないことが明らかになりました。低ランクアダプターは、事前学習された Value 行列の支配的なスペクトル方向（主要特徴）に整列する傾向があります。この「ロックオン」効果は安定した方向と干渉し、表現ドリフトを駆動します。
• 深さ依存ドリフト: 学習された LoRA モデルにおいて、「実証的分岐深さ」（表現ドリフトが閾値を超える最初の層）は、微調整が進むにつれて減少します。これは、摂動が蓄積するにつれて事前学習表現の安定ウィンドウが縮小するという理論的予測を確認するものです。
• ランクの独立性対依存性: ランダムアダプターを用いた玩具モデルは回転不変性によりランク独立性を予測しますが、学習済みモデルの実験ではランクが役割を果たすことが示されました。これは、最適化が等方的ではなく、不安定な方向へバイアスされているためと考えられます。

5. 意義と主張

本論文は、平均場ダイナミクスを用いた LoRA における破滅的忘却の理論的特徴付けを初めて提供すると主張しています。その意義は以下の点にあります。

1. メカニズムの特定: 忘却の主要な駆動力として摂動のノルムとネットワークの深さを特定し、これらを相転移として枠組み化しています。
2. スペクトル洞察: 表現安定性を維持する上で Value 行列のスペクトルギャップが決定的な役割を果たすことを強調し、LoRA 更新が小さなスペクトルギャップの方向に整列すると忘却が悪化することを示唆しています。
3. 予測力: 「逸脱までの時間」および「分岐深さ」に関する導出された bound は、より深いモデルやより大きな摂動ノルムがより深刻な忘却に苦しむ可能性がある理由を理解するための理論的基盤を提供します。

著者らは、玩具モデルが性能劣化と相関する幾何学的ドリフトを捉えている一方で、実在の LLM における最適化ダイナミクス（更新が等方的ではない）の完全な複雑さは、単純化されたランダムアダプターの仮定を超えたニュアンス（ランク依存性など）をもたらすと控えめに指摘しています。それでもなお、この研究はパラメータ効率的な微調整の安定性を眺めるための厳密な数学的レンズを提供しています。