Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging

技術要約：LoRA干渉の解明：堅牢なモデルマージのための直交部分空間

問題提起
特定のタスクに対して大規模言語モデル（LM）をファインチューニングすることは高い性能をもたらすが、各タスクごとに個別のモデルを保持することは、ストレージやデプロイの観点からコストが高い。モデルマージは、追加の学習を行うことなく、複数のタスク特化型モデルを単一のマルチタスクモデルへと結合する解決策を提供する。しかし、既存のモデルマージ手法は、Low-Rank Adaptation（LoRA）を用いてファインチューニングされたモデルに適用した場合、大幅な性能低下を招くことが多い。

著者らは、この性能低下が、モデルのパラメータとデータ分布の相互作用によって引き起こされるパラメータ干渉に起因すると主張している。具体的には、LoRAモジュール（例：$W_m = W_0 + B_1A_1 + B_2A_2$）をマージする場合、あるタスクからの更新項（$B_2A_2$）が、別のタスクの潜在特徴量（$h_1$）に対する意図しない「摂動」として作用し、出力を意図した応答から逸脱させてしまう。タスクベクトルの直交性や整合性にのみ焦点を当てた既存のデータフリーなアプローチは、この潜在特徴量とパラメータ更新の間の極めて重要な相互作用を見落としている。

手法：OSRM
本論文では、Orthogonal Subspaces for Robust model Merging (OSRM) を提案する。これは、タスク外のデータ分布との干渉を最小限に抑えるために、ファインチューニングの前にLoRAの部分空間を制約する手法である。

1. 核心的な目的: 本手法は、タスク外のデータ分布（$T_1$）のサンプルにおける潜在特徴量行列を$H_1$としたとき、フロベニウスノルム $\|A_2 H_1^\top\|_F$ を最小化することで、干渉項 $\|B_2A_2 h_1\|$ を低減することを目指す。
2. 解析解: 自明な解（例：$A_2=0$）を避け、表現力を維持するために、著者らは $A_2$ が直交行（$A_2 A_2^\top = I$）を持つという制約を課している。この制約の下で、$A_2$ の最適な初期化は、サンプル共分散行列 $S = \frac{1}{k-1}H^\top H$ の固有分解を用いて導出される。具体的には、$A_2$ は $S$ の最小の固有値に対応する固有ベクトルを用いて初期化される。これにより、LoRAの部分空間が、タスク外のデータの分散が最小となる方向に配置される。
3. 実用的な拡張:
   • ファインチューニング中の緩和: 理論的な解は $A_2$ を固定することを示唆しているが、著者らはそれがシングルタスクの精度を低下させることを発見した。そのため、解析解を $A_2$ の初期化としてのみ使用し、ファインチューニング中に更新を許可している。実証結果によれば、初期の直交状態からの偏差はわずか（約14%）であり、本手法の妥当性が維持されている。
   • スケーラビリティとプライバシー: $N$ 個のタスクをマージする場合、ターゲットタスク $T_t$ を除くすべてのタスクから潜在特徴量を集約する。メモリ使用量を削減しプライバシーの問題に対処するため、著者らはサンプルごとの潜在特徴量を連結前に平均化することを提案している。
   • 事後適用: 本手法は、学習済み重みをOSRM由来の基底を用いて分解することで、既存のLoRAモジュールにも拡張可能であるが、これには多少の性能損失が伴う可能性がある。

主な貢献

• データとパラメータの相互作用の特定: 本論文は、LoRAマージにおけるパラメータ干渉が単なる重みの衝突の問題ではなく、パラメータが特定のデータ分布とどのように相互作用するかと深く結びついていることを明らかにしている。
• ファインチューニング前の制約: マージ中またはマージ後に作用する従来の研究とは異なり、OSRMは、タスク外のデータ分布に対して直交するようにLoRAの部分空間を初期化することで、ファインチューニングの前に介入する。
• プラグアンドプレイな統合: 本手法は、マージのロジック自体を変更することなく、既存のマージアルゴリズム（Task Arithmetic, Fisher Merging, TIES, RegMean, EMRなど）とシームレスに統合できるように設計されている。
• 堅牢性: スケーリング係数、サンプルサイズ、タスク数などのハイパーパラメータに対する感度の低さを実証している。

実験結果
著者らは、GLUEベンチマークの8つのデータセットを用い、3つの広く使用されているLM（RoBERTa-large, T5-large, Llama3.2-1B）および2つのより大きなLM（Llama3.2-3B, Llama3-8B）においてOSRMを評価した。

• 性能向上: OSRMは、テストされたすべてのモデルとマージ手法において、既存のマージベースラインを一貫して上回った。
  • RoBERTa-largeにおいて、OSRMはすべてのベースラインに対して平均性能を大幅に向上させた（例：Task ArithmeticではCoLAで+13%、Fisher MergingではMNLIで+21%）。
  • T5-largeにおいて、RegMean（平均+3.76%）およびFisher（平均+7.9%）においてベースラインを大幅に上回った。
  • Llama3.2-1Bおよび3Bにおいて、OSRMはTA, RegMean, TIES, EMRの各ベースラインを凌駕し、タスクごとの改善率は最大12.78%に達した。
• シングルタスクの保持: 本手法はシングルタスクの精度にほとんど影響を与えず（平均差 <1%）、しばしばベースラインのシングルタスク性能を上回る。
• 堅牢性:
  • スケーリング係数: ベースラインはより敏感であったのに対し、OSRMは幅広いスケーリング係数（$\lambda \in [0.1, 1.3]$）にわたって優れた性能を維持した。
  • サンプルサイズ: 初期化のためにわずか100個のサンプルでも良好に機能した。
  • タスク数: マージされるタスクの数が増えるほど（$N > 5$）、性能の優位性が顕著になった。

意義と主張
本論文は、データとパラメータの相互作用を明示的に扱うことで、LoRAモデルをより効果的に結合するための汎用的な戦略をOSRMが提供すると主張している。著者らは、本手法がシングルタスクの精度を維持しながらマージ性能を高めるプラグアンドプレイのソリューションであることを強調している。彼らは、データとパラメータの相互作用を考慮することが、堅牢なモデルマージのために不可見であると論じ、重みの整合性のみに焦点を当てた純粋なデータフリー戦略を超えたものであるとしている。結果は、ファインチューニング前にLoRAの部分空間を制約することが、現在のLoRAモデルマージを悩ませている意図しない出力シフトを軽減するための極めて重要なステップであることを示唆している。