技術要約：パラメータ効率の良いファインチューニング（PEFT）更新の併合可能性の予測

1. 問題提起

パラメータ効率の良いファインチューニング（PEFT）、特に低ランク適応（LoRA）は、共有された基盤モデルの上に、さまざまなドメイン（数学、コード、安全性など）に特化したアダプタを効率的に学習することを可能にする。極めて重要な運用上の課題は、**アダプタの併合（merging）**である。これは、複数のアダプタを単一のデプロイ可能なモデルに結合し、あらゆるタスクに対して個別のルーターやエンドポイントを維持するオーバーヘッドを回避するための手法である。

現在の併合戦略（直接平均化、TIES-merging、フィッシャー重み付き平均化など）は**反応的（reactive）**である。これらは、アダプタが完全に学習され、評価された後にのみ機能する。この後段階のフィードバックはコストが高い。なぜなら、単独では優れた性能を示すアダプタであっても、併合すると破壊的な干渉を引き起こし、タスク性能の大幅な低下や予期せぬ安全性挙動の後退を招くことが多いためである。本論文は、この結果は避けられない運命ではなく、予測可能なものであると断定している。核心となる問題は、学習が完了する前に、2つまたは複数のアダプタが正常に併合できるかどうかを予測することであり、これにより、高価な失敗を回避し、反応的なエンジニアリングではなく、先制的な意思決定（ルーティング、プルーニング、または再重み付けなど）を可能にすることである。

2. 手法論

2.1 併合可能性の定式化

著者らは、**併合可能性（mergeability）**を、単一のアダプタの固有の特性としてではなく、関係的かつ方向的な特性として定義している。これは以下の2つの要件によって特徴付けられる：

1. 単一タスクの有用性： アダプタがその独自のタスクにおいて効果的であること。
2. 併合後の保持： 併合後、アダプタが自身の有用性を保持し、かつパートナーとなるアダプタを不安定化させないこと。

これは、アダプタ $i$ の有用性が $j$ との併合後にどの程度保持されるかを測定するペアワイズ保持（Pairwise Retention）（$Ret_{i \leftarrow j}$）を通じて定式化される。著者らは、衝突はしばしば非対称であり（例：安全性のアダプタは、数学のアダプタよりも数学のアダプタをより大きく損なう可能性がある）、特定の層に局在化していることを強調している。

2.2 早期予測シグナル

中心となる仮説は、併合可能性は学習の最初の数パーセント（具体的には最初の10%）において、測定可能な痕跡を残すという点である。論文では、部分的なチェックポイントと小さなキャリブレーション・バッチ（256例）から算出される4つのシグナルのファミリーを特定している：

1. 更新の幾何学（Update Geometry）： パラメータ空間におけるLoRA更新（$\Delta W$）の整列を、フロベニウス・コサイン類似度を用いて測定する。高い正の整列は過剰増幅を示唆し、負の整列は破壊的な相殺を示唆する。
2. 勾配シグナル（Gradient Signals）： タスク間の勾配のコサイン類似度を計算する。負の勾配コサインは、重みが大きく移動する前に、不適合（例：数学 vs 安全性）をフラグ立てすることが多い。
3. 部分空間および活性化の重複（Subspace and Activation Overlap）：
   • ランク空間： SVDによるLoRA因子（$A$ および $B$ 行列）の主成分方向の重複。
   • 活性化： 残差ストリームの活性化部分空間の重複（PCAによる）およびタスク間の活性化シフト（あるアダプタが他のアダプタの隠れ状態をどのように摂動させるか）。
4. フィッシャー重み付き重複（Fisher-Weighted Overlap）： 対角フィッシャー情報行列に基づいて衝突を再スケールし、小さな衝突が大きな損失変化を引き起こすパラメータを強調する。
5. メタデータ： 文脈を構成するための学習ハイパーパラメータ（ランク、学習率、ドメイン、データサイズ）。

2.3 MergeProbe 予測器

MergeProbe は、これらの早期シグナルを具体的なデプロイメントの決定へとマッピングする軽量な予測器である。これは以下で構成される：

• ペアワイズ・ヘッド： 連続的な併合可能性スコアと、一対のアダプタに対するバイナリの「安全な併合」ラベルを予測する勾配ブースティング決定木（XGBoost）。
• セットレベル・ヘッド： 多方向の衝突を考慮し、アダプタの集合におけるマクロ平均およびワーストタスク保持率を予測する、置換不変なモデル。

これらの予測に基づき、MergeProbeは以下の4つのアクションから選択を行う：

1. 併合（Merge）： 予測される保持率が高い場合、アダプタを直接結合する。
2. 再重み付け（Reweight）： 軽微な衝突を緩和するために、併合係数を調整する。
3. プルーニング（Prune）： 局所的な衝突の原因として特定された特定のランク成分または層を除去する。
4. ルーティング（Route）： 衝突が広範すぎる場合、または予測の信頼度が低い場合、アダプタを分離したままにする（ルーターを使用する）。

システムは、**共形予測（conformal prediction）**を用いて較正された不確実性推定を提供し、信頼度が低い場合にシステムが「棄権」（安全なルーティングの選択）できるように設計されている。

3. 主な貢献

1. 併合可能性の定式化： 併合可能性を、単一タスクの有用性と、併合後の保持を分ける、方向的かつパートナー依存の特性として定義した。
2. 早期予測可能性： 併合可能性が学習の最初の10%で測定されるシグナルから予測可能であることを示し、パラダイムを事後的なエンジニアリングから先制的な測定へと転換した。
3. MergeProbe： これらの早期シグナルを、実行可能な決定（併合、再重み付け、プルーニング、またはルーティング）へと変換する軽量な予測器を導入した。
4. MERGE-PEFT プロトコル： 併合戦略を評価するために、5つのドメイン（数学、コード、科学、指示、安全性）からなるベンチマークを確立し、デプロイの安全性における重要な指標としてワーストケース保持率を強調した。

4. 実験結果

MERGE-PEFT ベンチマークにおいて、MergeProbeを、直接平均化、TIES-merging、フィッシャー併合、LoRA-LEGO、OSRM、FlyLoRAを含む強力なベースラインと比較評価した。

• 性能： MergeProbeは、最も高い平均保持率（91.4%）を達成し、極めて重要なことに、すべてのドメインにおいて最高のワーストケース保持率（88.7%）を達成した。対照的に、干渉を考慮しないベースライン（例：直接平均化）は、安全性およびコードのドメインにおいて大幅な低下（ワーストケースで約58%まで低下）を招いた。
• アブレーション研究：
  • 勾配または活性化のシグナルを取り除くと、予測の質が著しく低下し、それらの必要性が確認された。
  • メタデータ単体では、併合可能性を予測するには不十分であった。
  • 4つのアクション・ポリシーを強制的な直接併合に置き換えると、性能が大幅に低下した（80.3%への低下。直接併合の場合）。これは、アクションを選択する能力（プルーニング/ルーティング）が、予測そのものと同様に重要であることを証明している。
• 効率性： 予測器は最小限のオーバーヘッドしか追加せず、キャリブレーション・バッチと初期のチェックポイント分析のみを必要とする。これは、学習が完了するかなり前（5%の観察で有効となり、10〜15%で飽和する）に、そのコストを回収できる。

5. 意義と主張

本論文は、LoRAの併合を反応的な手順から先制的なワークフローへと変革することを主張している。アダプタの方向性が、重みの値が大きくなる前に、学習の早い段階で決定されるという事実を特定することで、著者らは、干渉は最終的な重みの値ではなく、更新の盆地の幾何学によって決定されると論じている。

その意義は以下の点にある：

• リスク軽減： 重要なタスク（特に安全性）において失敗する併合モデルのデプロイを防ぐ。
• 運用の柔軟性： 「一律の併合」を強いるのではなく、動的な戦略（プルーニング、ルーティング）を可能にする。
• コスト効率： 全てのタスクに対してフルルーターを維持するよりも低いデプロイメント・オーバーヘッドで高い保持を実現しつつ、ナイーブな併合による壊滅的な失敗を回避する。

著者らは、MergeProbeが既存の併合オペレータに対するコントローラーとして機能し、実務者が単に正確なだけでなく、併合しやすいアダプタを訓練できるようにすると結論づけている。また、シグナルの非LoFT PEFT手法への転移性に関する制限や、大規模なアダプタ集合を予測する際の組み合わせの複雑さについても言及しているが、このアプローチが安全なPEFTの組み合わせを研究するための再利用可能なプロトコルを提供することを強調している。