技術的サマリー：出力空間射影によるモデルマージ

問題定義

タスク固有のファインチューニング済み言語モデルおよびビジョンモデルの急増により、再トレーニングなしで複数のファインチューニング済みチェックポイントを単一のマルチタスクモデルに結合する「モデルマージ」への需要が高まっている。既存の実用的なアプローチである Task Arithmetic、Model Soups、TIES、DARE は経験的な成功を収めているが、これらは固定スカラー重み、確率的なマスキング、または符号に基づくプルーニングなどのヒューリスティックな設計選択に依存している。重要なのは、これらの手法が最適な結合重みの形式的な数学的記述を欠いており、それらが証明可能に最適となる明確な損失関数を持たない点である。

手法

著者らは、残差更新に対する凸二次計画（QP）としてモデルマージを定式化するフレームワークを提案し、これを出力空間射影の観点に基づいている。

1. 凸 QP としての定式化

本論文は、ファインチューニングされた残差に対する対角マスクによるマージが凸 QP として記述できるという観察から始まる。

• 設定: 重み $\theta$ を持つベースモデルと、特定の層 $N$ における $K$ 個のファインチューニング済みモデルの残差更新 $\{\delta^{(k)}_N\}$ が与えられたとき、マージされた残差 $\delta_{merge}$ を見つけることを目的とする。
• 対角マスキング: 本手法は、各残差に和を計算する前に対角マスク $D_k = \text{diag}(d^{(k)})$ を適用する。すなわち、$\delta_{merge}(d) = \sum_{k=1}^K D_k \delta^{(k)}_N$ である。
• 目的関数: 本手法は、キャリブレーションセット $\mathcal{K}$ 上で二乗出力較正目的関数 $J(d) = \sum_{j \in \mathcal{K}} \|A_j d + b_j\|^2$ を最小化する。ここで、$b_j$ は入力 $x_j$ に対するベースモデルの誤差を表し、$A_j$ は残差が出力に及ぼす線形化された効果を符号化する。
• 最適性: この QP を解くことで、二乗出力損失を最小化する重みが得られる。既存の手法（Task Arithmetic、Model Soups、TIES、DARE）は、この QP の特定の可行点または特殊な場合（例えば、固定スカラーまたは特定の確率的マスク）に対応することが示されており、同じ目的関数のもとでは QP の解が理論的に優れているか同等であることを意味する。

2. 一般基底と不可避誤差

著者らは、軸方向（対角）マージの限界に対処するため、対角マスクアプローチを一般基底定式化に拡張する。

• 射影の観点: マージは、候補となる修正の部分空間を用いてベースモデルの残差誤差を近似することとして捉えられる。最適解は、出力空間において候補更新が張る部分空間 onto ベースモデルの残差を射影することに相当する。
• 不可避誤差: 本論文は、任意に選択された基底の不可避誤差の閉形式診断式を導出する。この誤差は、選択された部分空間によって捕捉される残差エネルギーの割合によって決定される。
• 最適基底: 解析により、緩和された射影問題に対する最適基底は、残差エネルギー行列 $S = \sum_{j} b_j b_j^\top$ の主要固有ベクトルによって与えられることが示される。
• トレードオフの特性: このフレームワークは、対角 QP の計算効率と最適基底による性能向上の間のトレードオフを定量化する。モデル更新が共有基底内で独立したモードに分解される場合、対角マージが最適であることを確立しており、そうでない場合、「最適性のギャップ」は捕捉されたエネルギーの割合を通じて測定可能である。

3. 多層拡張

多層マージについては、著者らは逐次的な層別アルゴリズムを提案する。層間の結合最適化は非線形相互作用により非凸となるため、本手法は単一層の QP を逐次的に適用する。各ステップにおいて、残差は現在のマージ済みモデルを用いて更新され、次の層に対して QP が解かれ、必要なヤコビアンが再計算される。

主要な貢献

1. 統合フレームワーク: 本論文は、既存のヒューリスティックなマージ手法（Task Arithmetic、Model Soups、TIES、DARE）を対角マスク QP の特殊な場合として包含し、統合された数学的視点を提供する。
2. 凸定式化: モデルマージが残差更新に対する凸二次計画として定式化可能であることを確立し、選択された基底に対して大域的最適解を保証する。
3. 閉形式診断: 著者らは、フルな下流評価を必要とせず、キャリブレーションセットのみを使用してマージの品質を予測する計算可能な診断指標——選択された基底によって捕捉される残差エネルギーの割合——を導入する。
4. 最適基底の特性: 二乗出力損失を最小化するための最適基底として、残差アクティベーションの出力重み付き主成分を特定し、対角マージが十分である場合と、より複雑な基底が必要となる場合を明確にする。
5. 経験的検証: このフレームワークは、言語（LLaMA 3.1）およびビジョン（ViT-B/32、MNIST）のベンチマークで検証され、既存のヒューリスティック手法に対して一貫した改善を示した。

実験結果

• 単一層性能: ViT-B/32（CIFAR-10、STL-10、Imagenette、EuroSAT でファインチューニング）および LLaMA 3.1 における単一層マージ実験において、QP 解はすべてのデータセットで最小二乗誤差（MSE）を達成し、Task Arithmetic、Model Soups、TIES、DARE、およびフィッシャー重み付けマージと比較して最高の平均精度を記録した。
• 基底分析: MNIST の数字分類タスクに関する実験は、最適基底（残差行列の上位固有ベクトル）が一貫して最低の MSE を達成することを示している。標準的な対角基底は最適基底ほど効果的ではないが、競争力があり、ベンチマークのヒューリスティック手法を上回るため、効率的な代理としてその有用性が検証された。
• 多層の改善: LLaMA 3.1 における逐次的な多層拡張は、コード、指示追従、数学タスクにおいて、ベースライン手法と比較して MSE と精度の両方で一貫した改善を示した。
• 診断の有用性: 「捕捉されたエネルギー」指標は、異なる基底選択の性能順位を成功裡に予測し、残差エネルギーの捕捉と下流損失との間の理論的リンクを確認した。

意義と主張

本論文は、既存のヒューリスティックの成功を説明し、それらを改善するための原理的な手法を提供する統合的な理論的フレームワークを提供すると主張している。

• 理論的厳密性: 従来の手法がアドホックな規則に依存するのに対し、このアプローチは、その手法が最適となる（射影による二乗出力損失の最小化という）正確な数学的概念を提供する。
• 実用性: このフレームワークは、高価な最適基底がいつ必要となり、いつ安価な対角 QP で十分かを決定するための計算可能な診断を提供する。
• 謙虚さ: 著者らは限界を認め、このフレームワークが線形化された二乗出力目的関数に対して導出されたものであると指摘している。また、クロスエントロピーのような非二次損失へのフレームワークの拡張や、高次元設定における最適基底のスケーラブルな近似の開発が、今後の重要な研究課題であると明言している。さらに、LLM 実験で観察されたように、低い MSE が常に高いタスク精度と完全に相関するわけではないという限界も指摘している。

要約すると、本論文はモデルマージを重みのヒューリスティックな結合から出力空間における凸最適化問題へと再定義し、既存の手法に対する理論的正当性と、より最適なマージ戦略への道筋の両方を提供している。