Dynamic Model Merging Made Slim

技術サマリー：DiDi-Merging

問題定義
モデルマージは、共同トレーニングや元データへのアクセスを必要とせずに微調整済みモデルを再利用可能にし、複数のタスク固有モデルの展開に伴う高コストや、プライバシーまたは計算リソースの制約によるマルチタスク学習の実現不可能性という課題に対処する。静的マージはモデルを単一のチェックポイントに融合させるが、タスク間の干渉に悩まされる。動的マージは、入力をタスク関連のエキスパートコンポーネントへルーティングすることで柔軟性を向上させるが、既存の手法は決定的なストレージのボトルネックに直面している。現在の動的アプローチは、以下の 2 つの非最適極端なケースに分類される。

1. Heavy Shared（重共有）: 全サイズの共有モデルを維持し、タスクごとのエキスパートを微小なものとする（例：TALL-Mask, EMR-Merging）。これにより、パラメータ数は元モデルよりも小さくならない。
2. Heavy Expert（重エキスパート）: 共有コンポーネントを破棄し、すべての知識をタスクごとのエキスパートベクトルに格納する（例：TSV-C, SMILE）。これにより、ストレージはタスク数に比例して線形に増大する。
   どちらのアプローチも、共有知識とタスク固有の容量の間のトレードオフを効果的にバランスさせることができず、過度なストレージオーバーヘッド（通常、単一の微調整モデルのサイズに対して $\ge 2\times$）をもたらしている。

手法：DiDi-Merging
著者は、微分可能なランク割り当てを通じて共有とタスク固有のエキスパート間のパラメータをバランスさせるスリムな動的マージフレームワークであるDiDi-Merging（Differentiable Rank を用いた動的マージ）を提案する。この手法は 3 つの段階で動作する。

1. 低ランク分解: タスクベクトル（$\tau_t = \theta_t - \theta_0$）を、静的平均によって得られる共有知識行列（$M_s$）と、タスクごとのエキスパート残差（$M_t = \tau_t - M_s$）に分解する。両行列は特異値分解（SVD）によって分解される。
2. 微分可能なランク最適化: 固定されたランク割り当ての代わりに、パラメータ予算配分を微分可能な最適化問題として定式化する。滑らかな切り捨て関数が、学習可能な連続的なランクパラメータ $r$ に基づいて特異値を再重み付けする。目的関数は、再構成されたタスクベクトルと元のタスクベクトル間の平均二乗誤差（MSE）であるタスク再構成損失を最小化しつつ、目標圧縮率からの逸脱を罰則として加える。これにより、モデルは元のトレーニングデータにアクセスすることなく、共有コンポーネントとエキスパートコンポーネントのランクを共同で最適化し、多様なタスクにはより多くの容量を、類似したタスクにはより少ない容量を割り当てることが可能となる。
3. データフリー微調整: 最適なランクを決定した後、切り捨てられた低ランクパラメータをデータフリーの最適化ステップで微調整する。切り捨てられた SVD から初期化された低ランク LoRA 風モジュール（$A, B$）を更新し、格納されたタスクベクトルに対する再構成損失を最小化することで、切り捨て時に失われた性能を回復させる。

主要な貢献

1. 失敗モードの特定: 本論文は、既存の動的マージ手法が「Heavy Shared」または「Heavy Expert」の割り当て極端に悩まされており、どちらも精度と効率性のトレードオフを最適化できていないことを特徴づける。
2. 微分可能なランク割り当て: DiDi-Merging は、微分可能な SVD 切り捨て目的関数を通じて共有とタスクごとのエキスパートのランクを共同で最適化するメカニズムを導入し、手動によるランク調整やデータアクセスの必要性を排除する。
3. スリムな動的マージ: このフレームワークは、大幅に削減されたストレージでほぼ損失のない性能を達成する。単一の微調整モデルのパラメータ数に対して1.24$\times$の予算で先行する動的ベースライン（TSV-C、2.08$\times$）と同等の性能（89.3% 対 89.5%）を達成し、1.4$\times$では最高スコア（89.8%）を記録した。これは、$\ge 2\times$のストレージを必要とする手法を大幅に凌駕する。

実験結果
DiDi-Merging は、ビジョン、大規模言語モデル（LLM）、マルチモーダル大規模言語モデル（MLLM） across 評価された。

• ビジョン: 8 タスクの ViT-B/32 ベンチマークにおいて、DiDi-Merging-S（1.24$\times$予算）は、最強の動的ベースライン（TSV-C、2.08$\times$）と同等の性能（89.3% 対 89.5%）を達成しつつ、ストレージを 60% 未満で済ませた。1.4$\times$では、最高総合スコア（89.8%）を達成した。
• LLM: 4 つのドメインにわたって Llama-3.1-8B-Instruct と Qwen-2.5-7B-Instruct をマージした結果、DiDi-Merging-L（2.0$\times$予算）は、Llama-3.1-8B において先行する動的手法を平均**+5.4%**上回った。AlpacaEval-2 などの指示追跡ベンチマークでは顕著な改善が見られた。
• MLLM: マルチモーダル設定（ビジョン、オーディオ、ビデオ、点群）において、DiDi-Merging はデータフリーの動的ベースライン（NaiveMC, MMER）を一貫して上回りながら、スリムなパラメータフットプリントを維持した。特に、共有されたクロスモーダル知識を活用することで、特定のタスクにおいて 100% を超える性能維持を達成した。
• 効率性: この手法は、 modest な計算リソース（約 1.1 GB の GPU メモリ）を必要とし、ViT-B/32 における最適化ステージは約 14 分で実行される。

意義と主張
本論文は、DiDi-Merging が大規模展開に向けた動的モデルマージの実用化において重要な前進であると主張する。「Heavy Shared」または「Heavy Expert」という二項対立から脱却することで、パラメータ効率と精度の間のパレート最適なトレードオフを達成する。著者は、この手法が格納されたタスクベクトルのみを微調整に依存する完全にデータフリーであることを強調しており、これによりプライバシーが保護され、専門モデルのマージへの参入障壁が低下する。このフレームワークは、ビジョン、言語、マルチモーダルドメイン全体に適用可能な汎用ソリューションとして提示され、複数の完全モデルを維持するストレージオーバーヘッドや、静的マージに伴う性能低下なしに、エキスパートアンサンブルの展開を可能にする。