技術要約：MLLM適応のための曲率誘導型混合（Curvature-Guided Mixing）

問題提起

マルチモーダル大規模言語モデル（MLLM）は、ウェブスケールの事前学習を通じて獲得した広範かつ汎用的な知識を有している。しかし、これらのモデルをファインチューニングによって専門的なダウンストリームタスクに適応させようとすると、多くの場合、**破滅的忘却（catastrophic forgetting）**が発生する。これは、新しいタスク固有のスキルを獲得する代わりに、モデルが基礎となる汎用的な能力を失ってしまう現象である。Spiderのようなヒューリスティックなモデルマージや、パラメータ効率の良いファインチューニングといった既存の手法は、タスクへの適応と知識の保持を効果的に両立させることに失敗することが多い。これらは、強固な理論的根拠を持たない手作業によるスコアリング関数に依存していたり、あるいは事前学習された知識の保存を無視して、ダウンストリームの性能のみを最適化したりしている。

手法

著者らは、事前学習モデル（$w_{pt}$）とファインチューニング済みモデル（$w_{ft}$）のそれぞれの損失関数の幾何学的形状を分析することで、両者をマージする理論に基づいたフレームワークである**曲率誘導型混合（Curvature-Guided Mixing: CGM）**を提案する。

1. 損失景観の近似

本手法は、事前学習（$\ell_{pt}$）およびファインチューニング（$\ell_{ft}$）タスクの局所的な損失関数の幾何学を、それぞれの最適重みの周囲における二次のテイラー展開を用いてモデル化する。

• 仮定: 収束した最適解における勾配はゼロ（$\nabla \ell = 0$）であり、マージされた解は結合された低損失領域内に存在するため、高次の項は無視できるものとする。
• 近似: 損失は、局所的な曲率を捉えるヘッセ行列（Hessian matrix）（$H$）を含む二次関数として近似される。計算の実行可能性を確保するため、本手法はヘッセ行列の対角成分（$h_{pt}$ および $h_{ft}$）を利用し、複雑度を $O(d^2)$ から $O(d)$ へと削減している。

2. CGM: ソフト・ミキシング（閉形式解）

本フレームワークは、両方のタスクの損失の加重和を最小化する結合最適化目的関数を定式化する。マージされた重みを線形補間（$w_i = w_{ft,i} + \lambda_i(w_{pt,i} - w_{ft,i})$）としてパラメータ化することにより、著者らは各パラメータに対する閉形式の最適混合比（$\lambda_i^*$）を導出する：

$$\lambda_i^* = \frac{\alpha h_{pt,i}}{h_{ft,i} + \alpha h_{pt,i}}$$

ここで：

• $h_{pt,i}$ および $h_{ft,i}$ は、それぞれ事前学習およびファインチューニングタスクの対角ヘッセ成分（曲率）である。
• $\alpha$ は、2つの目的関数をバランスさせるハイパーパラメータである。
• 解釈: 事前学習の曲率が高いパラメータ（汎用タスクに対して鋭い損失景観を持つもの）は、事前学習の値に近い状態で保持され、一方でファインチューニングの曲率が高いパラメータは、ファインチューニング後の値に近い状態で保持される。この「ソフト・ミキシング」は、すべてのパラメータをブレンドする高密度な更新である。

3. CGM†: ハード・ミキシング（スパース選択）

高密度な更新は破壊的となる可能性があることを認識し、著者らは、問題をスパースなパラメータ選択タスクとして再定義した「ハード・ミキシング」のバリアントである**CGM†**を導入する。

• メカニズム: 重みをブレンドする代わりに、各パラメータに対して、ファインチューニングされた重み（$w_{ft}$）を保持するか、事前学習された重み（$w_{pt}$）に戻すかというバイナリの決定を行う。
• スコアリング: パラメータをランク付けするための曲率認識スコア $c_i$ を以下のように導出する：
  $$c_i = \frac{1}{2}(h_{ft,i} - \alpha h_{pt,i})\Delta_i^2$$
  ここで $\Delta_i = w_{pt,i} - w_{ft,i}$ である。
• 選択: $c_i$ スコアが最も低い上位 $K\%$ のパラメータ（これらは汎用的な知識には不可欠だが、新しいタスクにはそれほど重要ではないことを示す）を、事前学習時の値へと戻す。これにより、最小限かつ標的を絞った修正を保証する暗黙的な $L_0$ 制約が課される。

主な貢献

1. 理論に基づいたフレームワーク: 本論文は、ヒューリスティックなスコアリングを超え、二次の損失景観情報を用いて結合最適化目的関数から直接最適な混合ルールを導出するCGMを導入している。
2. スパース・ハード・ミキシング (CGM†): マージをスパースな選択問題として扱い、汎用的な知識の保持に最も重要なパラメータを特定して復元するための、新しい曲率認識スコアを用いた堅牢なバリアントである。
3. 実証的検証: LLaVA-1.5-7B および Qwen-2.5VL-3B を用いた複数のダウンストリームタスク（OKVQA, Flickr30k, LaTeX-OCR）における広範な実験により、CGMおよびCGM†が、タスクへの特化と汎用的な知識の保持のバランスにおいて、既存のベースライン（Tailor, DARE, Grafting, Wanda）を一貫して上回ることを実証している。

実験結果

• 性能指標: 著者らは、Hscore（ターゲットタスクの性能と事前学習平均の調和平均）および Avg（算術平均）を用いて評価を行っている。
• 主な知見:
  • OKVQAにファインチューニングされたLLaVA-1.5において、**CGM†**は最高のHscore（62.8）を達成し、高いPre-Avg（65.7）を維持しており、ファインチューニング済みモデル（Hscore 53.9）や他のマージ・ベースラインを大幅に上回った。
  • Qwen-2.5VLにおいて、提案手法は一貫して優れたトレードオフを示し、多くの場合、強力なタスク固有のスコアを維持しながら、一般的なベンチマークにおいて元の事前学習性能に近いレベルまで回復させた。
  • アブレーション研究: スコアリング関数からファインチューニングの曲率または事前学習の曲率のいずれかを除去すると、不十分な結果（過学習または過度な忘却のいずれか）を招いた。これは、結合された曲率定式化の必要性を裏付けている。
  • ハイパーパラメータの感度: スパース性比 $K$ は頑健であることが判明した。わずか10%のパラメータを復元するだけでも、汎用的な知識は概ね保持された。バランス係数 $\alpha$ は主にターゲットタスクの性能に影響を与え、最適なバランスは小さな値（$\approx 0.1$）で見出された。
  • 選択構造: 選択マスクの視覚的分析により、CGM†はアテンション層においてコヒーレントで構造化されたパラメータグループ（垂直方向のバンド）を選択するのに対し、MagnitudeやTailorのようなベースラインは、拡散した非構造的なノイズを生成することが明らかになった。

意義と主張

本論文は、損失景観の幾何学を活用することで、**曲率誘導型混合（Curvature-Guided Mixing）**がMLLMにおける破滅的忘却に対する原理的な解決策を提供すると主張している。相対的な曲率に基づいて混合比を解析的に導出することにより、本手法はヒューリスティックなアプローチの陥穽を回避している。著者らは、本研究がモデルマージにおける新しい最先端（SOTA）を確立したと断言しており、二次の情報が、タスクに対して高度に特化しつつ、基礎となる汎用的な知能においても堅牢なモデルを作成するために効果的に利用できることを示している。また、「ソフト・ミキシング」による結合最適化と「ハード・ミキシング」によるスパース選択は、効果的なMLLM適応のための相補的な戦略であることを示唆している。