論文「Resolving Interference (RI): Disentangling Models for Improved Model Merging」の技術的サマリー

本論文は、独立して訓練された専門モデル（エキスパートモデル）のパラメータを直接結合してマルチタスクモデルを構築する「モデルマージ」技術における課題を解決する新しい手法「Resolving Interference (RI)」を提案しています。以下に、問題定義、手法、主要な貢献、実験結果、および意義について詳細をまとめます。

1. 背景と問題定義

モデルマージの課題

近年、独立して訓練された専門モデルを単純に重みを平均化したり、ベクトル演算を行ったりすることで、複数のタスクを同時に処理できるマルチタスクモデルを構築する「モデルマージ」が注目されています。しかし、異なるタスクで訓練されたモデルをマージする際、**「タスク間干渉（Cross-Task Interference）」**が発生し、マージ後のモデルの性能が低下する問題があります。

• 干渉のメカニズム: 一つのタスクに有用な特徴量が、別のタスクのパラメータによって上書きされたり歪められたりすることで、マージモデルの出力表現が元のエキスパートモデルから逸脱します。
• 既存手法の限界:
  • 勾配なし手法: パラメータ自体を操作しますが、データにアクセスできないため、パラメータと入力データの相互作用を捉えきれません。
  • 勾配ベース手法: 最適化を用いますが、多くの手法は元のタスクデータ（またはその分布）へのアクセスを前提としており、データが不足している場合や機密保持が必要な場合には適用困難です。
  • ルーティング手法: 追加の容量や推論コストがかかります。

本研究の問い: 「推論コストを増やさず、かつ各エキスパートモデルの元のデータ分布へのアクセスなし（ラベルなしの補助データのみ）で、タスク間干渉を軽減する軽量な勾配ベースのアプローチは可能か？」

2. 提案手法：Resolving Interference (RI)

RI は、マージ前のエキスパートモデルを適応させ、他のタスクの空間に対して機能的に直交（disentangled）させる軽量な適応フレームワークです。

2.1 タスク間干渉の定式化

まず、干渉を定量的に評価する指標 $\xi$ を定義しました。
$$\xi(\{\theta_i\}, \theta_m) = \sum_{i=1}^{N} \mathbb{E}_x [\text{dist}(h_i(f(x|\theta_i)), h_i(f(x|\theta_m)))]$$
ここで、$\theta_i$ は$i$番目のエキスパート、$\theta_m$ はマージモデル、$h_i$ は$i$番目のタスクヘッダー、$\text{dist}$ は出力表現間の距離（KL 発散など）です。この値が小さいほど、マージモデルは各元のタスクにおいて良好な性能を維持していることを意味します。

2.2 最適化目標

RI の目的は、各タスクベクトル $\tau_i$ を $\tau^*_i$ に適応させることで、以下の条件を満たすようにすることです。

1. タスク保存（Task-Preservation）: 自身のタスクデータ（または補助データ）において、元のタスクベクトルと同様の出力を生成する。
2. 干渉低減（Interference-Reduction）: 他タスクのヘッダーやデータに対しては、事前学習済みのベースライン（$\theta_0$）と同様の出力（＝影響を与えない）を生成する。

2.3 損失関数とアルゴリズム

実際のタスクデータにアクセスできないため、任意の**ラベルなし補助データ（$D_{aux}$）**を用いて以下の損失関数を最小化します。

$$\mathcal{L}_{RI} = \mathcal{L}_1 + \frac{\alpha}{N-1}\mathcal{L}_2$$

• $\mathcal{L}_1$ (タスク保存損失): 自身のタスクヘッダー $h_i$ において、適応前 $\tau_i$ と適応後 $\tau^*_i$ の出力分布の KL 発散を最小化。
• $\mathcal{L}_2$ (干渉低減損失): 他タスクのヘッダー $h_j$ ($j \neq i$) において、適応後 $\tau^*_i$ の出力が事前学習モデル $\theta_0$ の出力と一致するようにする（つまり、$\tau^*_i$ が他タスクに干渉しないようにする）。
• $\alpha$: 両者のバランスを取るハイパーパラメータ（デフォルトは 1.0）。

この適応プロセスは各エキスパートモデルに対して独立して行われ、その後、標準的なマージ手法（Weight Averaging, TIES, TSV-M など）を適用して最終モデルを生成します。

3. 主要な貢献

1. 干渉の定式化: マージモデルと構成エキスパート間の表現のズレを定量化する指標 $\xi$ を導入し、マージ品質の診断ツールとして機能させる。
2. RI フレームワークの提案: 特定のタスクデータなしに、任意のラベルなし補助データを用いて干渉を軽減する軽量な適応手法を提案。
3. SOTA 性能の向上: 多様なベンチマークとモデル規模において、既存の最先端マージ手法の性能を最大 3.8% 向上。
4. 分布外（OOD）頑健性の向上: 未見のドメインへの汎化性能を最大 2.3% 向上。
5. 実用的な分析: 補助データのソース、距離指標、ハイパーパラメータ感度に関する包括的な分析を行い、実運用における指針を提供。

4. 実験結果

4.1 設定

• モデル: CLIP ベースの ViT-B/32, ViT-B/16, ViT-L/14。
• タスク: 8, 14, 20 個の視覚タスク（画像分類）。
• 補助データ: ImageNet のラベルなし画像（タスクデータは使用せず）。
• 比較対象: Weight Averaging, Task Arithmetic, TIES, KnOTS, WUDI, Iso-C, TSV-M など。

4.2 主要な結果

• タスク内精度の向上:
  • 20 タスクの ViT-B/32 設定において、TSV-M などの SOTA 手法と組み合わせることで、平均精度が最大 3.8% 向上しました。
  • 特にタスク数が増えるほど干渉が深刻になるため、RI の効果はスケールするにつれて顕著になります。
• 分布外（OOD）汎化性能:
  • DomainNet ベンチマーク（6 つの異なるドメイン）において、マージモデルの未見ドメインへの汎化性能が最大 2.3% 向上しました。
  • RI を適用することで、タスク間干渉が軽減され、共有表現空間での正の転移が促進されたと考えられます。
• 距離指標の影響:
  • 損失関数の距離指標として KL 発散（KL-Divergence）を使用した場合が、MSE やクロスエントロピーよりも優れた結果を示しました。
• 補助データのソース:
  • 合成データ（ガウスノイズ等）でも改善が見られましたが、ImageNet や MSCOCO などの実世界の多様な画像データ、あるいはタスクに近いデータほど効果が高いことが確認されました。
• ハイパーパラメータへの感度:
  • RI を適用したモデルは、マージ用のハイパーパラメータ（スケーリング係数など）のチューニングに対して、適用前のモデルよりもはるかに頑健（感度が低い）であることが示されました。これは、干渉が軽減されることで最適化の landscapes が平坦化・安定化するためです。

4.3 計算コスト

• RI は各エキスパートを独立して適応させるため、並列化が容易です。
• ViT-B/32 モデル 1 つあたり、2500 ステップの適応で約 7〜9 分（NVIDIA A40 GPU 使用）、メモリ使用量は 4.8GB で一定であり、非常に軽量です。

5. 意義と結論

本論文の「Resolving Interference (RI)」は、データが不足している状況や機密保持が求められる環境でも適用可能な、モデルマージの性能向上のための実用的なソリューションを提供します。

• データ依存性の排除: 元のタスクデータや検証データが不要であり、ラベルなしの補助データだけで動作するため、現実的な制約下でも利用可能です。
• コスト効率: 推論コストを増加させず、トレーニングコストも低く抑えられています。
• 汎用性: 既存のあらゆるマージ手法と組み合わせ可能であり、特に大規模なマルチタスク設定においてその真価を発揮します。

RI は、モデルマージにおける「干渉」という根本的な課題を、パラメータ空間の分離（disentanglement）を通じて解決し、より強力で頑健なマルチタスクモデルの構築を可能にする重要なステップです。