技術要約：Stay Unique, Stay Efficient (DTS)

問題提起

モデル・マージングは、複数のタスク特化型モデルを単一の表現へと統合するための、データ不要かつ最適化不要なパラダイムを提供し、個別のモデルをファインチューニングしたり保存したりする際に発生する膨大なコストを回避します。しかし、従来の基本的なマージ手法（例：Weight-Averaging、Task-Arithmetic）は深刻なパラメータの競合に悩まされ、意味的に類似したタスクに対して学習されたモデルであっても、大幅な性能低下を招きます。

近年のパーソナライズド・モデル・マージングのフレームワークは、これらの競合を軽減するためにタスク固有の情報を保持しようと試みていますが、それらは通常、法外なストレージ・オーバーヘッドを伴います。高密度なエキスパート成分、フルモデルのパラメータ、あるいは複雑なルーティング・ネットワークを保存する手法は、モデル・マージングの主要な利点である効率性を打ち消してしまい、リソース制約のある環境へのデプロイを制限しています。核心となる課題は、性能を維持するために不可欠なタスク固有の情報を保持しつつ、タスクごとに必要な追加ストレージを最小限に抑えることです。

手法：Decomposition, Thresholding, and Scaling (DTS)

著者らは、タスク固有の情報を効率的に圧縮するために設計された、近似ベースのパーソナライズド・マージング・フレームワークであるDTSを提案します。この手法は、近似ステージと推論ステージの2つの主要な段階で動作します。

1. タスク固有情報の表現

本フレームワークは、タスク固有の情報を以下の2つの形式で定義します。

• タスク・ベクトル ($\tau_n$): ファインチューニングされた重み ($\theta_n$) と事前学習済み重み ($\theta_0$) の差、すなわち $\tau_n = \theta_n - \theta_0$。
• 差分ベクトル ($d_n$): ファインチューニングされた重みと、粗いマージ・ベースライン ($\theta_m$) との差として定義される新しい表現、すなわち $d_n = \theta_n - \theta_m$。このバリアントは、元の事前学習済み重みにアクセスできない場合に特に有用であり、共有ベースラインに対するパーソナライズされた残差を捉えます。

2. DTS 圧縮パイプライン

これらのベクトルを効率的に保存するために、DTSは3つの連続した操作を適用します。

• 分解 (SVD): 対象となる行列（タスク・ベクトルまたは差分ベクトル）に対して、切断型特異値分解（SVD）を行います。エッカート・ヤング・ミルスキーの定理に基づき、上位 $r$ 個の特異値とその対応するベクトルのみを保持することで、構造化されていないパラメータのノイズを除去します。
• 閾値処理 (Thresholding): 単純なバイナリ・マスク（微細な情報を破棄してしまうもの）を使用する代わりに、DTSは新しい閾値戦略を導入します。これは、各特異ベクトルの要素を4つのグループに分割します。
  1. 正の「大きい」値
  2. 正の「小さい」値
  3. 負の「大きい」値
  4. 負の「小さい」値
     これは、まず符号（1ビット）をエンコードし、次に正の値および負の値をそれぞれの中央値と比較することで、大きさのレベルを決定することによって実現されます。
• スケーリング (Scaling): 各4つのグループに対して、単一のスケーリング係数が計算されます。この係数は、そのグループ内の絶対値の算術平均（効率化のためにL1ノルムを用いて計算）を表します。

3. 再構成とストレージ効率

推論時には、近似された特異ベクトルとスケーリング係数を組み合わせることで、タスク固有の情報が再構成されます。結果として得られる表現は、要素あたりわずか2ビット（符号に1ビット、大きさレベルに1ビット）を必要とし、16倍の圧縮率を達成します。これにより、タスクあたりの追加ストレージ・オーバーヘッドは約**1%**に抑えられます。

4. 未知のタスクへの汎化（データフリー適応）

追加の学習データやラベル付きサンプルなしで未知のタスクを扱うために、著者らは意味的類似性に基づいてタスク固有の情報を融合するバリアントを提案しています。

• タスクの特徴（分類におけるクラス名、生成における指示など）を事前学習済みのテキストエンコーダを使用してエンコードし、意味的埋め込みを生成します。
• 未知のタスクに対するマージ重みは、未知のタスクの埋め込みと、既知のタスクの埋め込みとの間のコサイン類似度に基づいて動的に計算されます。
• このアプローチは完全にデータフリーであり、オンライン学習やバックプロパゲーションを必要としません。

主な貢献

1. DTS フレームワーク: SVD、新しい4グループの閾値処理、およびスケーリングを通じて、ストレージ・オーバーヘッドを最小限に抑えつつタスク固有の情報を保持する、軽量な近似ベースのパーソナライズド・マージング手法。
2. DTS-T および DTS-D バリアント: 2つの具体的な実装の導入：標準的なタスク・ベクトルで動作するものと、差分ベクトル（共有マージ・ベースラインに対するもの）で動作するものがあり、異なるデプロイメント・シナリオに対する柔軟性を提供します。
3. データフリーの汎化: タスク特性の意味的類似性を活用することで、未知のタスクに適応できるバリアントを提供し、ターゲット・ドメインのデータや学習可能なルーターを排除します。
4. 効率と性能のトレードオフ: 本手法は、タスクあたり約1%の追加ストレージのみで最先端の性能を達成しており、多くの場合10〜100%の追加ストレージを必要とする既存のパーソナライズ手法を大幅に上回っています。

実験結果

著者らは、視覚的分類（ViT-B/32, ViT-L/14, ViT-B/16）、自然言語処理（RoBERTa, GPT-2）、および自然言語生成（Qwen-14B）のタスクにおいてDTSを評価しました。

• 標準的なマルチタスク・マージング: DTSは、標準的なベンチマークにおいて、最先端のベースライン（T-Switch, FREE-Merging, WEMOEを含む）を一貫して上回りました。
  • ViT-B/32において、DTS-Dは平均精度**90.40%を達成し、最高のベースライン（T-Switchの90.15%）を上回りましたが、追加メモリはわずか3.68%**でした（T-Switchの6.25%やWEMOEの49.95%と比較して）。
  • RoBERTaにおいて、DTS-Dは**84.98%の平均精度を達成し、追加メモリはわずか3.81%であり、個別にファインチューニングされたモデルの性能の99.06%**を回復しました。
  • 著者らは、スパース性係数（$r$）を適応的に調整することで、性能の損失を最小限に抑えつつ、追加メモリ率を1%未満（例：ViT-B/32におけるDTS-D*は0.98%）に削減できると述べています。
• 未知のタスクへの汎化: マージ中に未知のタスク用のファインチューニング済みモデルが利用できないゼロショット・シナリオにおいて：
  • DTSのバリアントは、すべての競合するパーソナライズ手法を大幅に上回りました。例えば、ViT-B/32の未知のタスクにおいて、DTS-Dは平均精度**55.41%**を達成しましたが、他のパーソナライズド・ベースライン（WEMOEやT-Switchなど）は40〜50%の範囲に低下し、しばしばTies-Mergingのような基本的なマージ手法よりも低い性能となりました。
  • これは、意味的類似性に基づく融合が、既知のタスクへの過学習を起こすことなく、タスク固有の知識を効果的に転移できることを示しています。

重要性と主張

本論文は、DTSがモデル・マージングにおける性能保持とストレージ効率の根本的なトレードオフに対処することを主張しています。タスク固有の情報が、忠実度を大きく損なうことなく2ビットの表現に圧縮可能であることを示すことで、著者らは、パーソナライズド・マージングがこれまでこのような手法にはアクセスできなかったリソース制約のある環境でも展開可能であることを論じています。

さらに、本研究は、パーソナライズド・マージング手法が、特定の既知のタスクに最適化しすぎるために、未知のタスクへの汎化に失敗することが多いことを浮き彫りにしています。提案されたデータフリーかつ意味的類似性に基づく適応は、タスク固有のデータや計算オーバーヘッドなしで新しいタスクを扱える、スケーラブルなソリューションを提供します。著者らは、DTSを次世代のマルチタスク・デプロイメントのための、実用的で効率的かつ効果的なパラダイムとして位置付けています。