💻 computer science

PACT: Preserving Anchored Cores in Task-vectors for Model Merging

本論文は、タスクベクトルではなく事前学習済み重みに埋め込まれた重要なタスク固有の知識である「耐力壁（Load-Bearing Wall）」次元を特定して保持することで、知識の劣化を防ぎ、既存のタスクベクトルベースの結合手法の性能を大幅に向上させるモデル結合フレームワークであるPACTを紹介するものである。

原著者： Ningyuan Shi, Zhipeng Zhou, Hao Wang, Chunyan Miao, Peilin Zhao

公開日 2026-06-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ningyuan Shi, Zhipeng Zhou, Hao Wang, Chunyan Miao, Peilin Zhao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

全体像：AIモデルを壊さずに統合する

想像してみてください。あなたには、あらゆる料理に精通したマスターシェフ（事前学習済みモデル）がいます。その後、あなたは彼に、イタリアン、和食、メキシカンという3つの特定の料理を専門にするよう依頼しました。あなたは彼を個別に訓練し、彼はそれぞれの料理のエキスパートになりました。

さて、あなたはこれら3人の専門家シェフを、一人の「スーパーシェフ」に統合したいと考えています。しかも、ゼロから再訓練することなく、3つの料理すべてを完璧に作れるようにしたいのです。このプロセスが**モデル・マージング（モデルの統合）**です。

長い間、科学者たちは、この統合を行う最善の方法は、シェフが各料理を学ぶために行った「変化」だけを見ることだと考えてきました。彼らはその変化を**「タスクベクトル（Task Vectors）」**と呼びました。従来の方法は、「シェフがイタリアンのために書いたメモ、和食のために書いたメモ、メキシコンのために書いたメモをただ混ぜ合わせ、それを元のレシピ本に付け加えればいい」という考え方でした。

問題点： この論文は、従来の方法には欠陥があると主張しています。それは、シェ夫が新しいことをすべて「メモを書くこと」だけで学んだと仮定しているからです。実際には、シェフの元々持っていた深い料理への理解（事前学習済みモデル）には、訓練中にはほとんど変化しなかった、極めて重要な「秘密の知識」が含まれています。もしメモを不注意に混ぜ合わせてしまうと、それらの元々の不可欠な基礎を、誤って上書きしたり破壊したりしてしまう可能性があるのです。

発見：「耐力壁（Load-Bearing Walls）」

著者たちは、**「耐力壁（LBW）次元」**と呼ばれるものを発見しました。

比喩：
シェフの元のレシピ本を、ある「家」だと想像してください。

タスクベクトルは、シェフが家をイタリア風、和食風、あるいはメキシカン風に見せるために追加した、新しい家具や装飾品のようなものです。
LBW次元は、その家の実際の壁や土台です。

シェフがイタリア料理に特化したとき、彼は壁を壊したのではなく、単に家具を動かしただけです。しかし、それらの壁は、家が成立するために絶対に必要なものです。

従来の統合手法は、この「家具（タスクベクトル）」だけを見ていました。そのため、イタリア風の家具と和食風の家具を混ぜ合わせようとしたとき、イタリア風の家が立っているために必要な「壁」を、誤って倒してしまうことがあったのです。その結果、「スーパーシェフ」は基礎が台無しになってしまったため、イタリア料理をうまく作れなくなってしまいました。

解決策：PACT（Anchored Coresの保存）

これを解決するために、著者たちはPACTと呼ばれる新しい手法を生み出しました。

PACTの仕組み（比喩）：
単に家具を混ぜるのではなく、PACTは**「保護シールド」**として機能します。

壁を特定する： 混ぜ合わせる前に、PACTは元の家を調べ、どの壁（LBW次元）がイタリア料理にとって重要か、どの壁が和食にとって重要か、といったことを正確に特定します。
シールドを構築する： 各料理に対して、それらの特定の壁の周りに「フォースフィールド（力場）」を作ります。
混合をフィルタリングする： 和食の家具をイタリア風の家に加えようとする際、PACTはこうチェックします。「この新しい家具は、イタリアの壁にぶつからないか？」もし答えが「イエス」であれば、PACTはその特定の家具を取り除いてから追加します。
安全に統合する： その結果、新しい家具は追加されつつも、すべての料理にとっての重要な壁は手つかずのまま、強く保たれた状態で統合された家ができあがります。

なぜこれが重要なのか

この論文は、PACTを使用することで、以前よりもはるかに優れたモデル統合が可能になることを証明しています。

PACTなし： 統合されたモデルは、基礎にひびが入った家のようなものです。多くのタスクの重みに耐えられず、崩壊してしまいます。
PACTあり： 統合されたモデルは、各タスクの基礎を維持したまま、新しいスキルをうまく組み合わせることができます。

著者たちは、さまざまなコンピュータビジョン・タスク（車の認識、交通標識、花など）でこれをテストしました。その結果、PACTは既存の統合手法の性能を一貫して向上させ、最終的な「スーパーシェフ」が、これまでのどの手法よりも優れた成果を出せることを明らかにしました。

スピードに関する短い注記

この「壁の特定」を行うには、計算コストがかかります（すべてのレンガを検査するために建築家チームを雇うようなものです）。著者たちは、数学的なショートカットである「ランダム化SVD（Randomized SVD）」を用いた、PACTの「高速版」も開発しました。このショートカットは、家の中のすべての部屋を歩いて回る代わりに、ドローンを使ってスキャンするようなもので、非常に高速でありながら、高い精度で重要な壁を見つけ出すことができます。

まとめ

従来の方法： 変化（タスクベクトル）を混ぜ合わせ、元のモデルが壊れないことを祈る。（結果：しばしば壊れる）。
新しい方法（PACT）： 元のモデルの中で変化しなかった目に見えない重要な部分（耐力壁）を特定し、それを保護し、その周囲に変化を慎重に混ぜ合わせる。（結果：より強く、安定したモデルになる）。

技術要約: PACT – タスクベクトルにおけるアンカーコアの保存（Preserving Anchored Cores in Task-Vectors for Model Merging）

問題提起

モデル・マージングは、マルチタスク学習に代わるトレーニングフリーな手法として台頭しており、複数のタスク特化型ファインチューニング済みモデルを単一のマルチタスクモデルへと結合することを目指している。支配的なパラダイムである**タスク・アリスメティック（Task Arithmetic）**は、ファインチューニングされた重みを、事前学習パラメータ（ $\theta_0$ ）とタスクベクトル（ $\Delta_t = \theta_t - \theta_0$ ）に分解し、タスクベクトル空間のみでマージを行う。このアプローチは、すべてのタスク固有の知識がタスクベクトル内にエンコードされており、事前学習済みモデルは単なる共有の初期化点として機能するという仮定を暗黙的に置いている。

著者らは、この仮定は事前学習済みモデルが持つ固有のタスク嗜好性により成立しないと主張し、この問題に異議を唱えている。彼らは、タスクに不可欠な知識がタスクベクトルへ完全に転送されるのではなく、事前学習済み重みの中に「アンカー（固定）」されたまま残っている現象を特定した。これらの次元は荷重支持壁（Load-Bearing Wall: LBW）次元と呼ばれ、ファインチューニング中に更新が極めて小さく（ $|\Delta_t|$ が小さい）、ながらもタスクの性能維持に不可欠な性質を持つ。既存のマージ手法は、タスクベクトルのみを操作するため、複数のタスクを集計する際に、これらのLBW次元を意図せず上書きまたは歪めてしまい、結果として性能低下を招いている。

手法: PACT (Preserve Anchored Cores)

LBW次元の脆弱性に対処するため、著者らは、マージプロセス中に事前学習済みモデルにアンカーされたタスク固有の知識を保護するように設計された、データフリーのフレームワークであるPACTを提案する。

1. LBW次元の特定

論文では、以下の2つの観点からLBW次元を特徴付けている：

スカラー重みの観点: フィッシャー情報量とエンリッチメント・スコアを用いることで、タスクベクトル内での大きさは小さいが、タスク損失に対する感度が高い特定のパラメータを特定する。
部分空間の観点: 特異値分解（SVD）を用いて、タスク $t$ のLBW部分空間（ $V_{t,LBW}$ ）を定義する。これは、事前学習済み重みの主成分部分空間（ $V_{0,K}$ ）を、タスクのアクティブな更新部分空間（ $V_{t,k}$ ）の直交補空間上に投影することで導出される。形式的には以下の通りである：
$V_{t,LBW} = \text{orth}\left((I - V_{t,k}V_{t,k}^\top)V_{0,K}\right)$
この部分空間は、ファインチューニング中に手つかずのまま残された、タスクにとって重要な事前学習済みの特徴方向を捉える。

2. PACT アルゴリズム

PACTは、標準的なマージアルゴリズム（例：Task Arithmetic, TSV-M, Iso-C）を適用する前に、タスクベクトルをフィルタリングすることで動作する。核心となるメカニズムは、各タスクに対して**グローバル直交シールド（Global Orthogonal Shield）**を構築し、そのタスクの更新が他のタスクのLBW部分空間を妨害するのを防ぐことである。

シールドの構築: 特定のタスク $t$ について、アルゴリズムは他のすべてのタスクのLBW部分空間（ $j \neq t$ における $V_{j,LBW}$ ）を集約し、QR分解を用いて統一された正規直交基底 $V_{t}^{protect}$ を構築する。このシールドは、他のすべてのタスクが必要とする、クリティカルな事前学習済み依存関係の連合を表す。
フィルタリング: タスクベクトル $\Delta_t$ をこのシールドの直交補空間に投影し、他のタスクの「聖域」を上書きしてしまう成分を除去する：
$\tilde{\Delta}_t = \Delta_t - \Delta_t V_{t}^{protect}(V_{t}^{protect})^\top$
マージ: フィルタリングされたベクトル $\{\tilde{\Delta}_t\}$ を用いて、既存のアルゴリズムでマージを行う。

3. 効率的なバリアント（Randomized SVD）

スケーラビリティを向上させるため、著者らは**ランダム化SVD（RSVD）**を用いた効率的なバリアントを提案している。PACTは主に上位 $k$ 個の特異ベクトルの抽出を必要とするため、RSVDは計算複雑性（ $O(mn^2)$ や $O(n^3)$ に対し $O(mnk)$）とメモリフットプリントを大幅に削減しながら、高周波ノイズを平滑化する暗黙的な正則化器としても機能しつつ、これらの成分を近似する。

主な貢献

タスク・アリスメントの仮定の再考: 本論文は、タスクベクトルがタスク固有の知識を完全には捉えていないことを経験的に示している。著者らは、更新は微小であるが性能に不可欠なパラメータであるLBW次元の存在を特定し、因果関係を検証した。
因果的検証: 制御された摂動実験（スカラーおよび部分空間レベル）を通じて、以下のことを示している：
- LBW次元を変更すると（たとえその大きさが小さくても）、壊滅的な性能低下を引き起こす。
- 標準的なマージはこれらの次元を上書きするが、これらを復元することで性能が回復する。
- LBWコンポーネントのアブレーション（除去）は、ランダムな部分空間のアブレーションよりも桁違いに大きな性能低下をもたらす。
PACTフレームワーク: 干渉する更新をフィルタリングするための直交シールドを構築する、データフリーの幾何学的フレームワークを提案しており、既存のスカラー重みベースおよび部分空間ベースのマージ手法とシームレスに統合できる。
理論的分析: PACTによるフィルタリングによる性能低下が、タスクの勾配および更新の保護空間への投影によって制御されることを示す理論的境界を提供し、タスクの更新がそのアクティブな部分空間に集中している場合、自己の性能が維持されることを保証している。

実験結果

Visionベンチマーク（ViT-B/32, ViT-B/16, ViT-L/14）において、8、14、20のタスクにわたる広範な実験を実施した。これには、フルファインチューニングとLoRAファインチューニングの両方の設定が含まれる。

性能向上: PACTは主要なマージ手法（Task Arithmetic, TSV-M, Iso-C）の性能を一貫して向上させている。
- PACT-Iso-Cは、評価された全9シナリオ（3つのバックボーン $\times$ 3つのタスク数）において、最先端（SOTA）の性能を達成した。
- ViT-L/14を用いた20タスクの設定において、PACT-Iso-Cは95.1%の絶対精度と98.3%の正規化精度に達し、従来の最高値（Iso-CTS）を大幅に上回った。
LoRAへの適応: PACTはLoRAでファインチューニングされたモデルのマージ性能も向上させており、LBW効果が（LBWの知識はベースモデルに存在するため）ファインチューニング中に事前学習パラメータが凍結されている場合でも持続することを証明している。
効率性: RSVDバリアントは、暗黙的なデノイジングによる効果も含め、フルSVDと同等（あるいは時にはそれ以上）の性能を達成しつつ、計算複雑性を劇的に削減している。
アブレーション研究:
- 静的 vs 動的: 他のタスクのLBW部分空間を考慮せずに事前学習コアに対してのみフィルタリングを行うスタティック・ベースライン（S-PACT）は、限定的な利点しか得られず、相互的な保護の必要性を浮き彫りにした。
- 層ごとの深さ: 侵入エネルギーが最も高い基礎的な初期層をフィルタリングすることが最も顕著な改善をもたらすが、高いタスク負荷に対してはグローバルなフィルタリングが必要となる。

意義と主張

本論文は、モデル・マージングとは単にタスク更新間の衝突を解決することではなく、クリティカルな事前学習の基礎を能動的に尊重し、保護することであると主張している。LBW次元を特定することで、著者らは既存のタスクベクトルベースの手法における根本的な盲点を明らかにしている。すなわち、彼らはタスクベクトルに明示的にエンコードされているものは操作するが、事前学習済みモデルに暗黙的に蓄積されている知識は見落としているのである。

PACTの意義は、以下の点にある：

既存の代数的なアプローチを補完する、モデル・マージングに対する幾何学的な視点を提供すること。
元の訓練データにアクセスすることなく、既存のあらゆるタスクベクトル・マージング・パイプラインに統合可能な、モジュール式のデータフリーなソリューションを提供すること。
多様なビジョンタスクとモデルスケールにおいて新たなSOTA性能を確立し、アンカーされたコアを保護することが、堅牢なマルチタスク合成に不可欠であることを証明したこと。

著者らは、PACTは一定の計算オーバーヘッドを導入するものの（RSVDバリアントによって緩和される）、マージ中の事前学習済みモデルに固有の構造的依存関係を扱う上で、必要なパラダイムシフトを提供するものであると結論づけている。今後の課題として、このフレームワークを大規模言語モデル（LLM）へ拡張することや、保護シールドの次元を適応させる可能性が示唆されている。