技术摘要：PACT —— 在任务向量合并中保护锚定核心

问题陈述

模型合并已成为多任务学习的一种无需训练的替代方案，旨在将多个特定任务的微调模型组合成一个单一的多任务模型。主流范式——任务算术（Task Arithmetic）——将微调后的权重分解为预训练参数 ($\theta_0$) 和任务向量 ($\Delta_t = \theta_t - \theta_0$)，并仅在任务向量空间内进行合并。这种方法隐含地假设所有的任务特定知识都编码在任务向量中，而预训练模型仅作为共享的初始化点。

作者对这一假设提出了质疑，认为由于预训练模型存在内在的任务偏好，该假设并不成立。他们发现了一种现象：任务关键知识仍然“锚定”在预训练权重中，而非完全转移到任务向量中。这些维度被称为承重墙（Load-Bearing Wall, LBW）维度，它们在微调期间表现出极小的更新量（较小的 $|\Delta_t|$），但对于维持任务性能至关重要。现有的合并方法通过仅在任务向量上进行操作，在聚合多个任务时，会无意中覆盖或扭曲这些 LBW 维度，从而导致性能下降。

方法论：PACT（保护锚定核心）

为了应对 LBW 维度的脆弱性，作者提出了 PACT，这是一个旨在合并过程中保护锚定在预训练模型中的任务特定知识的数据无关（data-free）框架。

1. 识别 LBW 维度

论文从两个角度表征了 LBW 维度：

• 标量权重视角（Scalar-Weight Perspective）： 利用费舍尔信息（Fisher Information）和富集得分（enrichment scores），作者识别出特定的参数，这些参数在任务向量中幅度较小，但对任务损失具有高敏感性。
• 子空间视角（Subspace Perspective）： 利用奇异值分解（SVD），作者定义了任务 $t$ 的 LBW 子空间 ($V_{t,LBW}$)。这是通过将预训练权重的特征子空间 ($V_{0,K}$) 投影到任务活跃更新子空间 ($V_{t,k}$) 的正交补空间上得到的。形式化表示为：
  $$V_{t,LBW} = \text{orth}\left((I - V_{t,k}V_{t,k}^\top)V_{0,K}\right)$$
  该子空间捕捉了对任务至关重要但在微调期间保持不变的预训练特征方向。

2. PACT 算法

PACT 通过在应用标准合并算法（如 Task Arithmetic, TSV-M, Iso-C）之前过滤任务向量来运行。其核心机制是为每个任务构建一个全局正交屏蔽（Global Orthogonal Shield），以防止其更新干扰其他任务的 LBW 子空间。

• 屏蔽构建： 对于特定任务 $t$，算法聚合所有其他任务的 LBW 子空间（即对于 $j \neq t$ 的 $V_{j,LBW}$），并使用 QR 分解构建一个统一的正交基 $V_{t}^{protect}$。该屏蔽代表了所有其他任务所需的关键预训练依赖项的并集。
• 过滤： 任务向量 $\Delta_t$ 被投影到该屏蔽的正交补空间上，以移除那些会覆盖其他任务“神圣空间”的分量：
  $$\tilde{\Delta}_t = \Delta_t - \Delta_t V_{t}^{protect}(V_{t}^{protect})^\top$$
• 合并： 过滤后的向量 $\{\tilde{\Delta}_t\}$ 随后使用现有算法进行合并。

3. 高效变体（随机化 SVD）

为了提高可扩展性，作者提出了一个使用 随机化 SVD (RSVD) 的高效变体。由于 PACT 主要需要提取前 $k$ 个奇异向量，RSVD 以显著降低的计算复杂度（$O(mnk)$对比$O(mn^2)$或$O(n^3)$）和内存占用近似这些分量，同时起到隐式正则化器的作用，平滑高频噪声。

核心贡献

1. 重新审视任务算术假设： 论文通过实验证明，任务向量并未完全捕捉到任务特定知识。它识别并因果验证了 LBW 维度 的存在——即那些接收微量更新但对性能至关重要的参数。
2. 因果验证： 通过受控的扰动实验（在标量和子空间层面），作者展示了：
   • 修改 LBW 维度（即使幅度很小）也会导致灾难性的性能下降。
   • 标准合并会覆盖这些维度，而恢复这些维度可以找回性能。
   • 对 LBW 组件进行子空间消融导致的性能下降比随机子空间消解高出数个数量级。
3. PACT 框架： 提出了一个数据无关的几何框架，通过构建正交屏蔽来过滤干扰更新，能够无缝集成到现有的基于标量权重和基于子空间的合并方法中。
4. 理论分析： 作者提供了理论界限，表明 PACT 过滤造成的性能下降受任务梯度及其在保护空间上的投影控制，确保如果任务更新集中在其活跃子空间内，则其自身性能得以保留。

实验结果

在视觉基准测试（ViT-B/32, ViT-B/16, ViT-L/14）上进行了广泛实验，涵盖 8、14 和 20 个任务，涉及全参数微调和 LoRA 微调两种设置。

• 性能提升： PACT 持续增强了主流合并方法（Task Arithmetic, TSV-M, Iso-C）。
  • PACT-Iso-C 在所有 9 个评估场景（3 个骨干网络 $\times$ 3 种任务数量）中均达到了最先进水平（SOTA）。
  • 在 ViT-L/14 的 20 任务设置下，PACT-Iso-C 达到了 95.1% 的绝对准确率和 98.3% 的归一化准确率，大幅超越了之前的最优方法（Iso-CTS）。
• LoRA 适配： PACT 也提高了 LoRA 微调模型的合并性能，证明了即使在微调期间冻结预训练参数时，LBW 效应依然存在（因为 LBW 知识驻留在基础模型中）。
• 效率： RSVD 变体实现了与全量 SVD 相当（有时甚至由于隐式去噪而更优）的性能，同时大幅降低了计算复杂度。
• 消融研究：
  • 静态 vs. 动态： 一个仅针对预训练核心进行过滤而不考虑其他任务 LBW 子空间的静态基线（S-PACT）收益有限，这凸显了动态、相互保护的必要性。
  • 层级深度： 过滤早期基础层（此处侵入能量最高）带来的改进最为显著，尽管对于高任务负载，全局过滤是必要的。

重要性与主张

论文声称，模型合并不仅是解决任务更新之间的冲突，更是关于主动尊重并屏蔽关键预训练基础。通过识别“承重墙”维度，作者揭示了现有基于任务向量的方法中一个根本性的盲点：它们操纵的是显式编码在任务向量中的内容，却忽略了隐式存储在预训练模型中的知识。

PACT 的意义在于其能够：

• 提供一个与现有代数方法互补的几何视角来进行模型合并。
• 提供一种模块化、数据无关的解决方案，可以集成到任何现有的任务向量合并流水线中，而无需访问原始训练数据。
• 在多种视觉任务和模型规模下建立新的 SOTA 性能，证明保护锚定核心对于稳健的多任务合成至关重要。

作者总结道，虽然 PACT 引入了一些计算开销（可通过 RSVD 变体缓解），但它为处理合并过程中固有的预训练模型结构依赖性提供了一个必要的范式转变。未来的工作建议将该框架扩展到大语言模型（LLMs），并探索用于保护屏蔽的自适应维度。