🤖 machine learning

Model Merging by Output-Space Projection

本文提出了一种新颖的模型合并框架，该框架将微调检查点的组合表述为残差更新上的凸二次规划问题，提供了一种具有理论依据的闭式诊断方法以预测合并质量，并在语言与视觉基准测试中实证表现优于现有的启发式方法。

原作者： Bethan Evans, Benjamin Etheridge, Stephen Roberts, Jared Tanner

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Bethan Evans, Benjamin Etheridge, Stephen Roberts, Jared Tanner

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一个由五位专家厨师组成的团队。每位厨师都花费数月时间精进一道特定菜肴：一位是披萨大师，一位是寿司大师，一位是意大利面大师，以此类推。现在，你想创造一位能完美烹制所有五道菜的“超级厨师”，但你没有时间从头培训新人。

现有方法的问题
目前，组合这些厨师的标准方式就像委员会投票。

任务算术（Task Arithmetic）：你只是取他们食谱的平均值。
模型汤（Model Soups）：你把他们的食材倒进一个大锅里混合，希望味道不错。
TIES/DARE：你试图剔除他们意见不一致的食材，或者随机扔掉一些。

这些方法效果尚可，但有点像猜测。它们依赖简单的规则（例如“每人一票”），而不是真正计算出“超级厨师”的完美食谱。它们并不确切知道该保留多少披萨厨师的知识，又该保留多少寿司厨师的知识。

论文的新思路：“输出空间投影”
这篇论文的 authors 提出了一种更聪明的模型混合方式。他们不再仅仅平均权重（食材），而是查看结果（做好的菜肴）。

以下是类比：
想象你有一个“校准厨房”用来测试厨师。你给他们一种特定食材（输入），并要求做出一道特定菜肴（输出）。

基础模型：这是你的“白板”厨师，一无所知。
残差（Residuals）：这是白板厨师做出的菜肴与专家厨师做出的菜肴之间的差异。它是每位专家添加的“额外风味”。
目标：你想将这些“额外风味”混合在一起，以便为每个输入得到完美的菜肴。

论文指出：“让我们把这当作一个数学谜题。”

他们将这个问题表述为一个二次规划（Quadratic Program, QP）。用通俗的话说，这是一种 fancy 的说法，意思是：“我们可以写下一个完美的数学方程，告诉我们究竟该添加多少每位专家的‘额外风味’，以将错误降至最低。”

工作原理（“投影”隐喻）
把“完美菜肴”想象成靶子上的靶心。

每位专家厨师投出一支飞镖（他们的更新），落在靠近靶心的某个位置。
“残差”就是他们落点与靶心之间的距离。
现有方法只是猜测如何平均这些飞镖。
本文的方法问道：“如果我们把这些飞镖投影到一条特定的线或平面（子空间）上，哪种组合能让我们最接近靶心？”

他们发现，如果你观察错误的“能量”（飞镖偏离靶心的程度），就可以通过数学计算出混合它们的最优方向。

对角线方法（廉价版）：这假设专家的技能是独立的。这就像说：“披萨厨师只影响披萨，寿司厨师只影响寿司。”这种方法计算快速且简单。
最优基方法（昂贵版）：这认识到技能可能会重叠。也许披萨厨师的酱汁技巧实际上也有助于意大利面。这种方法能找到捕捉专家所有有用“能量”的最佳方向组合。

主要发现

这是一个统一理论：论文表明，目前人们使用的各种流行方法（任务算术、模型汤、TIES）实际上只是这个新数学谜题的特殊简化版本。它们是“启发式”（经验法则）的猜测，而这种方法找到了真正的数学解。
它能预测成功：甚至在合并模型之前，作者就创建了一个“诊断工具”。通过查看校准数据，他们可以计算出一个分数（“捕获的残差能量比例”），从而预测合并后的模型表现如何。这就像在烹饪前检查食材，以知道菜肴是否会美味。
它效果更好：当他们在图像识别（如识别汽车或动物）和语言模型（如大语言模型）上测试时，这种基于数学的方法要么与现有的“猜测”方法持平，要么超越了它们。
- “廉价”的对角线版本通常足够好，而且非常快。
- 当专家的技能复杂且重叠时，“昂贵”的最优版本效果甚至更好。

核心结论
这篇论文不仅仅说“混合这些模型”。它提供了一个数学蓝图，说明如何完美地混合它们。它将模型合并的艺术转化为一个可解的几何问题，表明通过将模型的误差投影到正确的数学空间，你可以创建一个单一、超高性能的模型，而无需从头重新训练。

他们还指出，虽然完美解需要繁重的数学运算（求解特征向量），但更简单的版本（对角线掩码）通常是一个极佳的快速捷径，其表现仍然优于旧方法。

技术摘要：基于输出空间投影的模型合并

问题陈述

特定任务微调的语言和视觉模型的激增，催生了对模型合并的需求——即在不重新训练的情况下，将多个微调检查点合并为单个多任务模型的过程。尽管现有的实用方法（如任务算术、模型汤、TIES 和 DARE）已展现出实证成功，但它们依赖于启发式的设计选择（例如固定标量权重、随机掩码或基于符号的剪枝）。关键的是，这些方法缺乏对最优组合权重的形式化数学表征，也不具备使其被证明为最优的精确损失函数。

方法论

作者提出了一个框架，将模型合并表述为基于输出空间投影视角的残差更新上的凸二次规划（QP）。

1. 表述为凸二次规划

该论文首先观察到，通过对微调残差应用对角掩码进行合并，可以转化为一个凸二次规划问题。

设置：给定一个权重为 $\theta$ 的基础模型，以及 $K$ 个在特定层 $N$ 具有残差更新 $\{\delta^{(k)}_N\}$ 的微调模型，目标是找到一个合并残差 $\delta_{merge}$ 。
对角掩码：该方法在求和之前，将每个残差应用对角掩码 $D_k = \text{diag}(d^{(k)})$ ： $\delta_{merge}(d) = \sum_{k=1}^K D_k \delta^{(k)}_N$ 。
目标：该方法在校准集 $\mathcal{K}$ 上最小化平方输出校准目标 $J(d) = \sum_{j \in \mathcal{K}} \|A_j d + b_j\|^2$ 。其中， $b_j$ 表示基础模型在输入 $x_j$ 上的误差， $A_j$ 编码了残差对输出的线性化效应。
最优性：求解该 QP 可得到最小化平方输出损失的权重。现有方法（任务算术、模型汤、TIES、DARE）被证明对应于该 QP 的特定可行点或特例（例如固定标量或特定随机掩码），这意味着在相同目标下，QP 解在理论上更优或相等。

2. 广义基与不可约误差

作者将对角掩码方法扩展为广义基表述，以解决轴对齐（对角）合并的局限性。

投影视角：合并被视为利用候选校正的子空间来近似基础模型的残差误差。最优解对应于将基础模型残差投影到由候选更新在输出空间中张成的子空间上。
不可约误差：论文推导出了任何选定基的不可约误差的闭式诊断。该误差由选定子空间捕获的残差能量比例决定。
最优基：分析表明，松弛投影问题的最优基由残差能量矩阵 $S = \sum_{j} b_j b_j^\top$ 的主特征向量给出。
权衡表征：该框架量化了对角 QP 的计算效率与最优基的性能增益之间的权衡。它确立了当模型更新在共享基中分解为独立模式时，对角合并是最优的；否则，“次优性差距”可通过捕获的能量比例进行测量。

3. 多层扩展

对于多层合并，作者提出了一种逐层顺序算法。由于层间的非线性相互作用导致联合优化是非凸的，该方法顺序应用单层 QP。在每一步，使用当前合并模型更新残差，求解下一层的 QP，并重新计算必要的雅可比矩阵。

主要贡献

统一框架：该论文将现有的启发式合并方法（任务算术、模型汤、TIES、DARE）纳入对角掩码 QP 的特例，提供了统一的数学视角。
凸优化表述：它确立了模型合并可以表述为残差更新上的凸二次规划，保证了所选基的全局最小值。
闭式诊断：作者引入了一种可计算的诊断指标——选定基捕获的残差能量比例，该指标仅利用校准集即可预测下游合并质量，无需进行完整的下游评估。
最优基表征：该工作确定了残差激活的输出加权主成分作为最小化平方输出损失的最优基，阐明了何时对角合并已足够，何时需要更复杂的基。
实证验证：该框架在语言（LLaMA 3.1）和视觉（ViT-B/32、MNIST）基准测试中得到了验证，展现出相对于现有启发式方法的一致提升。

实验结果

单层性能：在 ViT-B/32（在 CIFAR-10、STL-10、Imagenette、EuroSAT 上微调）和 LLaMA 3.1 的单层合并实验中，QP 解在所有数据集上实现了最低的均方误差（MSE），并且与任务算术、模型汤、TIES、DARE 和 Fisher 加权合并相比，取得了最佳平均准确率。
基分析：在 MNIST 数字分类任务上的实验表明，最优基（残差矩阵的前几个特征向量）始终实现最低的 MSE。标准对角基虽然不如最优基有效，但仍具有竞争力，并优于基准启发式方法，验证了其作为高效代理的实用性。
多层增益：LLaMA 3.1 上的顺序多层扩展在代码、指令遵循和数学任务中，相较于基线方法，在 MSE 和准确率方面均显示出一致的改进。
诊断效用：“捕获能量”指标成功预测了不同基选择性能排名，证实了残差能量捕获与下游损失之间的理论联系。

意义与主张

该论文声称提供了一个统一的理论框架，解释了现有启发式方法的成功，并提供了改进它们的原则性方法。

理论严谨性：与依赖临时规则的前述方法不同，该方法提供了一个精确的数学概念（通过投影最小化平方输出损失），并证明该方法在此概念下是最优的。
实用价值：该框架提供了一种可计算的诊断，用于确定何时需要昂贵的最优基，而何时较便宜的对角 QP 已足够。
谦逊态度：作者承认了局限性，指出该框架是为线性化的平方输出目标推导的。他们明确表示，将框架扩展到非二次损失（如交叉熵）以及在高分辨率设置下开发最优基的可扩展近似方法，仍是未来工作的重要方向。他们还指出，较低的 MSE 并不总是与较高的任务准确率完全相关，这是他们在大语言模型实验中观察到的局限性。

总之，该论文将模型合并从权重的启发式组合重新框架化为输出空间中的凸优化问题，既为现有方法提供了理论依据，也为更优的合并策略指明了方向。