🤖 machine learning

SAFE-Merge: Data-Free Continual Model Merging with General Knowledge Preservation

SAFE-Merge 是一个无数据持续模型合并框架，它通过采用风险感知稀疏掩码来选择安全的参数更新，随后通过掩码低秩恢复来恢复丢失的任务信息，从而保留预训练的通用知识和先前习得的任务，进而实现在视觉和语言基准测试中的卓越性能。

原作者： Zihuan Qiu, Zhiyang Liao, Chiyuan He, Yi Xu, Fanman Meng, Linfeng Xu, Qingbo Wu, Hongliang Li

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Zihuan Qiu, Zhiyang Liao, Chiyuan He, Yi Xu, Fanman Meng, Linfeng Xu, Qingbo Wu, Hongliang Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明、无所不知的机器人大脑，它是在整个互联网的数据基础上训练出来的。它会说每种语言，能识别每种动物，还能解决几乎所有的谜题。科学家称这种模型为“基础模型”（foundation model）。但有时，你需要让这个大脑精通某一项特定的技能，比如诊断罕见疾病或创作诗歌。为此，你会给它进行一次特殊的“微调”（fine-tuning）训练。问题在于？如果你试图教它一项新专业，它往往会忘记旧的技能，或者更糟的是，它开始变得笨拙，连原本擅长的通用知识也忘得差不多了。

在现实世界中，我们不能为每一项任务都保留一个独立的大脑；那样既昂贵又缓慢。此外，用于训练这些大脑的私密数据通常是无法共享或保存的。因此，研究人员正在尝试研究如何将这些专门化的大脑“合并”成一个大师级大脑，同时又不丢失原有的聪明才智或新学到的技能。这就像是尝试将不同口味的冰淇淋混合成一个完美的球，而不让它变成一团浑浊的泥浆。核心问题是：如何在为一个天才增加新技能的同时，不让他忘记最初是如何成为天才的？

这就是名为 SAFE-Merge 的新方法派上用场的地方。其背后的研究人员意识到，目前大多数方法都有些过于激进。它们试图阻止新任务与旧任务发生冲突，但往往忘记了去保护模型在学习任何特定知识之前所拥有的“通用知识”。这就像是为了修补漏水的屋顶，把瓦片钉得太死，结果不小心弄裂了房屋的地基。SAFE-Merge 改变了游戏规则，它在进行任何更改之前都会问一个简单的问题：“这条新信息是否安全？”

以下是 SAFE-Merge 的工作原理，我们用一个有趣的类比来解释。想象机器人的大脑是一个巨大的图书馆。当一个新任务（比如学习下国际象棋）到来时，它会向图书管理员发送一份“更新”清单。其中一些更新是有帮助的，但另一些可能会意外地覆盖掉关于通用历史或科学的书籍。

第一步：风险意识掩码（Risk-Aware Masking）
首先，SAFE-Merge 扮演着一名超级警觉的图书管理员的角色。它会检查新任务想要进行的每一次更新。它会问：“这个更新看起来是属于通用知识部分的，还是国际象棋这项新游戏的特有内容？”如果一个更新看起来像是试图重写通用历史书籍，图书管理员就会给它贴上“危险”标签，并把它放进一个“禁止触摸”的箱子里（这被称为掩码/masking）。只有那些安全的更新——即那些在增加新技能而不抹除旧智慧的更新——才能留在书架上。这确保了图书馆的基础保持稳固。

第二步：魔法修复工具包（Masked Low-Rank Recovery）
但是等等！图书管理员太小心了，以至于他们可能连同那些危险的历史书籍一起扔掉了一些非常重要的国际象棋技巧。现在的图书馆虽然有了安全的书籍，但国际象棋的部分显得有些空虚。这就是 SAFE-Merge 第二部分大放异彩的地方。它使用了一个“魔法修复工具包”（一个低秩恢复项）来重建缺失的国际象棋技巧。

这里有一个聪明的诀窍：该工具包只能在图书管理员已经判定为安全的书籍上进行操作。它绝对不能碰“禁止触摸”的箱子。它仅利用那些安全的书籍来填补空白，实际上是在说：“我们不能碰危险的东西，但我们可以重新排列那些安全的书籍，从而让国际象棋的技巧再次显现。”通过这种方式，图书馆找回了国际象棋技能，而从未冒过损失通用知识的风险。

第三步：最终合并
最后，图书管理员将安全的更新和魔法修复工具包折叠在一起，并将它们添加到主图书馆中。结果是一个单一的、超级大脑，它既会下国际象棋，也会写诗，还能识别动物，同时依然记得如何成为一个通用的天才。最棒的是？一旦合并完成，“魔法修复工具包”就会消失。最终的大脑不需要任何额外的工具或数据即可运行；它只是一个正常的、快速的大脑，随时待命。

他们发现了什么？
研究人员在视觉任务（如识别图像）和语言任务（如理解句子）上测试了这种方法。他们将 SAFE-Merge 与其他流行的方法进行了对比，发现它始终能取得最佳平衡。在测试中，它在衡量模型在保持新技能的同时保留旧有通用智能程度的指标——H-score 上得分最高。

例如，在合并 20 个不同的图像任务时，SAFE-Merge 比排名第二的方法提高了 4 分多。更令人印象深刻的是，当他们用完全未见的图像测试合并后的模型（以观察其是否失去了通用视觉能力）时，SAFE-Merge 在保持通用知识方面比其他方法表现得好得多。论文指出，通过谨慎对待哪些内容会被改变，并巧妙地修复造成的漏洞，你可以让模型的“基础”保持完整，同时让它学习一系列新的技能。

研究人员还检查了这需要多少计算能力。虽然在设置阶段运行“魔法修复工具包”确实需要一点时间（处理八个任务大约需要 216 秒），但最终的模型在运行时不需要任何额外的计算时间或内存。这是一个一次性的成本，换取的是永久性的升级。

简而言之，SAFE-Merge 表明，你并不需要在学习新事物和保持原有聪明才智之间做选择。通过对修改的内容保持选择性，并巧妙地修复漏洞，你可以构建一个不断变得更聪明，却永远不会忘记自我的模型。

技术摘要：SAFE-Merge

问题定义
本文研究的是无数据持续模型合并（Data-Free Continual Model Merging, DFCMM）场景。在这种场景下，单个骨干模型必须在没有原始训练数据或先前检查点的情况下，通过一系列专门的任务模型进行顺序更新。现有的方法主要关注减轻下游任务之间的干扰，但往往忽略了预训练通用知识的安全性。激进地累积任务更新会侵蚀这些基础知识，导致模型在留存分布上的性能下降，并削弱其获取未来任务的能力。核心挑战在于：如何在没有任务数据的情况下，在整合新任务特定信息的同时，既保留先前学习到的任务，又保留预训练模型的具有迁移性的通用能力。

方法论：SAFE-Merge
作者提出了 SAFE-Merge（用于通用知识保护的稀疏风险感知掩码与低秩恢复），这是一个在参数空间运行的三阶段框架：

风险感知稀疏掩码（Risk-Aware Sparse Masking）：
- 该方法将传入的任务向量 $\tau_t = \theta_t - \theta_0$ 视为对预训练权重 $\theta_0$ 的修改。
- 它在不使用数据的情况下推导出每个参数更新的通用风险评分（general-risk score）。该评分通过对比更新在预训练通用方向（由 $\theta_0$ 的前几个奇异向量近似）上的能量与任务特有方向（由与 $\theta_0$ 正交的 $\tau_t$ 的前几个奇异向量近似）上的能量，来估计“覆盖风险”。
- 通过仅保留风险评分最低（即对通用知识安全且对任务可能有用的）的参数更新来生成二进制掩码 $M_t$ 。高风险的更新会被置零。
掩码低秩恢复（Masked Low-Rank Recovery）：
- 由于掩码会丢弃潜在有用的任务信息，因此引入了一个低秩恢复项（ $B_t A_t$ ）。
- 至关重要的是，这种恢复被约束在相同的掩码区域内。恢复项计算为 $M_t \odot (B_t A_t)$ ，确保任何被风险掩码拒绝的参数都不会被修改。
- 利用两个目标在无数据的情况下优化恢复因子：
  - 保留目标（ $L_{old}$ ）： 惩罚与先前累积任务方向一致的更新，以限制遗忘。
  - 任务恢复目标（ $L_{new}$ ）： 在任务的主子空间内使合并后的更新与传入的任务向量相匹配，以恢复性能。
- 这两个目标通过超参数 $\lambda$ 进行平衡。
融合（Fusion）：
- 最终的更新 $\Delta_t$ 结合了掩码任务向量和掩码恢复项。
- 该更新被融合到运行中的合并骨干模型中： $\theta_{merged, t} = \theta_{merged, t-1} + \Delta_t$ 。
- 在融合后，掩码和低秩因子会被丢弃，从而确保没有额外的推理成本或参数量增加。

核心贡献

风险感知准则： 作者开发了一种无数据的、基于参数的度量标准，通过对比通用子空间重叠与任务特有能量，来选择一组安全的稀疏更新。
掩码低秩恢复： 他们引入了一种机制，利用受约束的低秩更新来恢复被掩码抑制的任务效用，在不修改高风险参数的同时恢复塑性。
经验优越性： 该方法在视觉（CLIP ViT）和语言（Flan-T5）基准测试中进行了评估，展示了在任务准确性和通用知识保护之间更优的平衡。

实验结果

视觉基准测试： 在包含 8、14 和 20 个连续任务的 CLIP ViT-B/32、ViT-B/16 和 ViT-L/14 上，SAFE-Merge 一致取得了最高的 H-score（准确率与通用性能的调和平均值）。
- 对于 20 个任务，它比表现最好的基准方法（NUFILT）在 H-score 上提升了 8.1 个点，并在保持强劲通用性能的同时，实现了 1.2 个点的平均准确率（ACC）增益。
- 在保持通用知识（通过 ImageNet、ImageNet-R、ObjectNet 衡量）方面，它显著优于“简单累积”和其他合并策略（如 Task Arithmetic、Ties-Merging、WUDI-Merging）。
NLP 基准测试： 在包含 5 个 GLUE 任务的 Flan-T5-base 上，SAFE-Merge 取得了最佳 H-score (79.4)，在保持竞争力的准确率和后向迁移能力的同时，比 NUFILT 提高了 0.6 个点。值得注意的是，它使通用性能略高于预训练参考值，而单独的微调会侵蚀该性能。
消融研究：
- 风险感知掩码和低秩恢复组件都是必不可少的；移除其中任何一个都会导致准确率或泛化能力的显著下降。
- 该方法对任务顺序具有鲁棒性，并表明性能曲线中的“拐点”意味着随着序列长度的增加，最优稀疏度（保留比例 $\rho$ ）会降低。
- 计算开销仅在离线合并期间产生（8 个任务约为 216 秒），推理时零成本。

意义与主张
论文声称 SAFE-Merge 解决了持续合并中的一个关键空白：即如何保护预训练骨干模型的通用知识，而这部分知识在追求下游任务准确性时往往会被牺牲。通过明确区分低风险任务更新与关联通用知识的方向，并通过受约束的低秩修正来恢复丢失的效用，SAFE-Merge 在持续合并准确性与留存分布泛化性之间实现了更强的平衡。作者断言，他们的方法提供了一种实用的、无数据的解决方案，可以在不增加推理延迟或模型大小的情况下，扩展到更长的任务序列。

技术摘要：SAFE-Merge

类似论文