🤖 machine learning

Model Fusion via Retrofitting

本文提出了一种以神经元为中心的模型融合框架，该框架通过将中间神经元分组并利用归因分数对齐显著特征，将融合视为表征匹配问题，从而在无需重新训练的情况下，于 VGG、ResNet 和 ViT 等多种架构上实现了超越现有方法的性能，尤其在零样本和非独立同分布场景中表现尤为突出。

原作者： Phoomraphee Luenam, Andreas Spanopoulos, Amit Sant, Thomas Hofmann, Sotiris Anagnostidis, Sidak Pal Singh

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Phoomraphee Luenam, Andreas Spanopoulos, Amit Sant, Thomas Hofmann, Sotiris Anagnostidis, Sidak Pal Singh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有两位专家级厨师，他们花费多年时间完善各自独特的食谱。厨师 A 专精意大利菜，厨师 B 专精日本菜。他们从未共事过，使用不同的工具，甚至可能用不同的单位来测量食材。

现在，想象你想创造一位能够完美烹制意大利菜和日本菜的“主厨”，但你不能要求他们回到烹饪学校从头重新学习一切。你只想立即将他们的现有知识融合到一个人身上。

这就是模型融合（Model Fusion）的问题。在人工智能（AI）领域，我们通常拥有分别训练的不同神经网络（即“厨师”）。我们希望将它们合并为一个强大的模型，而无需在数据上进行昂贵且耗时的重新训练。

问题：“语言障碍”

论文指出，简单地平均这两个模型的权重（就像逐页混合他们的食谱书）通常会失败。为什么？因为即使它们是在相似的数据上训练的，它们学习的方式也不同。

“排列”问题：想象厨师 A 的“香料架”，其中“孜然”放在顶层抽屉，而厨师 B 的“孜然”放在底层抽屉。如果你只是平均他们的抽屉，最终会得到一团混乱且毫无意义的混合物。AI 神经元（即“食材”）处于不同的顺序和位置。
“零样本”挑战：大多数现有方法在厨师背景相似时表现尚可。但如果它们是在完全不同的数据上训练的（例如一个在意大利菜上，一个在日本菜上），现有方法就会彻底失败。合并后的模型会变得困惑，表现甚至不如单独的厨师。

解决方案：通过“改造”（Retrofitting）设定“目标”

作者提出了一种名为通过改造进行模型融合（Model Fusion via Retrofitting）的新方法。他们不是简单地平均厨师，而是使用一个巧妙的两步过程，充当翻译和教练的角色。

步骤 1：“分组”（寻找双胞胎）

首先，算法观察神经元（神经元就像人脑中的单个神经元，或者是厨师的特定“技能”）在看到数据时实际在做什么。

它将厨师 A 和厨师 B 的相似神经元归为一组。
创意转折：论文引入了神经元归因分数（Neuron Attribution Scores）。想象并非所有食材都同等重要。有些香料对风味至关重要；而有些只是装饰。该算法识别出哪些神经元是“明星球员”（高重要性），哪些是“板凳队员”（低重要性）。
然后，它为每个组创建一个**“目标”**。这就像一张“黄金标准”食谱卡，代表了按重要性加权后的分组神经元的完美平均值。

步骤 2：“改造”（教练）

现在，算法构建新的“主厨”（融合后的模型）。它不只是复制旧厨师；而是训练新模型的层，使其匹配刚刚创建的这些“黄金标准”目标。

这就像带着一名新学徒说：“不要只是模仿厨师 A 或厨师 B。看看我们设计的这个特定目标菜肴。调整你的烹饪，直到你的输出完美匹配这个目标。”
这从网络的底部到顶部逐层进行。

为什么这更好（结果）

论文在各种 AI 架构（如 VGG、ResNet 和 Vision Transformers）上测试了这种方法，发现：

它在其他方法失败时依然有效：在“零样本”场景（即在没有额外新数据训练的情况下合并模型）中，现有方法通常会崩溃并退化为随机猜测。作者的方法保持了高准确率，即使模型是在完全不同的、不重叠的数据上训练的（例如“分片”设置，其中一个模型只看到红色汽车，另一个只看到蓝色汽车）。
它尊重重要性：通过使用这些“神经元归因分数”，该方法确保原始模型中最关键的特征得以保留，而不是在不太重要的特征的噪声中丢失。
它具有灵活性：它适用于不同类型的 AI 架构，而不仅仅局限于某一种特定类型。

权衡

论文承认，与“快速但粗糙”的平均方法相比，这种方法在计算上稍慢且更重。然而，他们认为这是值得的，因为：

它能立即产生一个可用的模型（零样本），而其他方法通常需要数小时甚至数天的额外微调才能生效。
从长远来看，修复损坏模型所节省的时间超过了初始融合所花费的额外时间。

总结类比

旧方法：你取两种不同的语言，逐字翻译成第三种语言，并希望意思保持不变。这通常会导致胡言乱语。
新方法（改造）：你识别出两位厨师都理解的核心概念（即“目标”），根据重要性赋予它们价值，然后教导一位新厨师完美地掌握这种特定的、统一的“语言”。

论文得出结论，这种方法使我们能够有效地结合独立的 AI 模型，即使它们差异很大，也无需从头重新训练它们。

技术摘要：通过重适配实现模型融合

问题陈述

模型融合旨在将独立训练好的神经网络合并为单一模型，而无需重新训练，从而为那些因数据隐私限制（例如联邦学习）导致重新训练成本过高或不可行的场景提供解决方案。然而，由于排列不变性、随机初始化以及异构训练数据分布引起的表征分歧，该任务变得复杂。

现有方法，如OTFusion（Singh & Jaggi, 2020）和Git Re-Basin（Ainsworth et al., 2023），依赖于线性模式连通性（LMC）猜想，该猜想认为独立训练的网络位于同一个低损失盆地中。虽然 LMC 对于在相同数据上训练的模型成立，但先前的研究表明，即使是在相同数据上训练的模型，也可能学习到分歧的内部特征。因此，现有的融合方法在零样本设置（无需进一步训练的融合）和**非独立同分布（Non-IID）**数据条件下表现显著不佳，往往退化至接近随机性能。此外，当前方法通常缺乏跨架构的通用性（例如，在 Transformer 上表现挣扎），并且依赖于可能未完全优化的基础模型，从而掩盖了融合算法的真正潜力。

方法论

作者提出了一类以神经元为中心的融合算法，将模型融合重新框架化为一个原则性的表征匹配问题。该方法不再简单地平均权重或寻找排列矩阵，而是将融合视为一个两阶段过程：将父模型中的神经元分组为目标表征，然后训练融合模型的子网络以逼近这些目标。

核心框架

表征代价：目标由基础模型神经元激活值与融合模型中最接近神经元之间的平方 $L_2$ 距离定义，并加权以神经元重要性分数（归因分数）。这惩罚了对显著特征的误表征。
分解（定理 1）：作者引入辅助目标向量 $T$ $T$ ，将表征代价分解为两个可解释的组件：
- 分组误差：衡量基础模型神经元围绕重要性加权质心（ $T_k$ ）聚类的程度。
- 逼近误差：衡量融合模型的输出神经元逼近这些质心的程度。
两阶段算法：
- 步骤 1（分组）：对基础模型中的神经元进行聚类，以最小化分组误差。这产生了作为目标的重要性加权质心。
- 步骤 2（重适配）：优化融合模型在当前层的权重（线性层通过闭式解，非线性层通过随机梯度下降 SGD），以最小化针对这些目标的逼近误差。该过程自底向上通过网络层级进行。

算法变体

本文根据分组策略引入了两种主要算法：

匈牙利融合（HF）：专为规模相等的模型设计，进行层级间的一对一匹配。它使用匈牙利算法寻找最优分配。
K-means 融合（KF）：专为通用情况设计，包括任意宽度和深度的模型。它使用启发式 K-means 聚类来分组神经元。

这两种算法均具有线性（仿射层的闭式解）和基于梯度（非线性层的 SGD/Adam）变体。

关键创新

神经元归因：与 prior work 不同，该方法引入了神经元重要性分数（例如 Conductance, DeepLIFT），使对齐偏向显著特征，从而提高了在异构设置下的性能。
架构灵活性：该方法适用于任何可模块化表示为层级有向无环图（DAG）的架构，并在 VGG、ResNet 和视觉 Transformer（ViT）上进行了实证验证。
零样本能力：通过显式优化聚类表征的逼近，该方法在不依赖先前方法所需的广泛微调的情况下，实现了强大的性能。

实验结果

作者在三种训练体制下评估了他们的方法：分片（不相交的类别集）、非 IID（偏斜的类别分布）和完整数据集。

分片/非 IID 体制：在极端的非 IID 设置下（例如 CIFAR-100 上的 6 路类别划分），现有方法如 OTFusion 和 Git Re-Basin 退化至接近随机的准确率（通常 <5%）。相比之下，KF-Gradient 和 HF-Gradient 保持了稳健的零样本准确率（例如，在 CIFAR-100 的 6 路划分上达到 34.7%，而基线方法 <1.5%）。
完整数据集体制：即使模型是在完整数据集上训练的，所提出的方法在零样本融合中仍优于基线。例如，在 CIFAR-100 上，KF-Gradient 实现了 63.0% 的零样本准确率，而 Transformer OTFusion 仅为 4.3%。经过微调后，所提出的方法始终接近集成性能，同时保持了单模型推理成本。
压缩与异构性：该方法成功融合了不同宽度的模型，并将较大模型（ResNet-50）压缩到较小模型（ResNet-18）中，在数据有限的情况下，其准确率显著高于标准知识蒸馏（KD）。
鲁棒性：该方法表现出对不同融合数据集大小的鲁棒性，数据增强有效地减少了对大型融合数据集的需求。

意义与主张

本文声称解决了先前研究中的三个关键差距：

可复现性：提供了一个灵活的、开源的重新实现，促进了跨架构的系统性基准测试。
基础模型质量：证明了即使基础模型训练良好，融合方法也能带来显著改进，挑战了融合结果不佳 solely 归因于基线模型弱的观点。
异构数据：表明现有方法在非 IID 条件下的零样本融合中失败，而所提出的以神经元为中心的方法成功整合了在离散或偏斜数据分布上训练的模型。

作者强调，他们的方法是首个成功将神经元重要性分数纳入模型融合的方法，从而在现有基线之上实现了持续改进，特别是在零样本和非 IID 场景下，其他方法在这些场景中往往失效。他们将该方法定位为联邦学习和隐私保护模型聚合的实用解决方案，在这些场景中重新训练并非选项。虽然承认基于梯度的变体计算成本高于轻量级基线，但作者认为，这种开销是合理的，因为它能够在竞争对手产生不可用结果的体制下生成可行的融合模型。