💻 computer science

Partial Fusion of Neural Networks: Efficient Tradeoffs Between Ensembles and Weight Aggregation

本文介绍了部分融合，这是一种新颖的方法，它通过部分最优传输选择性地合并相似神经元，在神经网络集成与权重聚合之间进行插值，从而实现了计算效率与模型性能之间的灵活权衡。

原作者： Fabian Morelli, Stephan Eckstein

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Fabian Morelli, Stephan Eckstein

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有两位专家级厨师，厨师 A 和厨师 B。两人都非常出色，但风格略有不同，擅长的菜肴也各不相同。

“集成”（Ensemble）方法：你雇佣两位厨师在厨房并肩工作。每次你点餐，两人都各自制作他们的版本，然后你将结果合并。这种做法味道极佳（高准确率），但成本高昂，因为你支付了双份薪水并使用了双倍的食材（高计算成本）。
“权重平均”（Weight Averaging）方法：你试图通过将两位厨师的食谱简单平均，将他们合并成一位超级厨师。你取厨师 A 笔记的 50% 和厨师 B 笔记的 50%。这种方法便宜且快速（一份薪水，一个厨房），但结果往往是一场灾难。如果厨师 A 在某个步骤使用打蛋器，而厨师 B 使用搅拌机，混合他们的指令就会造成混乱。新厨师不知道该怎么办。

本文的解决方案：“部分融合”（Partial Fusion）

本文提出了一种巧妙的折中方案，称为部分融合。与其强迫两位厨师在所有事情上达成一致，或者让他们完全分开，你只合并他们食谱中实际相似的部分，而保留独特的部分分开。

以下是其工作原理，使用简单的类比：

1. “神经元”匹配

将神经网络（AI）想象成一个工人团队。每位工人（称为“神经元”）都有特定的工作。

在厨师 A的团队中，工人 #1 擅长切洋葱。
在厨师 B的团队中，工人 #1 擅长切洋葱，但工人 #2 擅长擦奶酪。

如果你盲目地平均这两个团队，你可能会将切洋葱的工人与擦奶酪的工人混合，导致两项工作都无法正确完成。

部分融合就像一位聪明的经理。它审视两个团队并说道：

“嘿，A 团队的工人 #1 和 B 团队的工人 #1 都在切洋葱。让我们将他们合并成一个超级切洋葱工。”
“但是，A 团队的工人 #2 在擦奶酪，而 B 团队的工人 #2 实际上是一位副厨师。他们太不同了。让我们保持他们分开。”

2. 结果：混合厨房

结果是一个新的单一厨房，它比原来的一个厨房稍大，但远小于拥有两个完整厨房。

它保留了已合并的工人（切洋葱工），他们现在拥有了两位厨师的综合智慧。
它保留了独立的工人（擦奶酪工和副厨师），让他们各自执行独特的任务而不受干扰。

这创造了一个模型，它：

比雇佣两位厨师（集成）更便宜。
比简单平均他们的食谱（权重平均）更聪明。
灵活：你可以决定合并多少。你可以只合并切洋葱工，或者几乎合并所有人，这取决于你想花多少钱。

3. “广义剪枝”（Generalized Pruning）的转折

本文还从相反的角度审视了这个问题。想象你有一个巨大的厨房，里面拥有两套工人（即集成）。通常，为了缩小这个厨房，你会直接解雇人员（剪枝）。

但作者提出了一种更聪明的方法：广义剪枝。
与其仅仅解雇一名工人，你有时可以说：“你们两个在做相似的事情；让我们将你们的职责合并为一个人。”

解雇：移除一项任务（可能会损失准确率）。
合并：将两项任务模糊化为一项（可能会损失一些精度）。
本文的方法：它智能地决定哪些任务应该被解雇，哪些应该被合并，找到完美的平衡点，以便在节省空间的同时不会损失太多质量。

为什么这很重要（根据本文）

作者在标准 AI 难题（如识别手写数字或图像）上测试了这种方法。他们发现：

你得到了两全其美的效果：你可以获得接近拥有两个完整模型的性能，但模型大小仅为单个模型的约 1.5 倍（而不是 2 倍）。
这不仅仅是关于大小：有时，保持那些“怪异”或“独特”的工人独立，实际上有助于最终模型表现更好，因为它保留了原始厨师的独特优势。
它适用于不同的结构：无论 AI 是简单的数字列表（MLP）还是复杂的图像处理程序（CNN），这种“匹配相似部分并让独特部分保持独立”的方法都能很好地工作。

简而言之：本文教导我们，当结合两个 AI 大脑时，我们不应该只是将它们粗暴地砸在一起，或者完全将它们分开。我们应该像媒人一样，将相似的部分配对以节省空间，同时让独特的部分独自闪耀。

技术摘要：神经网络的局部融合

问题陈述

神经网络集成通常通过组合各模型的输出，提供更高的鲁棒性和预测性能，从而优于单个模型。然而，集成方法会产生显著的计算成本，需要存储多个模型并增加推理时间。相反，权重聚合方法（如权重平均）可生成单一且成本高效的模型，但往往导致精度下降，特别是在被合并的网络未对齐或在不同数据分布上训练时。现有的权重聚合技术通常依赖于严格的排列不变性（匹配大小相等的层），或需要复杂的对齐程序，而这些程序可能无法推广到异构架构或层大小不均的情况。

核心挑战在于寻找一种高效的权衡方案，以平衡集成的高性能与权重聚合的低计算成本。现有方法往往是非此即彼的：要么完全聚合权重（可能导致性能损失），要么维持完整集成（产生高成本）。因此，需要一种灵活的机制来在这些极端情况之间进行插值。

方法论

本文提出了局部融合（Partial Fusion），这是一种通过在合并网络间仅融合最相似的神经元而保持其余神经元独立，从而在权重聚合与集成之间进行插值的方法。该方法允许在模型大小与性能之间实现灵活的、逐层的权衡。

1. 基于部分最优传输的局部融合

提出的主要方法扩展了基于神经元相似性的现有权重聚合技术。

概念：与标准最优传输（OT）融合中对齐两个网络的所有神经元不同，局部融合仅识别并匹配最相似的神经元。未匹配（最 dissimilar）的神经元保持独立，保留其原始权重。
机制：作者利用部分最优传输（Partial OT）。给定两个网络 $A$ $A$ 和 $B$ $B$ ，计算一个耦合 $\tilde{\pi}$ $\tilde{π}$ ，该耦合仅匹配两个网络神经元之间 $(1-\alpha)$ $(1 - α)$ 比例的质量，其中 $\alpha \in [0, 1]$ $α \in [0, 1]$ 是控制融合程度的参数。
- $\alpha = 0$ ：对应完全权重聚合（所有神经元均匹配）。
- $\alpha = 1$ ：对应集成（无神经元匹配）。
实现：该方法基于神经元特征（如激活向量或权重矩阵）将层编码为离散概率分布。通过求解部分最优传输问题，找到最相似神经元的最优匹配。由此生成的融合网络 $C$ 在每一层包含三个组成部分：来自 $A$ 的独立神经元、融合神经元（平均权重）以及来自 $B$ 的独立神经元。
全局优化：为了改善对齐，该方法采用了一种受 Ainsworth 等人（2023）启发的不动点迭代方法，该方法跨层全局优化排列/匹配，而非逐层进行，从而考虑了层与层之间的依赖关系。

2. 广义剪枝

本文从互补的角度将局部融合框架化为集成模型的广义剪枝（Generalized Pruning）。

概念：与从权重聚合开始并对其进行松弛不同，这种视角从集成（一个大型拼接模型）开始，并应用剪枝操作。与仅删除神经元的标准剪枝不同，广义剪枝允许神经元进行线性组合。
形式化：这被形式化为通过线性变换（随机核）将大型集成模型 $E$ 的权重转换为较小网络 $S$ 。
聚类方法：提出了一种使用聚类实现广义剪枝的具体方案。对集成中的神经元进行聚类，并将同一聚类内的神经元进行线性组合。与局部融合相比，这提供了更多的自由度，因为它不限制组合必须来自不同网络的成对神经元。
归纳偏置：作者指出，局部融合施加了一种特定的归纳偏置：它仅在神经元源自不同网络时才进行线性组合，并将组合限制为成对形式。假设这种偏置对卷积神经网络（CNN）有益，而更灵活的聚类方法可能更适合多层感知机（MLP）。

主要贡献

局部融合框架：引入了一种通过在仅合并最相似神经元来在权重聚合与集成之间进行插值的方法，提供了计算成本与性能之间可调节的权衡。
广义剪枝视角：在广义剪枝概念下，将局部融合与模型压缩在理论上统一起来，其中神经元可以被线性组合而不仅仅是删除。这将该方法的适用性扩展到了单模型压缩领域。
具体算法：
- 部分 OT 融合：基于部分最优传输扩展了基于 OT 的模型融合，以处理不等的匹配和层大小。
- 基于聚类的剪枝：一种使用层次聚类进行广义剪枝的方法，通过线性组合神经元，为模型压缩提供了灵活性。
实证验证：在多种数据集（MNIST、CIFAR10）上的 MLP 和 CNN（VGG11、ResNet18）实验表明，局部融合以显著更少的参数实现了接近集成的性能。

结果

实验证明了所提出方法在多种情况下的有效性：

分割数据集聚合（异构数据）：当合并在不同数据分割上训练的模型（例如，一个专用，一个通用）时，部分 OT 融合显著优于标准 OT 融合。增加独立神经元的数量（增加 $\alpha$ ）会导致性能单调提升，弥合了聚合模型与集成之间的差距。例如，神经元数量增加 20-40% 就能带来比标准融合更明显的精度提升。
微调：部分融合模型在使用少量数据（MNIST 为 1%，CIFAR10 为 5%）进行微调后，其精度始终优于单个模型和完整集成。
相同数据聚合：当合并在不同种子下于相同数据训练的模型时，完全权重聚合在 CNN（如 VGG11）上往往表现不佳，但在具有残差连接的 ResNet 上表现较好。局部融合提供了稳健的插值，恢复了完全融合中损失的性能。
单模型压缩（广义剪枝）：
- 对于MLP，基于聚类的广义剪枝显著优于非结构化剪枝和带后处理（OT 融合）的剪枝。作者将此归因于聚类能够平衡“删除”（剪枝）和“模糊”（线性组合）带来的误差。
- 对于CNN（VGG11），部分 OT 融合通常优于聚类，这表明匹配特定神经元对的归纳偏置对卷积层更为有效。
参数效率：这些方法允许模型大小介于单个网络和完整集成之间。例如， $\alpha=0.5$ 的部分融合模型使用的参数量约为单个网络的 1.45 倍（而集成模型为 2 倍），同时实现了接近集成的精度。

意义与主张

本文主张，主要见解在于神经元级相似性差异的重要性。神经元在其独特性上各不相同；有些在网络间高度相似，而另一些则发挥独特作用。所提出的方法利用了这些差异：

局部融合利用了一个事实：保持最 dissimilar 的神经元独立，会增加剩余聚合神经元的平均相似性，从而实现更有效的权重平均。
广义剪枝利用了删除神经元（丢失信息）与线性组合它们（模糊信息）之间的权衡。

作者将这项工作定位为迈向神经网络权重空间中合并操作结构化研究的一步。他们强调，这些方法在模型大小与性能之间提供了灵活且高效的权衡，通常能以模型大小的微小增加带来不成比例的性能提升。本文对未来影响保持谦逊，指出扩展到更大模型以及制定逐层决策的原则性标准（例如，哪些层应融合，哪些应隔离）是未来工作的开放方向。代码已公开，以促进进一步研究。