💻 computer science

Navigating the Accuracy-Size Trade-Off with Flexible Model Merging

本文提出了名为 FlexMerge 的新型无数据模型合并框架，该框架能够灵活生成不同规模的合并模型并统一支持多种算法，从而系统性地揭示了在模型合并中通过适度增加模型规模即可显著提升精度且算法性能排序随规模变化的关键规律。

原作者： Akash Dhasade, Divyansh Jhunjhunwala, Milos Vujasinovic, Gauri Joshi, Anne-Marie Kermarrec

发布于 2026-04-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Akash Dhasade, Divyansh Jhunjhunwala, Milos Vujasinovic, Gauri Joshi, Anne-Marie Kermarrec

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 FLEXMERGE 的新方法，旨在解决人工智能模型在“既要聪明（准确率高）”又要“轻便（体积小）”之间的矛盾。

为了让你更容易理解，我们可以把这件事想象成**“开餐厅”**的故事。

1. 背景：现在的困境（要么太贵，要么太难吃）

想象你是一家连锁餐厅的老板，你有 30 个不同的分店，每个分店都专门做一道招牌菜（比如：川菜、粤菜、法餐、日料等）。

现状 A（单独开店）： 你想让每个分店都保持最高水准。于是你雇了 30 个顶级大厨，每个大厨只负责一道菜。
- 优点： 每道菜都极其美味（准确率极高）。
- 缺点： 你雇了 30 个人，租了 30 个厨房，成本太高了（存储和部署成本太高），普通用户根本负担不起。
现状 B（强行合并）： 为了省钱，你决定把 30 个大厨赶跑，只留一个“全能大厨”，让他一个人学会做这 30 道菜。
- 优点： 只需要雇 1 个人，租 1 个厨房，成本极低。
- 缺点： 这个“全能大厨”脑子会打架。做川菜时他可能忘了放糖，做日料时可能忘了去腥。结果就是，每道菜都做得**“差不多能吃，但都不够好吃”**（准确率下降，出现“精度差距”）。

以前的研究大多只关注怎么把那个“全能大厨”练得更好一点，或者干脆就接受“要么全雇，要么全合并”的极端选择。

2. 核心创新：FLEXMERGE（灵活的“拼盘”策略）

这篇论文提出的 FLEXMERGE 就像是一个**“智能拼盘”系统。它不强迫你只能选“一个人”或者"30 个人”，而是允许你灵活地决定用多少人**。

它是如何工作的？（积木比喻）

想象每个大厨（模型）其实是由很多块**“乐高积木”**（神经网络的层/模块）组成的。

有的积木负责“切菜”（底层特征，大家通用）。
有的积木负责“调味”（高层特征，每道菜特有）。

FLEXMERGE 的做法是：

拆解： 把 30 个大厨的乐高积木全部拆散。
智能配对： 它发现，做川菜和做湘菜的“切菜”积木其实很像，可以合并成一块；但做川菜和做法餐的“调味”积木差别很大，必须分开保留。
按需组装： 它像搭积木一样，把相似的积木合并，把不同的积木保留。
- 如果你想要极致的速度（1 倍大小），它就合并得最彻底，只留一个“全能大厨”。
- 如果你想要极致的味道（30 倍大小），它就几乎不合并，保留所有大厨。
- 最妙的是中间状态： 如果你愿意用1.75 倍的大小（比如雇 2 个大厨，或者一个半吊子 + 一个专家），它就能拼出一个既省钱又好吃的方案。

3. 惊人的发现：只要稍微多一点点，效果就大不同

论文通过实验发现了一个非常有趣的规律，就像**“边际效应”**：

从 1 个人增加到 2 个人（模型大小翻倍）： 效果提升巨大！
- 就像你从“一个人干所有活”变成了“两个人分工”，原本那个累得半死、手忙脚乱的大厨，现在有了帮手，菜的味道瞬间提升了 13.5%！
- 这意味着，你不需要把模型做得巨大，只要稍微多存一点点数据（比如多存 50% 的模型），准确率就能暴涨。
算法排名会“变脸”：
- 在只有 1 个人（1 倍大小）时，A 方法可能比 B 方法好。
- 但当你增加到 2 个人或 3 个人时，B 方法可能突然反超 A 方法。
- 这说明，以前大家只盯着“最小模型”去比拼谁更聪明是片面的。在更大的空间里，简单的算法也能变得非常强大。

4. 总结：这对我们意味着什么？

这篇论文告诉我们，以前我们在做模型合并时，思维太局限了，总想着“能不能把 30 个模型压缩成 1 个还不掉分？”

FLEXMERGE 告诉我们：

不要走极端： 你不必在“太贵”和“太难吃”之间二选一。
灵活调整： 你可以根据你的预算（存储空间），灵活地决定用多大一点的模型。
性价比极高： 很多时候，你只需要稍微增加一点点模型大小（比如从 1 倍增加到 2 倍），就能获得巨大的准确率提升。

一句话总结：
FLEXMERGE 就像是一个**“智能乐高大师”，它教你怎么用最少的积木块，拼出最稳固、最好看的城堡。它证明了，在人工智能的世界里，“稍微大一点点”的模型，往往比“极致压缩”的模型聪明得多，而且成本增加得并不多。**

FLEXMERGE：通过灵活模型合并导航精度与规模的权衡

1. 研究背景与问题定义

随着预训练模型（PTMs）在自然语言处理（NLP）和计算机视觉领域的广泛应用，针对特定任务进行微调（Fine-tuning）已成为主流范式。然而，这种范式带来了两个主要挑战：

存储与部署成本高：为每个任务单独部署一个微调模型会导致巨大的存储和推理开销。
模型合并的精度损失：现有的模型合并（Model Merging）技术旨在将多个微调模型合并为一个单一模型，以节省空间。然而，由于任务间的参数冲突（Parameter Interference），合并后的单一模型通常在精度上显著低于各个独立的微调模型。

现有的解决方案存在局限性：

单一模型合并：大多数方法（如 Task Arithmetic, TIES-Merging）试图将所有任务合并到一个模型中（大小为 $1\times$ ），但这往往导致精度大幅下降。
数据依赖：部分方法利用验证数据来指导合并，但在隐私受限或专有数据场景下不可行。
缺乏灵活性：现有工作通常只关注“合并成一个模型”或“保留所有模型”这两个极端，缺乏对中间状态（即合并成不同大小的模型）的系统性研究。

核心研究问题：

如何在**无数据（Data-free）**的情况下，生成任意大小（从 $1\times$ 到 $M\times$ ，包括非整数大小）的合并模型？
不同的无数据合并算法在**精度 - 规模（Accuracy-Size）**权衡上表现出怎样的特性？

2. 方法论：FLEXMERGE 框架

作者提出了 FLEXMERGE，这是一个新颖的、无数据的模型合并框架，能够灵活地生成不同大小的合并模型。

2.1 核心思想

FLEXMERGE 打破了“全有或全无”的合并模式，采用**自底向上（Bottom-up）的贪心策略，在块（Block）**级别进行合并。

粒度控制：将模型视为一系列顺序块的集合（例如 Transformer 中的 Attention 层、MLP 层或 LayerNorm 层）。
合并过程：
1. 初始化：每个任务在每个块上保留其独立的任务向量（Task Vector）。
2. 迭代合并：在每一轮迭代中，计算所有块中任务组之间的相似度（使用余弦相似度），选择相似度最高的一对任务组进行合并。
3. 算法通用性：合并操作可以调用任何现有的无数据合并算法（如 Task Arithmetic, TIES-Merging, PCB-Merging 等）来处理选定的任务组。
4. 终止条件：当合并后的模型大小达到预设目标（Target Size）时停止。

2.2 算法流程

初始化：对于 $M$ 个任务和 $B$ 个块，初始化任务集合 $G_b$ ，包含每个任务的块级任务向量。
相似度计算：定义两个任务组 $g_i, g_j$ 之间的相似度为它们所包含的原始任务向量之间最小的余弦相似度（Min-Cosine Similarity）。
贪心选择：在所有块中，找到相似度最高的一对组 $(g_{i^*}, g_{j^*})$ 及其所属块 $b^*$ 。
执行合并：
- 合并任务集合： $T_{uni} = T_{i^*} \cup T_{j^*}$ 。
- 应用合并算法 $F$ ： $\tau_{uni} = F(\{\tau_k | k \in T_{uni}\})$ 。
- 更新状态：移除旧组，加入新合并组，更新当前模型大小。
重复：直到达到目标大小或无法继续合并。

2.3 兼容性

FLEXMERGE 是一个统一框架，支持多种合并策略：

标准方法（如 TA, TIES, PCB）：直接生成合并后的块参数。
掩码方法（如 CONSENSUS, EMR-Merging）：生成统一任务向量和任务特定的掩码。FLEXMERGE 允许在这些方法中部分保留块，从而减少推理时的重建开销。

3. 主要贡献

首个全谱系大小研究：首次系统地研究了模型合并在从 $1\times$ （单一模型）到 $M\times$ （所有独立模型）全范围内的表现，包括非整数大小（如 $1.75\times$ ）。
统一框架：提出了 FLEXMERGE，支持多种无数据合并算法在块级别上的灵活应用。
揭示精度 - 规模权衡规律：
- 陡峭的初始收益：即使模型大小仅增加一点点（例如从 $1\times$ 增加到 $2\times$ ），精度也能获得显著提升（最高提升 13.5%）。
- 算法排序的不一致性：随着模型大小的增加，不同算法的排名会发生剧烈变化。简单的算法（如平均法）在较大尺寸下可能超越复杂的算法。
高效实现：证明了在增加模型大小以换取精度的同时，推理时的计算开销几乎可以忽略不计。

4. 实验结果

作者在视觉（Vision）、NLP（PEFT 和 FFT）以及多模态基准上进行了广泛实验，涉及最多 30 个任务。

4.1 精度 - 规模权衡（Accuracy-Size Trade-off）

视觉任务（ViT-B/32, 8 个任务）：
- 使用 Task Arithmetic (TA) 时，模型大小从 $1\times$ 增加到 $2\times$ ，平均精度从 67.5% 跃升至 80% 以上（提升约 13.5%）。
- 在达到接近微调模型（Fine-tuned）的精度之前，所需模型大小远小于 $M\times$ （例如 8 个任务时，约 $6\times$ 大小即可达到近满精度）。
NLP 任务（T0-3B, 11 个任务）：
- 使用 (IA)3 PEFT 方法，从 $1\times$ 到 $3\times$ 大小，精度提升了 7.2%。
- 使用 T5-Large 进行全参数微调，从 $1\times$ 到 $2\times$ ，精度提升超过 9%。
多模态任务：在 BEiT-3 模型上，FLEXMERGE + TA 在 COCO 描述等任务上也表现出随着规模增加而显著提升的性能。

4.2 算法排名的动态变化

在 $1\times$ 尺寸下，复杂的算法（如 TIES-Merging, PCB-Merging）通常优于简单平均。
然而，当尺寸增加到 $3\times$ 或更高时，简单平均（Vanilla Averaging）的表现往往超过 TIES-Merging，甚至与 PCB-Merging 持平。
结论：随着参数干扰随规模增加而自然减少，复杂的去干扰机制带来的边际收益降低，简单算法在较大尺寸下更具竞争力。

4.3 与 Channel Merging 的对比

与最近的 Channel Merging 方法相比，FLEXMERGE 在所有尺寸下均表现出更高的精度。
原因：Channel Merging 强制每层使用固定数量的聚类（K-Means），而 FLEXMERGE 允许每层根据相似度动态决定合并数量（从 1 到 M 不等），提供了更大的灵活性。

4.4 效率分析

合并时间：FLEXMERGE 非常高效，合并 30 个任务的所有尺寸仅需约 20 秒。
推理开销：对于掩码类方法（如 CONSENSUS），增大模型尺寸意味着需要重建的块更少，从而显著降低了推理时的重建延迟（Reconstruction Latency）。实验显示，随着尺寸增加，重建延迟可从几十毫秒降至 0。

5. 意义与结论

FLEXMERGE 揭示了模型合并领域的一个新设计维度：不再局限于“合并成一个模型”的极限情况，而是将模型大小作为一个可调节的超参数。

实际价值：为部署者提供了灵活的权衡空间。在存储受限但允许少量精度损失时，可以选择 $1\times$ ；在需要高精度且有一定存储预算时，可以选择 $2\times$ 或 $3\times$ ，从而以极小的存储代价换取巨大的精度回报。
理论启示：挑战了“越复杂的合并算法越好”的固有认知，指出在较大模型规模下，参数干扰的自然缓解使得简单算法同样有效。
未来方向：鼓励开发针对特定尺寸范围的专用合并算法，而非仅针对 $1\times$ 优化。

总之，该论文证明了**“适度增大模型规模”是解决模型合并精度损失问题的最有效且通用的策略之一**，并提供了实现这一目标的灵活框架。