🤖 machine learning

RegMean++: Enhancing Effectiveness and Generalization of Regression Mean for Model Merging

本文提出了 RegMean++，通过在回归均值（RegMean）框架中显式引入层内与跨层的依赖关系，解决了原方法忽略特征传播的问题，从而显著提升了模型合并在域内、域外泛化及鲁棒性等多种场景下的有效性。

原作者： The-Hai Nguyen, Dang Huu-Tien, Takeshi Suzuki, Le-Minh Nguyen

发布于 2026-04-28

📖 1 分钟阅读☕ 轻松阅读

原作者： The-Hai Nguyen, Dang Huu-Tien, Takeshi Suzuki, Le-Minh Nguyen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

1. 背景：什么是“模型合并”？

想象一下，你现在有三个顶尖大厨：

大厨 A：擅长做川菜（精通特定任务，比如识别猫）。
大厨 B：擅长做粤菜（精通另一个任务，比如识别狗）。
大厨 C：擅长做法餐（精通第三个任务，比如识别汽车）。

现在，你不想雇三个厨师，你想要一个**“全能大厨”，既能做川菜，又能做粤菜，还能做法餐。“模型合并”**就是通过某种数学方法，把这三个大厨的“厨艺秘籍”（模型参数）融合在一起，合成一本全新的、全能的“超级食谱”。

2. 现状：原来的方法（RegMean）有什么问题？

在这次研究之前，有一个很流行的办法叫 RegMean。

如果用厨师来比喻，RegMean 的做法是**“各管各的，各练各的”**。它认为：大厨 A 的炒菜技巧、大厨 B 的切菜技巧、大厨 C 的调味技巧，都是独立的。它把每个环节（比如切菜、炒菜、摆盘）分别进行融合，最后拼凑成一个新厨师。

问题来了： 厨艺是一个连贯的过程。如果你把切菜的节奏改了，但炒菜的火候没变，最后这道菜的味道就会乱套。RegMean 忽略了“切菜”是如何影响“炒菜”，进而影响“最后味道”的这种连锁反应。这就是论文里说的“忽略了层与层之间的依赖关系”。

3. 创新：RegMean++ 是怎么做的？

论文提出的 RegMean++ 就像是一个**“全流程模拟器”**。

它不再是孤立地合并每一个环节，而是会进行**“实战演练”**。在合并“切菜”技巧时，它会先模拟一下：“如果我用这个新切菜法，配合我正在合成的那个炒菜锅，最后做出来的菜味道会怎么样？”

它考虑了：

层内关系（Intra-layer）：同一个环节内部的协调。
跨层关系（Cross-layer）：前一个环节（切菜）对后一个环节（炒菜）的连锁影响。

通过这种“全局视角”，RegMean++ 合成出来的“全能大厨”不仅掌握了各种菜系的精髓，而且动作协调、味道统一，不会出现“切的是土豆，炒出来的却是肉”这种逻辑混乱的情况。

4. 实验结果：它有多厉害？

研究人员在视觉识别（看图识物）和语言处理（聊天机器人）这两个领域进行了大规模测试，结果非常惊人：

更聪明（更有效）：在处理它熟悉的任务时，表现比老方法更好。
更抗干扰（泛化性强）：即使给它看一些它以前没见过的奇怪图片（比如模糊的、噪点很多的图），它依然能认得出来。
更持久（可持续性）：如果你不断地往这个“全能大厨”里塞新的菜系（比如不断合并新的模型），它不会因为学了新菜就忘了旧菜（缓解了“灾难性遗忘”）。
更稳健（鲁棒性）：面对各种环境变化，它表现得非常稳定。

总结一下

RegMean（旧方法）：像是在拼乐高，把零件分别磨好再拼起来，但零件之间可能对不上。
RegMean++（新方法）：像是在捏陶艺，在捏每一个部分时，都会考虑整体的形状和结构，最终得到一个完美的整体。

一句话总结：RegMean++ 通过考虑人工智能模型内部“环环相扣”的逻辑，让合并后的模型变得更聪明、更全面、更稳健。

这是一篇关于模型合并（Model Merging）研究的学术论文，发表于 Transactions on Machine Learning Research (2026)。以下是对该论文的详细技术总结：

1. 问题背景与挑战 (Problem)

模型合并旨在将多个针对不同任务微调过的候选模型（Candidate Models）合并为一个具有多任务能力的统一模型（Merged Model），而无需重新训练或访问原始训练数据。

现有方法的局限性：
论文重点讨论了 RegMean 方法。RegMean 将模型合并建模为一个线性回归问题，通过最小化合并层与候选层输出之间的差异来寻找最优权重。虽然 RegMean 具有解析解（Closed-form solution）、可解释性和计算效率高的优点，但它存在一个核心缺陷：层间独立性假设。

RegMean 对 Transformer 中的每个线性层进行独立合并。
它忽略了特征在模型深层中的传播机制，即忽略了层与层之间的**层内（Intra-layer）和跨层（Cross-layer）**依赖关系。这种忽略导致合并后的模型在处理复杂特征流时表现不佳，限制了其泛化能力。

2. 核心方法论 (Methodology: RegMean++)

为了解决上述问题，作者提出了 RegMean++。其核心思想是将合并模型的层间依赖关系显式地引入到优化目标中。

技术实现细节：

动态特征获取（Dynamic Feature Collection）： 与 RegMean 使用候选模型的激活值不同，RegMean++ 在计算第 $l$ $l$ 层的合并权重时，使用当前正在构建的合并模型在前一层 $l-1$ $l - 1$ 产生的输出作为输入特征。
- 公式表达： $X^{(l)}_i = f^{(l-1)}_M(X^{(l-1)}_i)$ ，其中 $f_M$ 是合并模型。
优化目标： RegMean++ 继承了 RegMean 的正则化回归框架，但通过使用合并模型自身的特征统计量（如内积矩阵 $G^{(l,j)}_i$ ），使得合并后的权重能够更好地适应合并模型自身的特征分布。
算法流程： 采用逐层合并的策略。对于每一层，先通过合并模型的前向传播获取特征，再利用该特征计算候选模型的统计量，最后通过闭式解计算该层的合并权重。

3. 主要贡献 (Key Contributions)

提出 RegMean++ 算法： 这是一个简单且有效的改进方案，通过引入层间依赖，同时适用于视觉（Vision）和语言（Language）任务。
深入的层级分析： 论文通过实验发现：
- 层位置影响： 合并中间层和深层 Transformer 层可以保留超过 98% 的精度；早期层对合并性能贡献较小。
- 组件差异： 合并 MLP（多层感知机）模块的效果始终优于合并 Attention（注意力）头，表明 MLP 存储了更丰富的语义知识。
广泛的基准测试： 在视觉分类（8个数据集）和语言生成（11个数据集）任务上进行了大规模评估。

4. 实验结果 (Results)

性能提升： 在视觉任务上，RegMean++ 在所有任务上均优于 RegMean，平均提升了约 2.0%。在 ViT-B/32 模型上，其表现足以媲美甚至在某些任务上超越了需要测试时自适应（Test-time Adaptation）的高级方法。
泛化能力与鲁棒性：
- OOD（分布外）泛化： RegMean++ 在处理分布外数据时表现出更强的泛化能力。
- 鲁棒性： 在面对图像噪声（如高斯噪声、JPEG 压缩等）时，RegMean++ 展现了极强的鲁棒性，优于所有数据无关（Data-free）和训练无关（Training-free）的方法。
可扩展性与稳定性：
- 大规模任务： 随着合并任务数量增加到 20 个，RegMean++ 表现出极强的可持续性，而许多其他方法（如 Task Arithmetic）性能会显著下降。
- 顺序合并： 在模拟新任务不断加入的场景下，RegMean++ 能够更好地吸收新任务，并有效缓解“灾难性遗忘”。
语言任务表现： 在 Llama 3.1-8B 等大模型上，RegMean++ 在数学和安全领域取得了显著的性能提升。

5. 意义与结论 (Significance)

RegMean++ 的意义在于：
它证明了在模型合并过程中，考虑模型内部的特征传播动力学对于构建高性能多任务模型至关重要。它在保持“无需训练”和“计算高效”这两个核心优势的同时，通过引入轻量级的层间依赖建模，显著提升了合并模型的实用价值。

局限性与未来方向：

计算开销： 由于需要进行额外的合并模型前向传播，RegMean++ 的合并时间大约是 RegMean 的 2 倍。
未来方向： 作者建议开发混合合并框架（例如对早期层使用简单平均，对深层使用 RegMean++），以平衡效率与性能。