🤖 machine learning

How does the optimizer implicitly bias the model merging loss landscape?

该论文揭示了优化器的“有效噪声尺度”是决定模型合并成败的关键因素，并发现不同优化组件（如学习率、权重衰减等）均通过调节该尺度以非单调方式影响合并效果，从而为通过训练动态改善模型合并提供了理论依据。

原作者： Chenxiang Zhang, Alexander Theus, Damien Teney, Antonio Orvieto, Jun Pang, Sjouke Mauw

发布于 2026-04-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Chenxiang Zhang, Alexander Theus, Damien Teney, Antonio Orvieto, Jun Pang, Sjouke Mauw

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：为什么有些训练好的 AI 模型可以“完美融合”，而有些却会“打架”？

想象一下，你有两个厨师（模型 A 和模型 B）。

厨师 A 擅长做川菜（比如麻婆豆腐）。
厨师 B 擅长做粤菜（比如清蒸鱼）。
你想把他们俩的菜谱合二为一，创造出一个“全能厨师”，既能做川菜又能做粤菜，而且不需要额外增加厨房的开销（推理成本不变）。

在 AI 领域，这叫做模型融合（Model Merging）。但现实很骨感：有时候你把两个模型简单平均一下，效果出奇的好；有时候却直接“翻车”，做出来的菜难吃至极。

这篇论文就是来揭秘：到底是什么决定了这两个模型能不能“和平共处”？

核心发现： optimizer 的“噪音”是关键

论文发现，决定模型能否融合的关键，不在于模型最后学到了什么，而在于训练过程中 optimizer（优化器）给模型施加的“噪音”大小。

我们可以把训练过程想象成在迷雾中下山找最低点（最优解）：

学习率（Learning Rate）：是你迈出的步子大小。
批量大小（Batch Size）：是你每次看多少张地图来决定方向。
权重衰减（Weight Decay）：是一种防止你跑偏的“摩擦力”。
数据增强（Data Augmentation）：是故意给你的地图加一些随机干扰，让你别死记硬背。

这些参数共同产生了一种**“有效噪音尺度”（Effective Noise Scale）**。论文用一个非常形象的比喻来解释这个概念：

想象你在一个巨大的、地形复杂的山谷里找宝藏。

噪音太小（太安静）： 就像你在完全平坦、死寂的平原上走。你很容易走到一个具体的坑里（局部最优解），但这个坑很窄、很尖。如果你和另一个人在不同的坑里，你们俩之间可能隔着高高的山脊，根本连不起来。

噪音太大（太吵闹）： 就像在狂风暴雨中走路。你被吹得晕头转向，根本找不到宝藏，甚至可能掉进悬崖。

噪音适中（刚刚好）： 就像在微风中散步。这种适度的“晃动”让你能探索更广阔的区域，找到那些宽阔、平坦的盆地。

论文的三个重要结论

1. 噪音要“刚刚好”（非单调关系）

论文发现，模型融合的成功率并不是“噪音越大越好”或“越小越好”，而是一个倒 U 型曲线。

噪音太小 -> 模型太“死板”，各自困在尖尖的坑里，融合不了。
噪音太大 -> 模型太“混乱”，根本学不到东西。
中等噪音 -> 模型找到了宽阔平坦的盆地。这时候，两个模型虽然出发点不同，但它们都落在同一个大盆地里，中间没有高山阻隔，所以把它们“平均”一下，效果反而更好！

2. 如何控制这个“噪音”？

你可以通过调整训练时的几个“旋钮”来控制这个噪音：

调大学习率：步子迈大一点，噪音就大一点。
调小批量大小：每次看的地图少一点，判断方向时的随机性（噪音）就大一点。
调大权重衰减：增加一点摩擦力，防止模型跑得太快太死。
开启数据增强：给数据加点“佐料”，增加随机性。

有趣的是：以前大家认为这些参数只是为了让单个模型表现更好。但这篇论文发现，它们实际上是在塑造“地形”。如果你用较大的学习率训练，模型更有可能落在那些“宽阔平坦”的区域，从而更容易和其他模型融合。

3. 不同的场景，不同的策略

从头训练（Scratch）：如果你从头训练两个模型，用中等偏大的噪音（比如较大的学习率），它们融合得最好。
微调（Transfer Learning）：如果你是在一个预训练好的大模型基础上微调，情况稍微复杂点。太大的噪音可能会让模型变得不稳定，但适中的大噪音依然能带来更好的融合效果。
不同任务：如果你想把两个做不同任务（比如一个认猫，一个认狗）的模型融合，中等噪音依然是关键。但要注意，如果两个模型的噪音差异太大（一个太安静，一个太吵闹），它们可能就不兼容了。

总结：给普通人的启示

这就好比培养两个团队。

如果你让两个团队在极度严格、死板的环境下工作（低噪音），他们可能会变得非常专业，但思维僵化，一旦要把两个团队合并，大家会因为思维模式完全不同而吵架。
如果你让两个团队在极度混乱的环境下工作（高噪音），他们可能什么都做不好。
但如果你给团队适度的自由度和挑战（中等噪音），他们虽然每个人解决问题的路径不同，但都能找到最稳健、最通用的解决方案。这时候，把两个团队合并，大家能无缝协作，甚至产生"1+1>2"的效果。

一句话总结：
这篇论文告诉我们，想要让 AI 模型容易融合，训练时不要追求“绝对安静”和“绝对精确”，而是要故意引入一点“适度的混乱”（噪音）。这种混乱反而能让模型找到更宽阔的“安全区”，让它们更容易握手言和，融为一体。

这是一篇发表于 ICLR 2026 的会议论文，题为《优化器如何隐式偏置模型合并的损失景观？》（HOW DOES THE OPTIMIZER IMPLICITLY BIAS THE MODEL MERGING LOSS LANDSCAPE?）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

模型合并 (Model Merging) 是一种将具有不同能力的独立训练模型合并为单一模型的技术，旨在保持推理成本不变的同时融合各模型的优势。目前主流方法包括：

线性插值 (Linear Interpolation)：直接平均多个模型的权重。
任务算术 (Task Arithmetic)：基于微调模型与基础模型之间的差异向量（Task Vectors）进行组合。

尽管这些方法在实践中有效，但其成功背后的原理尚不明确。核心未解之谜是：为什么某些独立训练的模型可以成功合并，而另一些即使个体性能相似却无法合并？ 现有的研究多关注优化器噪声对单个极小值平坦度或泛化能力的影响，但缺乏对独立解之间全局损失景观几何结构及其对合并成功率的系统性理解。

2. 核心方法论 (Methodology)

论文提出并验证了一个统一的概念——有效噪声尺度 (Effective Noise Scale, $\tilde{S}$ )，用于解释优化器动态如何影响模型合并。

有效噪声尺度定义：
论文将随机优化过程中的噪声强度量化为：
$\tilde{S} \propto \frac{\eta}{B(1-\mu)}$
其中 $\eta$ 是学习率， $B$ 是批量大小， $\mu$ 是动量。此外，数据增强 (Data Augmentation) 也被视为引入额外噪声的因素。
实验设计：
- 任务：涵盖了视觉任务（SVHN, CIFAR-10/100, TinyImageNet）、语言建模（TinyStories）以及迁移学习（CLIP ViT 微调）。
- 架构：包括 MLP, ResNet, DenseNet, GPT-2, ViT, ConvNext 等。
- 变量控制：系统地调整学习率、权重衰减 (Weight Decay)、批量大小、动量和数据增强，观察这些超参数变化对合并后模型性能增益（Accuracy Gain）的影响。
- 合并策略：主要测试线性插值合并，同时也扩展到了任务算术 (Task Arithmetic) 和 TIES-Merging。

3. 关键发现与贡献 (Key Contributions & Results)

A. 有效噪声尺度是统一因素

研究发现，不同的优化器组件（学习率、权重衰减、批量大小、数据增强）虽然独立作用，但都通过调节有效噪声尺度来影响合并效果。

非单调关系：合并成功率与有效噪声尺度呈非单调关系。
- 噪声过小：模型陷入尖锐的极小值，合并效果差。
- 噪声过大：训练不稳定，导致合并失败。
- 中等/临界噪声：存在一个“临界点” (Critical Point)，在此噪声水平下，合并带来的性能增益最大。

B. 具体超参数的影响

学习率 (Learning Rate)：
- 较大的学习率（在收敛范围内）能识别出更易于合并的解。即使小学习率和大学习率模型在测试集上单模型性能相似，大学习率训练的模型在合并后通常能获得更高的性能增益。
- 过大的学习率会导致合并失败（不稳定）。
权重衰减 (Weight Decay)：
- 对于具有尺度不变性（Scale-invariant，如使用归一化层）的网络，权重衰减通过控制有效学习率来调节噪声。
- 较大的权重衰减（在适度范围内）能提升合并效果，其作用机制类似于增大学习率。
批量大小 (Batch Size)：
- 较小的批量大小引入更大的梯度噪声，从而改善合并效果。
动量 (Momentum) 与数据增强：
- 较大的动量平滑了更新，倾向于更平坦的区域，有利于合并。
- 数据增强作为额外的噪声源，也能提升合并效果。

C. 任务算术 (Task Arithmetic) 的扩展

初始化依赖性：在任务算术合并中，损失景观的几何结构高度依赖于初始化。
- 对于预训练初始化（如 CLIP），较大的学习率能识别出更平坦、更鲁棒的损失景观，有利于合并。
- 对于从头训练（非迁移学习），较大的学习率反而可能导致更尖锐的极小值，不利于任务算术合并。
不同任务合并：合并训练于不同任务的模型时，使用中等偏大的噪声（学习率）通常能获得最佳性能，但这可能会降低与使用不同噪声水平训练的模型的兼容性。

D. 机制解释：排列对称性与特征对齐

排列对称性 (Permutation Symmetry)：较大的有效噪声简化了模型重排（Re-basing）的过程，使得不同随机初始化的模型更容易在参数空间中对齐，从而形成更宽的极小值盆地。
特征多样性：随着有效噪声增加，合并带来的增益增加，但模型间的特征对齐度（Feature Alignment）反而下降。这表明中等噪声促进了特征多样性的产生，这种多样性正是模型合并能够利用并转化为性能提升的关键。

4. 意义与结论 (Significance & Conclusion)

理论突破：该论文首次将优化器噪声与模型合并的兼容性直接联系起来，超越了以往仅关注单个模型泛化能力的研究。它证明了优化轨迹的噪声不仅决定了最终解的位置，还决定了该解在损失景观中的几何形状（平坦度、连通性）。
实践指导：
- 为模型合并提供了明确的超参数调优指南：为了获得可合并的模型，不应盲目追求极小的学习率或极大的批量大小，而应寻找一个中等偏大的有效噪声水平。
- 简化了超参数搜索空间：合并兼容性主要由有效噪声尺度决定，而非各个超参数的独立组合。
未来方向：研究指出，可以通过操纵训练动态（如调整学习率策略、权重衰减）来“设计”出不仅个体性能强，而且天生易于合并的模型。

总结：这篇论文揭示了优化器隐式偏置在模型合并中的核心作用，提出了“有效噪声尺度”作为统一指标，并发现了一个非单调的“黄金噪声区间”，在此区间内训练得到的模型具有最佳的合并兼容性。这一发现为构建模块化、可组合的 AI 系统提供了重要的理论基础和实践指导。