💻 computer science

From Memorization to Parameter Interference: How Overtraining Experts Harms Model Merging

本文挑战了通过优化专家模型以提升其个体性能从而有利于下游模型合并这一假设，证明了过度训练会导致记忆化和负参数干扰，进而降低合并后的性能，而这一问题可以通过任务相关的提前停止得到有效缓解。

原作者： Stefan Horoi, Guy Wolf, Eugene Belilovsky, Gintare Karolina Dziugaite

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Stefan Horoi, Guy Wolf, Eugene Belilovsky, Gintare Karolina Dziugaite

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心理念：“少即是多”（即使是对 AI 也是如此）

想象你拥有一支专家厨师团队。每位厨师都针对特定的食谱进行了训练：一位擅长制作完美的披萨，另一位擅长制作完美的寿司，还有一位擅长制作完美的蛋糕。

在 AI 世界中，我们通常会拿一个“基础”模型（一个拥有通用知识的普通厨师）进行微调，使其成为某项特定任务的专家。然后，我们希望将这些不同的专家厨师组合成一个能同时胜任所有工作的“超级大厨”。这个过程被称为模型合并（Model Merging）。

人们普遍认为：“单个专家厨师在特定食谱上做得越好，最终的超级大厨就会表现得越出色。”

但这篇论文证明，这种观点是错误的。 事实上，如果你的个体专家训练时间过长，最终生成的超级大厨反而会变得更差。

问题所在：“过度训练”的专家

作者发现了一种他们称之为**“过度训练”（Overtraining）**的现象。

这就像是一个为了考试而死记硬背的学生：

训练初期： 学生学习数学的通用规则。他们理解概念。
训练后期： 学生不再学习新概念，而是开始死记硬背练习题中那些特定的、古怪且困难的问题。他们甚至会背下最难题目中精确的措辞，哪怕题目里有错别字或令人困惑的表述。

用 AI 的术语来说，当一个专家模型训练步数过多时，它就不再学习通用模式，而是开始死记硬背训练数据中一小部分非常困难且古怪的样本。

冲突：为什么合并会失败

现在，想象你要把这些“死记硬背型”厨师组合成一个超级大厨。

厨师 A 死记硬背了：因为训练数据中有一张糟糕的照片，所以“披萨”的饼皮上必须有一个特定的、奇怪的污渍。
厨师 B 死记硬背了：因为一张带有噪点的图像，所以“寿司”的质地必须是某种特定的、奇怪的纹理。

当你尝试合并他们时，他们的脑回路（计算机参数）开始发生冲突。厨师 A 说：“饼皮必须有污渍！”厨师 B 说：“不，质地必须很奇怪！”

因为他们死记硬背的是特定的、特有的细节，而不是通用的规则，所以他们的指令会互相抵消。这就是所谓的负向参数干扰（Negative Parameter Interference）。

结果是？超级大厨完全忘记了处理难题的能力。他仍然能做出简单的披萨和简单的寿司（处理简单案例），但面对困难的任务时却彻底失败了，因为那些相互冲突的“死记硬背”指令破坏了原有的知识。

证据：“难题陷阱”

研究人员使用了一种工具来衡量训练样本的“难度”。他们发现：

训练初期： 模型很快就能学会简单的例子。
训练后期： 模型把所有精力都花在了那最难的 10% 的例子上。
合并灾难： 当他们合并训练时间较长的模型时，那些“难题”首先被遗忘了。模型失去了处理复杂情况的能力，因为相互冲突的记忆数据抹去了这些能力。

有趣的是，研究人员发现你实际上需要“一些”记忆能力才能获得好的结果。如果你完全移除掉这些难题，模型也会失败。但如果你让模型过度记忆它们（通过训练过久），合并过程就会崩溃。

解决方案：及早停止！

论文提出了一个简单的对策：激进的早停法（Aggressive Early Stopping）。

不要等到你的专家模型在特定任务上达到完美才停止，你应该在更早的时候停止训练。

旧方法： 训练直到专家达到 90% 的准确率。（结果：糟糕的超级大厨）。
新方法： 训练直到专家达到 85% 的准确率就停止。（结果：优秀的超级大厨）。

通过提前停止，专家们还没有时间去死记硬背那些古怪且困难的例子。他们保留了适用于所有人的通用规则。当我们将它们合并时，他们在通用规则上是一致的，因此超级大厨会变得更加强大。

核心要点

更好的专家 $\neq$ 更好的合并： 仅仅因为一个单独的 AI 模型在其特定工作上表现更好，并不意味着它能帮助构建一个更好的组合模型。有时候，“足够好”其实才是更好的选择。
记忆是合并的敌人： 一个模型死记硬背的特定、困难的数据点越多，与其他模型合并的难度就越大。
更早地停止训练： 无论是使用全量模型训练还是使用 LoRA 适配器（一种轻量级的训练方式），及早停止训练过程都会产生更好的合并效果。
它适用于各种场景： 无论是在图像模型（如识别汽车或猫）还是语言模型（如回答问题）中，这种情况都会发生，并且无论模型规模大小，结论都一致。

简而言之：不要让你的 AI 专家过于痴迷于那些最难的细节。让他们专注于大局，这样当你们组合在一起时，配合会更加默契。

技术摘要：从记忆到参数干扰

问题陈述

现代深度学习高度依赖于一种流水线：即利用开源权重基础模型在通用数据上进行预训练，随后针对特定任务进行微调以创建“专家”模型。这些专家模型通常会被合并，以将多种能力整合进一个更强大的单一模型中。一种普遍的假设是，微调阶段的改进（即提高专家在特定任务上的准确率）会向下游传播，从而提升合并后模型的性能。

本文挑战了这一假设。作者研究了专家微调时长与模型合并有效性之间的关系。他们指出，“过度训练”专家（即在单个任务上优化至收敛甚至超越收敛）可能会降低最终合并模型的性能，尽管这些专家在其原生任务上的表现有所提升。

研究方法

本研究通过视觉和语言模态的系统性实证分析，利用了多种模型家族（ViT-B-32, ViT-L-14, T5-Base/Large/3B, BERT-Base）和适配机制（全量微调 FFT 和低秩自适应 LoRA）。

实验设置：

数据集： 8 个图像分类任务（如 Cars, MNIST, SVHN）和 7 个 NLP 任务（如 QASC, Winogrande）。
训练时长： 专家被微调了不同的步数（ $s \in \{2, \dots, 2048\}$ ）。
合并方法： 作者评估了多种合并技术，包括简单的参数平均（Parameter Averaging）、任务算术（Task Arithmetic, TA）、TIES、DARE 以及基于 SVD 的方法（Iso-C, Iso-CTS, TSV-M）。
评估： 主要指标是合并模型在所有任务上的原始、未归一化平均测试准确率。作者明确避免使用归一化准确率指标，以防止不同实验中专家性能差异导致的评估不一致。

分析工具：
为了解释观察到的现象，作者利用数据难度得分（具体为 EL2N 得分）将训练样本分为不同的难度区间（从易到难）。他们分析了：

记忆（Memorization）： 使用 Feldman 记忆框架来衡量模型的置信度在多大程度上取决于是否在训练期间见过该样本。
参数干扰（Parameter Interference）： 通过符号冲突百分比、参数重叠度、量级比以及逐参数方差等指标来量化任务向量之间的冲突。
因果隔离（Causal Isolation）： 通过进行排除特定子集数据（易、中、难）的实验，来衡量这些数据对模型行为及合并结果的各自影响。

核心发现

1. 过度训练损害合并

与“更好的专家带来更好的合并”这一假设相反，作者发现较长的微调时间会导致合并性能下降。

视觉与语言领域： 在这两个领域中，合并准确率都在中间训练阶段达到峰值（例如，T5 为 256 步，ViT-LoRA 为 128 步），并随着训练持续到 2048 步而显著下降。
影响程度： 这种退化是非常严重的。对于 LoRA 适配的模型，当从最优早停检查点转向过度训练的检查点时，合并准确率可能会下降超过 16%（例如 TIES 方法）。
专家与合并性能的关系： 虽然专家在其特定任务上的准确率随训练时间延长而持续提高，但合并模型的性能却在恶化。例如，在 NLP 任务中，专家准确率从 256 步到 2048 步提升了 3.7%，但所有方法的合并准确率至少下降了 2.4%。

2. 机制：记忆与干扰

论文将这种退化归因于训练后期对困难样本的记忆。

困难样本的记忆： 训练早期由学习通用特征（简单样本）主导。而在训练后期，驱动力来自于对极少数“困难”样本（离群值或噪声标签）的记忆。
特异性更新： 对这些困难样本的记忆导致了特异性的参数更新，这些更新无法跨任务泛化。
负面参数干扰： 在合并时，这些任务特定的、记忆化的更新会导致负面干扰。作者表明，在合并过程中，困难样本被不成比例地遗忘（超过 50% 的被遗忘数据点属于最难的前 30% 样本），而简单样本仍能被正确分类。
定量证据： 参数干扰指标（符号冲突、重叠度、方差）随训练时长增加而系统性上升，证实了更长的训练创造了更多冲突的参数更新。

3. 适度记忆的必要性

作者证明，虽然过度记忆是有害的，但适度的记忆对于最优合并是必要的。从训练中移除最难的样本会一致性地损害合并性能，这表明需要一种平衡：既要学习可泛化的特征，又不能过度拟合于特异性的噪声。

4. 早停作为解决方案

论文提出将**激进的早停（Aggressive Early Stopping）**作为缓解过度训练的通用原则。

任务依赖策略： 通过在验证准确率进入平台期时停止训练（而非设定固定的训练步数），作者实现的合并性能可以达到甚至超过固定步数训练的最佳结果，尽管此时单个专家的准确率较低。
LoRA 特性： 早停对于 LoRA 适配器特别有效，能够恢复那些在标准长周期训练中丢失的最优合并准确率。

重要性与主张

该论文声称为模型合并领域引入了一个关键的新维度：专家训练的持续时间。

范式转移： 它挑战了在合并前将专家训练至收敛的标准做法。作者认为，用于合并的“最佳”专家通常是一个“训练不足”的专家，它尚未记忆那些困难且具有特异性的样本。
实践指导： 该工作为从业者提供了可操作的指导：
1. 发布中间检查点： 由于最优合并点通常出现在收敛之前，因此发布中间检查点至关重要。
2. 优先考虑早停： 在为合并训练专家时，采用激进的早停可以获得比全量收敛更好的下游结果。
效率： 通过缩短实现最优合并所需的训练时长，这些发现可以显著降低与训练和合并 AI 模型相关的计算与环境成本。
泛化性： 该现象在不同模型规模（从 2.2 亿到 30 亿参数）、架构（ViT, T5, BERT）以及替代性上采样策略（如 Model MoErging）中均表现出稳健性。

作者总结道，仔细管理专家训练动态（特别是避免对困难样本进行后期记忆）对于释放模型合并流水线的全部潜力至关重要。