🤖 machine learning

Revitalizing the Beginning: Avoiding Storage Dependency for Model Merging in Continual Learning

本文提出了轨迹正则化合并（TRM），这是一个新颖的框架，通过将模型合并重构为增强轨迹子空间内的优化过程，以解决持续学习中的存储限制和优化停滞问题，从而实现最先进的性能。

原作者： Xi Wang, Cheng Deng

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Xi Wang, Cheng Deng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《重振开端：在持续学习中避免存储依赖以实现模型融合》的通俗解读，采用日常类比进行说明。

核心难题：“健忘的厨师”与“沉重的冰箱”

想象你是一位厨师，试图每天学习一道新菜谱。

目标：你想成为精通所有菜谱的大师（持续学习）。
问题：如果你过于专注于今天的菜肴，可能会忘记昨天菜肴的做法。这被称为“灾难性遗忘”。
旧方案：通常，厨师会保留一个巨大的冰箱，里面装满了他们曾经用过的每一种食材和菜谱，以便随时回顾和记忆。
限制：在这篇论文中，作者提出：“不允许使用大冰箱！”你只能保留刚学会的菜谱和紧挨着之前学会的那一道。你不能存储旧数据或旧模型。这是一项严格的隐私和存储规则。

现有缺陷：“糟糕的交接”

现有方法试图将你的“旧菜谱”和“新菜谱”合并成一份“大师菜谱”（模型融合）。然而，作者发现，当无法查看历史记录时，现有方法在执行这种“交接”时表现不佳。

他们指出了这种“交接”出错的三种具体方式：

“平均导致平庸”问题（次优局部收敛）：
想象你有一份完美的千层面菜谱和一份完美的寿司菜谱。如果你只是将它们各取一半混合，你会得到一道奇怪且平庸的菜肴，尝起来既不像千层面也不像寿司。现有方法试图寻找一个“全局平均值”，但这破坏了每个任务所需的特定细节。结果是一个在所有任务上都表现尚可、但在任何任务上都表现出色的模型。
“结构破坏”问题（语义表征的破坏）：
想象一座建筑。地基（底层）支撑着重量，但具体的房间（高层）才是独特功能发生的地方。当现有方法将两个模型强行合并时，它们会意外地破坏内部布线。这就像试图通过砸碎墙壁来合并两座房子；房间最终会出现在错误的位置，导致房子不再合理。
“陷入泥潭”问题（优化可塑性的丧失）：
想象你在开车。如果你把车停在一个深而平坦的山谷里，由于没有坡度可以滚下，很难让车再次启动。现有的合并方法经常将模型停在一个数学上的“平坦山谷”中。当下一个新任务到来时，模型过于“僵硬”和被困住，无法学习任何新东西。它已经失去了适应能力。

解决方案：TRM（轨迹正则化融合）

作者提出了一种名为TRM的新方法。与其盲目地混合两份菜谱，他们将该融合过程视为在地图上寻找完美位置的引导式搜索。

以下是 TRM 的工作原理，它利用三条“规则”来寻找最佳位置：

规则 1：忠于新任务（任务对齐）
- 类比：在离开厨房之前，确保新菜肴确实味道好。
- 作用：它强制合并后的模型立即在当前任务上表现良好，确保我们不会丢失新菜谱的特定细节。
规则 2：保持房屋完整（预测一致性）
- 类比：确保新房子里的房间仍然与旧房子里的房间对应。不要让厨房最终出现在浴室里。
- 作用：它检查模型的内部“布线”是否未被打乱。它确保模型对世界的内部理解保持稳定和合乎逻辑。
规则 3：保持引擎运转（梯度响应性）
- 类比：不要把车停在平坦的山谷里。把它停在一个小山坡上，这样引擎可以轻易地发动并向前移动。
- 作用：它确保模型不会“卡住”。它保持数学上的“坡度”足够陡峭，以便当下一个新任务到来时，模型能够快速轻松地学习。

秘密配料：“魔法轻推”

由于作者不被允许查看旧数据，他们只能利用非常有限的信息（即旧模型和新模型之间的一条直线）。为了解决这个问题，他们引入了一个“扰动向量”（一种受控的随机轻推）。

类比：想象你正沿着直线行走，但感觉像是撞到了墙。你向侧面迈出一小步（不是随机的踉跄，而是有意的步伐），看看是否有更好的路径。
原因：这为模型提供了一点“回旋余地”，使其能够在不需要记住整个历史的情况下找到更好的位置。

结果

作者在几个困难的烹饪挑战（数据集如 CIFAR100、ImageNet-R 和 Stanford Cars）上测试了这位“厨师”（模型）。

结果：TRM 始终胜过其他方法。
分数：在最难的测试（包含 20 个任务的 ImageNet-R）中，TRM 达到了82.7%的准确率，而次佳方法仅获得79.3%。
效率：它在不需要巨大冰箱（无存储数据）的情况下做到了这一点，且烹饪（训练）时间并未比其他方法长多少。

总结

该论文认为，简单地将两个 AI 模型平均在一起会破坏它们后续学习新事物的能力。通过使用三条特定规则来检查模型的“味道”、“结构”和“引擎”，并通过向侧面迈出一小步经过计算的步伐，作者创造了一种融合模型的方法，使其保持敏锐、稳定并随时准备应对接下来的任何挑战——而无需囤积旧数据。

技术摘要：重塑开端：在持续学习中避免存储依赖以实现模型融合

1. 问题陈述

持续学习（CL）旨在使模型能够按顺序获取新知识，而避免灾难性遗忘。尽管模型融合已成为一种无需训练的范式，用于将专业化知识整合到统一的多任务模型中，但现有方法与持续学习的严格内存约束之间存在关键冲突。大多数当前的融合技术（例如 Model Stock、TIES、MagMax）在融合阶段都需要访问所有先前的任务向量和初始模型。这在功能上等同于存储整个先前的专家集合，违反了持续学习中禁止保留历史数据或模型的原则。

作者证明，在严格的持续学习约束下——即仅能获取当前专家模型和最近一次融合后的模型——现有方法会出现灾难性的性能下降（高达 6%）。通过诊断实验，论文确定了导致这一失败的三个根本原因：

次优的局部收敛：现有方法优先考虑全局对齐，导致融合后的模型位于远离各个任务最优流形的高损失区域，从而导致特定任务误差的累积。
结构语义表示的破坏：线性融合破坏了层与层之间微妙的功能依赖关系，导致显著的语义漂移，特别是在编码特定任务语义的深层中。
优化可塑性的丧失：融合后的模型通常表现出“方向性僵化”，即梯度角度偏差最小化。这表明模型被困在损失景观中病态平坦的区域，导致梯度消失，无法适应后续任务。

2. 方法论：轨迹正则化融合（TRM）

为了在不存储历史数据的情况下解决这些限制，作者提出了轨迹正则化融合（TRM）。该框架将融合阶段重新表述为在增强轨迹子空间内的引导优化问题。

增强子空间构建：
TRM 不再仅仅在当前任务向量（ $\tau_t$ ）和先前任务向量（ $\tau_{t-1}$ ）的一维线性跨度内搜索解，而是引入了一个与这些向量跨度正交的扰动向量 $P$ 。这种扩展补偿了因存储限制而丢失的信息，允许搜索探索非凸参数空间中更具弹性的区域。融合后的任务向量公式化为：
$\tau_{mrg}^t(\alpha, \beta) = \alpha \cdot \tau_t + (1-\alpha) \cdot \tau_{t-1} + \beta \cdot P$
其中 $\alpha$ 和 $\beta$ 分别是插值系数和扩展系数。

多目标监督信号：
为了确定最优系数 $\{\alpha, \beta\}$ ，TRM 优化一个由三个协同约束组成的统一目标函数：

任务对齐（ $L_{align}$ ）：最小化当前任务上的经验风险（交叉熵损失）。这确保融合后的模型保持在最新的专家知识锚点上，防止其偏离高精度的局部流形。
预测一致性（ $L_{pre}$ ）：最小化融合后模型的隐藏表示与当前微调模型及先前整合模型的功能质心之间的逐层 L2 距离。应用了一种渐进式加权方案，优先处理包含特定任务语义的更高层，以防止结构语义漂移。
梯度响应性（ $L_{res}$ ）：最大化当前任务上的梯度范数平方。基于序列任务之间存在低级特征重叠的观察，最大化当前任务的梯度范数可以重新激活模型的动能响应性，确保其不被困在平坦区域，并为未来任务保留可塑性。

总损失定义为 $L_{total} = L_{align} + \lambda_1 L_{pre} + \lambda_2 L_{res}$ 。此外，为了防止在搜索过程中过早收敛到局部最优，初始化涉及对先前模型和当前模型的参数进行随机交叉。

3. 主要贡献

论文概述了四项主要贡献：

识别局限性：指出现有的模型融合方法并未完全遵循持续学习原则，且在禁止知识存储时会出现显著的性能下降。
理论分析：分析了造成这一差距的原因（局部最优性丧失、语义漂移和可塑性丧失），并将融合重新表述为正交增强轨迹子空间内的最优点搜索问题。
新颖框架：提出了 TRM，这是一种由三个约束（任务对齐、预测一致性和梯度响应性）引导的方法，旨在在不依赖存储模型或数据回放的情况下，协调历史稳定性与未来可塑性。
实证验证：证明了在严格的持续学习约束下，该方法在多个基准测试中取得了最先进的性能。

4. 实验结果

作者在三个数据集（CIFAR100、ImageNet-R 和 Stanford Cars）上评估了 TRM，使用了具有不同任务数量（5、10 和 20）的类增量学习（CIL）。使用的骨干网络是 CLIP ViT-B/16。

性能：TRM 在大多数设置中取得了最先进的结果。在 ImageNet-R 上，其在 5、10 和 20 个任务设置中，性能分别比之前的 SOTA 方法高出 1.4% 至 3.4%。在 CIFAR100 上，其在 5 个任务设置中比之前的 SOTA 提高了 3.1%，在 10 个任务设置中提高了 1.5%。
消融研究：移除三个约束中的任何一个都会导致性能下降，证实了稳定性（对齐/一致性）和可塑性（响应性）是相互增强的。
可扩展性：在大规模 ImageNet1K（100 个任务）以及不同骨干网络（ViT-L/14、LAION 预训练的 ViT-B/16）上的实验证实了该方法的鲁棒性和可扩展性。
效率：虽然与某些基线方法相比，TRM 引入了训练时间的轻微增加（例如在 ImageNet-R 上为 33 分钟对比 30 分钟），但它以最小的开销实现了显著的性能提升。
优化稳定性：对 Hessian 谱范数的分析表明，TRM 保持了适度且稳定的损失景观曲率，避免了与泛化能力差相关的病态尖锐性。

5. 意义与主张

论文声称，TRM 成功弥合了模型融合的理论优势与持续学习的实际约束之间的差距。通过避免存储历史任务向量或回放数据的需求，TRM 为整合专业化知识提供了一种可扩展且保护隐私的解决方案。作者断言，他们的方法通过重塑下一个训练阶段的“开端”，有效地缓解了连续数据流中的灾难性遗忘——确保融合后的模型从一个既稳定（保留先验知识）又具有可塑性（准备好进行新优化）的状态开始。这项工作表明，将融合重新表述为增强子空间内的约束优化，是持续学习的一条可行路径，超越了简单的线性插值启发式方法。