🤖 machine learning

Layers Matter: Why Continual Learning Regularization Should Be Layer-Adaptive

本文证明了标准的持续学习正则化项未能考虑到关键的逐层曲率信息，并证明了一种通过强烈保护早期层同时允许深层进行显著移动的层自适应方法，能够提升性能并减少遗忘。

原作者： Brian B. Moser, Ahmed Anwar, Tobias Christian Nauen, Shishir Muralidhara, Federico Raue, René Schuster, Stanislav Frolov, Andreas Dengel

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Brian B. Moser, Ahmed Anwar, Tobias Christian Nauen, Shishir Muralidhara, Federico Raue, René Schuster, Stanislav Frolov, Andreas Dengel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在人工智能领域，机器通过调整被称为神经网络的数字大脑内部的“旋钮”和“拨盘”来进行学习。当机器被教授一项新技能（例如识别特定类型的花朵）时，它会微调这些设置以更好地完成该任务。然而，一个被称为“灾难性遗忘”的持久问题经常发生：当机器学习新花朵时，它会无意中覆盖掉之前掌握关于狗或汽车等知识。为了阻止这种情况，研究人员开发了一些方法来轻轻地锚定机器的设置，告诉它要小心，不要移动那些对旧任务至关重要的脑部组件。最常见的方法将每一个设置都视为同等重要，无论其位于复杂结构的哪个位置，都为整个网络分配统一的保护水平。

德国人工智能研究中心与凯泽斯劳特恩-兰道大学的一支研究小组发现，这种统一的方法存在根本性的缺陷。他们发现，神经网络中的各个部分并非生而平等。某些层，特别是最初处理原始视觉数据的早期层，具有极高的敏感性；即使稍作移动，也会导致机器忘记它所知道的一切。而其他层（通常位于网络的更深处）则要稳健得多，可以自由调整而不会造成破坏。由于对每一层都采取同样的谨慎程度，现有的方法正在浪费其保护力量，它们在守护错误的部分，却让最脆弱的部分暴露在外。

研究人员首先检查了已经在大规模数据集（如用于识别图像中物体的图像集）上训练过的神经网络的内部结构。他们测量了如果扰动每一层，会对遗忘产生多大的影响。他们的测量结果揭示了一个残酷的现实：这些层的敏感度差异巨大。在某些网络中，最敏感的层比最不敏感的层要脆弱近两百倍。这种巨大的差距意味着，如果采用一种对每一层都应用相同保护强度的策略，就像试图用一张薄塑料布盖住房子来抵御洪水；它可能盖住了屋顶，却让地基完全敞开了。

为了理解为什么会发生这种情况，团队研究了网络学习过程中的数学景观。他们证明了遗忘的风险并不是均匀分布的，而是集中在早期层中的特定方向上。当机器学习一项新任务时，它自然想要改变其设置。如果机器被迫移动一个高度敏感的早期层，其造成的知识损失是巨大的。如果它移动一个更深、更灵活的层，代价则是微不足道的。现有的方法根据单个设置的平均行为来分配重要性，这些方法无法看到这个大局。它们忽略了这样一个事实：整个早期层作为一个单一且脆弱的单元在起作用，而深层则作为一个稳固且可适应的整体在起作用。

研究人员提出了一个简单但强大的解决方案：停止将网络视为一个统一的整体，而是将其视为具有不同需求的层级结构。他们制定了一条经验法则，即加强保护早期层，同时允许深层进行更多自由的移动。这种方法与许多现有系统所做的恰恰相反，因为现有系统通常对整个网络施加统一的惩罚。通过将这种新的“层自适应”策略应用于现有的学习方法，团队在几种不同类型的网络上测试了他们的想法。他们发现，通过屏蔽早期层并让深层进行调整，机器在有效地学习新任务的同时，能更好地保留旧知识。

研究结果在不同类型的网络和训练历史中表现得非常清晰。在经过大规模图像数据集预训练的网络上，新方法显著提高了机器记忆过去任务的能力。在一次使用超过两万一千张图像进行训练的网络进行的特定测试中，新方法将最终准确率提升了近百分之一，这在这一领域是一个显著的增益。有趣的是，当网络以一种使早期层特别敏感的方式进行训练时，该方法效果最好。当网络以不同的方式训练时，敏感度分布发生了变化，最优策略也随之改变，这证明了该方案并非“一劳永逸”的固定手段，而是一种能够根据网络脆弱性具体形状进行调整的灵活规则。

这项研究还强调了仅仅尝试测量每一层的精确敏感度所存在的局限性。虽然理论上建议保护程度应与每一层的精确敏感度相匹配，但研究人员发现，试图做到极其精确往往会导致结果变差，因为测量值噪声太大，且层与层之间的差异过于极端。相反，一种更平滑、更渐进的方法效果更好。通过确保保护程度从早期层到深层呈稳步递减，机器的表现明显优于旧有的统一方法。这表明，关键不在于为每一层计算出一个完美的数值，而在于理解网络脆弱性的总体方向。

这项工作改变了我们对如何让机器进行持续学习的看法。它使该领域从“神经网络的每个部分都同等重要”的观念，转向一种更细致的观点，即网络的结构决定了策略。研究人员展示了，通过尊重这些数字大脑中天然存在的敏感等级制度，我们可以构建出既能学习新事物又不会丢失旧知识的机器。研究结果为工程师们提供了一个实用的指南：如果你想让机器记住，请保护其思考过程的开端，并让其结尾部分去适应。这种基于对这些网络实际行为深度理解的视角转变，为创造更稳定、更强大的人工智能提供了一条清晰的路径。

技术摘要：层级的重要性：为什么持续学习正则化应当具备层级自适应性

问题陈述

持续学习（Continual Learning, CL）旨在在不发生灾难性遗忘的情况下，在序列化的任务上训练单个神经网络。基于正则化的方法（如弹性权重整合，EWC）通过惩罚参数偏离前一任务最优解的情况来解决这一问题。这些方法通常为每个参数分配重要性权重，通常使用费雪信息矩阵（Fisher Information Matrix, FIM）的对角线。

本文认为，这些正则化方法中普遍存在的“静态、层均匀（layer-uniform）”观点在根本上是存在缺陷的。虽然逐参数权重提供了灵活性，但它们无法捕捉网络的每层曲率结构（per-layer curvature structure）。具体而言，标准的对角费雪近似丢失了关于每一层 Hessian 块最大特征值的重要信息。来自对抗性位翻转攻击和 Hessian 光谱分析的实证证据表明，层的敏感度差异可达数个数量级（在标准骨干网络中跨越 2–3 个数量级）。忽视这种异质性的正则化方法无法高效地分配其“遗忘预算”，从而导致次优的稳定性-塑性权衡（stability-plasticity trade-off）。

方法论与理论框架

1. 遗忘的理论分解

在假设块对角 Hessian（block-diagonal Hessian）（即忽略跨层耦合，类似于 EWC 的对角费雪假设）的条件下，作者证明了遗忘可以分解为每层项之和。

定理 2： 遗忘 $F(\Delta\theta)$ 被限制在 $\frac{1}{2} \sum_{\ell} s_\ell \|\Delta\theta^{(\ell)}\|_2^2$ 之内，其中 $s_\ell$ 是第 $\ell$ 层 Hessian 块的最大特征值。
含义： 在特定层移动参数的“代价”与该层的最大 Hessian 特征值（ $s_\ell$ ）成正比。

2. 对角费雪的局限性

本文确立了对角费雪（对角元素之和）是一个糟糕的 $s_\ell$ 估计量。

命题 5： 对于任何半正定矩阵，其最大特征值与平均对角值的比值范围可以从 1 到矩阵的维度 ( $d$ )。
后果： 两个具有相同平均费雪值的层，其最大特征值可能因层宽度的不同而相差悬殊。因此，基于费雪平均值的统一正则化无法恢复真实的敏感度结构。

3. 统一正则化的遗憾分析

作者定义了一个“遗憾（regret）”指标，用于比较统一正则化方法与已知真实每层 Hessian 块的“预知（oracle）”正则化方法的表现。

定理 6： 统一正则化的遗憾程度随层条件数（layer condition number） $\kappa = \max_\ell s_\ell / \min_\ell s_\ell$ 缩放。
结果： 随着 $\kappa$ 增加（即层敏感度变得更加异质），使用统一正则化的性能损失会随之增长。除非 $\kappa=1$ 或新任务的梯度完美对齐于非脆弱方向，否则遗憾值严格大于零。

4. 最优正则化策略

定理 8： 与预知正则化器在最坏情况位移方向上的惩罚相匹配的最优标量每层正则化强度 $\lambda_\ell$ ，其正比于最大 Hessian 特征值： $\lambda_\ell \propto s_\ell$ 。
推论 9： 如果 $s_\ell$ 随深度呈几何级数衰减或增长，则最优调度方案也是几何级的（即 $\lambda_\ell \propto \gamma^{\ell-1}$ ）。
实践规则： 对于标准的预训练骨干网络， $s_\ell$ 通常是“浅层主导”的（早期层更为敏感）。因此，经验法则为：强力保护早期层，允许深层移动。

核心贡献

诊断性洞察： 本文指出持续学习正则化中的“静态、层均匀视角”是未利用性能潜力的来源。它证明了对角费雪权重无法捕捉特定层中秩亏（rank-deficient）且高曲率的结构。
理论证明： 它提供了一个闭式推导，表明遗忘按层敏感度（ $s_\ell$ ）进行分解，并证明了统一正则化所产生的遗憾与层条件数 $\kappa$ 成比例。
规范性方案： 它提出了一个简单的层自适应配方：将正则化强度（或学习率）设置为与每层最大 Hessian 特征值成比例。
实证验证： 作者在六个标准骨干网络（ResNet-18/34/50/101, ViT-B/16, ViT-L/16）上测量了 $\kappa$ ，发现其值在 22 到 195 之间，证实了静态视角忽略了显著的异质性。

实验结果

作者通过将层自适应调度应用于 EWC 和 SLCA（慢学习者与分类器对齐，Slow Learner with Classifier Alignment）来验证其理论。

针对小型 CNN 的深度加权 EWC：
- 在从头训练的 CNN（Split-CIFAR-10/100）上，几何调度（ $\lambda_\ell = c/\alpha^{\ell-1}$ ）的表现优于统一 EWC。
- 值得注意的是，在 MediumCNN 上，最优的 $\alpha > 1$ （即更多地保护深层），作者将其归因于从头训练的网络与预训练网络在特定敏感度剖面上的差异。这证实了框架的预测：调度方案必须追踪实际的 $s_\ell$ 剖面，而非仅仅使用固定的启发式方法。
针对预训练 ViT-B/16 的 SLCA：
- 应用于在 ImageNet-21k 上预训练的 ViT-B/16 时，深度加权的 SLCA（调整每块的学习率）比默认的 SLCA（使用两组学习率）在最终任务准确率上实现了 +0.7% 的绝对增益。
- 该提升在不同的超参数设置（ $c$ ）和预训练机制下是一致的。
- 关键对比： 在 MoCoV3 预训练的 ViT 上，默认的 SLCA 已经接近最优表现，深度加权变体并未带来显著收益。这符合理论：MoCoV3 的敏感度剖面更平坦，这意味着默认的两组学习率比例已经近似于最优调度，而 ImageNet-21k 的剖面高度异质，需要自适应调度。
负面结果与鲁棒性：
- 直接应用字面上的处方（使用测得的原始特征值进行 $\lambda_\ell \propto s_\ell$ ）往往表现不如统一正则化，这是由于 $s_\ell$ 极大的动态范围和测量噪声造成的。
- 然而，一种单参数几何代理（对比例进行平滑处理）始终优于统一正则化，这表明调度的方向是关键因素，而非精确的每层比例。
- 在 TUNA（基于适配器的模型）上的实验显示增益较小，这与理论一致：适配器已经将更新约束在低维子空间内，减少了层级重新加权的空间。

意义与主张

本文声称填补了标准正则化器（如 EWC）使用的静态视角与真实神经网络异质结构之间的差距。其意义在于：

重新定义设计空间： 它将关注点从逐参数重要性转向层级敏感度，认为“静态视角”浪费了性能潜力。
可操作的启发式规则： 它提供了一个有理论依据的具体规则：“强力保护早期层，允许深层移动。” 这对于预训练骨干网络特别有效，因为早期层在 Hessian 光谱中占据主导地位。
诊断工具： 层条件数 $\kappa$ 可作为预测统一正则化是否会表现不佳的指标；高 $\kappa$ 意味着从层自适应方法中获得增益的潜力巨大。
适度的研究范围： 作者对研究范围保持谦逊，指出二次代理仅在置信区域内有效，且块对角假设是一种近似（尽管他们提供了跨层耦合的界限）。他们强调，虽然精确的每层比例具有噪声，但调度的方向（几何衰减）是该解决方案中稳健且承载核心功能的组成部分。

总之，本文认为持续学习正则化必须从逐参数加权演进为层自适应加权，以应对层间敏感度的巨大差异，并提出了一种能显著提升预训练骨干网络性能的简单几何调度方案。