🤖 machine learning

Preserving Plasticity in Continual Learning via Dynamical Isometry

本文确立了动力学等距性（dynamical isometry）是保持持续学习中塑性的关键机制，并提出了一种新颖的正则化方案和 AdamO 优化器，以维持近等距条件，从而防止深度神经网络中学习能力的渐进式丧失。

原作者： Andries Rosseau, Robert Müller, Ann Nowé

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Andries Rosseau, Robert Müller, Ann Nowé

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《通过动力学等距实现持续学习中的塑性保持》的通俗化解释，采用了创意类比。

核心问题：AI 的“职业倦怠”

想象一个极其聪明、每天都在学习新知识的学生。周一，他学会了下国际象棋；周二，他学会了说法语；周三，他学会了编写代码。

在一个理想的世界里，这个学生会变得越来越优秀，精通所有领域。但在现实中，深度学习 AI 模型经常遭受**“塑性丧失”（Plasticity Loss）**的困扰。这就像这个学生变得过于疲惫或“职业倦怠”了，以至于无法再学习新事物。他可能还记得怎么下棋，但当你要求他学习法语时，他却很难取得进展。他的大脑变得僵化了，无法弯曲以适应新形状的信息。

这篇论文的作者提出了疑问：为什么会发生这种情况？我们又该如何阻止它？

解决方案：保持“大脑”的灵活性（动力学等距）

作者发现，保持 AI 灵活性的秘诀是一个被称为**“动力学等距”（Dynamical Isometry）**的数学概念。

水管的类比：
想象 AI 是一个复杂的管道系统（层），负责将水（信息）从源头输送到目的地。

问题： 随着 AI 的学习，管道有时会变得太窄（过度挤压水流）或太宽（让水喷洒出去导致压力流失）。如果水压在经过管道时发生剧烈波动，AI 就会感到混乱并停止学习。
解决方案（等距）： “等距”（Isometry）简单来说就是“相同的度量”。作者希望管道的大小是完美的，使得水压从管道的起点到终点始终保持完全一致。没有挤压，没有喷洒。只有稳定、持续的流动。

当 AI 保持这种“稳定流动”（动力学等距）时，它就能保持灵活。它可以像处理第一个任务（国际象棋）一样轻松地处理新任务（如学习法语），因为它的内部“管道”没有被堵塞或扭曲。

他们是如何修复它的

论文提出了三种主要方法来保持这些管道的完美形态：

1. “完美平衡”的架构
他们研究了一种特殊的 AI 设计，其数学结构从一开始就是完美平衡的。他们使用了一种特殊的“开关”（称为 GroupSort），这种开关可以在不改变信息体积的情况下重新排列信息。

类比： 想象一个舞团，舞者们不断交换位置，但绝不会离开舞台，也不会改变总人数。群体的能量无论如何移动都保持完全一致。这确保了 AI 永远不会失去其“生命力”。

2. “自我修正”规则（正则化）
对于标准的 AI 设计（默认并非完美平衡），作者在训练过程中加入了一条特殊的规则。

类比： 想象一位在教室里巡视的老师。每当学生身体过度前倾或后仰时（代表 AI 的权重变得过大或过小），老师都会轻轻地将他们推回中心位置。这条规则不断检查 AI 的“姿态”，并强制其保持平衡，防止其变得僵化。

3. 唤醒“沉睡”的神经元
在标准 AI 中，大脑的某些部分经常会进入休眠状态（称为“死 ReLU”现象）并停止工作。

类比： 作者发现，他们的“自我修正规则”就像一次温柔的摇晃。因为该规则强制活跃的部分保持平衡，它会无意中推动那些“沉睡”的部分重新苏醒并加入聚会。这让整个大脑保持活跃并随时准备学习。

新工具：AdamO

为了让这一切顺利运行，他们创建了一个名为 AdamO 的新工具。

类比： 把标准的 AI 训练想象成一辆车，其引擎（学习）和刹车（正则化）连接在同一个踏板上。如果你踩得重，就会同时破坏两者。
AdamO 将踏板分开了。它让引擎快速运转以学习新事物，同时让刹车独立且轻柔地运作，以确保车辆行驶在正确的轨道上。这使得 AI 能够在保持平衡的同时快速学习。

效果如何？

作者在两种类型的挑战中测试了它：

监督学习： 教 AI 识别图像或解决规则不断变化的谜题。
强化学习： 教 AI 玩游戏，其中游戏关卡在不断变化。

结果： 在每一次测试中，使用这种“稳定流动”方法（动力学等距）的 AI 比标准 AI 能更持久地学习新事物。它没有产生“职业倦怠”。它达到或超越了所有其他顶尖方法，证明了保持内部“管道”平衡是实现永恒学习的关键。

总结

论文指出，AI 失去学习新事物的能力是因为其内部结构随着时间的推移而发生了扭曲。通过使用新规则和新的训练工具（AdamO）来强制 AI 保持完美的平衡（动力学等距），我们可以让 AI 保持灵活、清醒并随时准备学习。

技术摘要：通过动力学等距性保持持续学习中的塑性

1. 问题陈述

在非平稳条件下，深度神经网络中的持续学习经常遭受塑性（plasticity）逐渐丧失的问题。这种现象表现为网络对新任务的适应能力下降，导致其在后续数据分布上的性能退化。虽然特定的失效模式已有详细记录——例如“死亡 ReLU（dying ReLUs）”、强化学习（RL）中的优先偏差（primacy bias）以及导致损失函数曲面变得陡峭的权重范数增长——但这些模式通常是孤立研究的。作者认为，这些失效模式的共同点在于：梯度下降在所有相关输出空间方向上更新网络的效率发生了恶化。这在数学上可以表达为经验神经切向核（Neural Tangent Kernel, NTK）的各向异性（anisotropy）（即条件数）的增加。

2. 理论框架

本文建立了一个关于塑性的功能性定义，并将其与参数-函数映射的几何结构联系起来：

塑性定义： 塑性不仅被定义为最小化损失的能力，还被定义为在固定资源预算（如优化步数）内消除“超额可实现损失”（当前性能与该函数类最优损失之间的差距）的效率。
NTK 与各向异性： 在一阶梯度下降下，局部进展受经验 NTK 的瑞利系数（Rayleigh coefficient）控制。任务无关的塑性要求 NTK 是各向同性的（即与单位矩阵成比例），以便梯度下降能在所有输出空间方向上取得相等的进展。
作为替代方案的动力学等距性（Dynamical Isometry）： 对于有限规模的网络，精确的 NTK 各向同性是无法实现的。然而，作者提出将动力学等距性作为一种可行的、任务无关的替代指标。如果一个网络的层级输入-输出雅可比矩阵（Jacobians）的奇异值保持集中在 1 附近，则该网络具有动力学等距性。这确保了扰动在网络中传播时不会发生系统性的扩张或收缩，从而使 NTK 谱在各向同性输入先验的期望下保持良好的条件数。

3. 方法论

作者提出了一种多维度的方案，旨在保持动力学等距性，并由此保持塑性：

架构存在性证明： 本文重新审视了 GroupSort 网络（特别是 MaxMin 激活函数）结合正交线性层的设计。这些网络被证明是几乎处处（a.e.）等距的。尽管具有等距性，它们仍然是通用的 Lipschitz 函数逼近器，这证明了严格的等距约束与表达非线性表示之间是兼容的。
通用架构的正则化： 对于使用逐元素激活函数（如 ReLU）的标准网络（在这种情况下精确等距是不可能的），作者引入了一种高效的促进等距性正则化项。该惩罚项通过最小化格拉姆矩阵（Gram matrix）的 Frobenius 范数偏差（ $W^\top W - I$ 或 $WW^\top - I$ ）来驱动权重矩阵的奇异值趋向于 1。
ReLU 复活机制： 一个新颖的贡献是识别出一种通过该正则化项使“死亡” ReLU 单元重新激活的机制。由于该正则化项通过维持正交性将权重矩阵的行耦合在一起，因此在任务损失驱动下的活跃神经元的运动会诱导不活跃权重向量的旋转。这可以将先前处于休眠状态的单元推回正向预激活区域，从而在没有显式任务梯度的情况下有效地复活它们。
AdamO 优化器： 为了防止任务梯度与正则化梯度在自适应矩估计中混合（这可能导致不稳定的重缩放），作者引入了 AdamO。类似于 AdamW 中解耦权重衰减的思想，AdamO 将等距性正则化步骤从自适应梯度更新中解耦出来。它仅使用任务梯度来更新 Adam 矩，然后应用一个独立的步骤来处理等距性惩罚。

4. 实验结果

所提方法在旨在诱发塑性丧失的监督学习和强化学习持续学习基准测试中进行了评估：

监督学习： 在包括随机标签记忆（测试原始优化能力）、Permuted MNIST/CIFAR 以及 Label-Shuffled CIFAR 在内的基准测试中，作者的方法（特别是结合 AdamO 的 ReLU 或 MaxMin）始终能匹配或超越现有的基准方法，如 Normalize-and-Project (NaP)、谱归一化（Spectral Norm）正则化和 ReDo。这些方法展示了在长序列任务中保持训练准确度和泛化能力的卓越能力。
强化学习： 在具有随机通道置换和任务切换的持续 MinAtar 和 Octax 环境中，基于 AdamO 的方法在 20 个周期（总计 12 亿步）内保持了稳定的性能。相比之下，标准的 PPO 基准模型表现出了明显的随时间退化的现象。
诊断： 实验证实，所提方法成功维持了较低的条件数、较高的有效 NTK 秩以及持续的 ReLU 活性，验证了等距性与塑性之间的理论联系。

5. 核心贡献

塑性的功能性定义： 从 NTK 几何结构和消除超额可实现损失的效率角度对塑性进行了形式化定义。
以动力学等距性为目标： 将层级动力学等距性确定为保持塑性的原则性、任务无关的机制。
与表达能力的兼容性： 证明了几乎处处等距的架构（GroupSort）是通用逼近器，解决了关于等距约束限制模型容量的疑虑。
实用的训练工具：
- 一种适用于通用架构的高效等距正则化项。
- 一个解释并利用正交约束实现死亡 ReLU 单元复活的机制。
- AdamO，一种专门设计的解耦优化器，用于处理等距性正则化而不破坏自适应梯度统计特性。

6. 意义与主张

本文声称，保持动力学等距性能为各种塑性丧失现象提供了一个统一的几何解释，并提供了一个鲁棒的持续学习解决方案。通过使网络保持在等距流形附近，系统保留了无论当前目标如何，都能从当前参数出发做出非平凡进展的能力。

作者将其工作定位为初始化理论（已知等距性有助于信号传播）与持续学习（其中等距性保持防止塑性丧失）之间的桥梁。他们也谦虚地指出，虽然其方法优于现有方法，但并不声称解决了持续学习的所有方面（例如，他们将塑性丧失与灾难性遗忘区分开来）。建议的未来方向包括将这些原则应用于深度强化学习智能体和大语言模型，在这些领域，维持等距性可以稳定更深层架构的训练并提高持续适应能力。