Plasticity of Growing and Elastic Neural Networks in Online Continual Learning
本文研究了在线持续学习中生长型且具弹性的神经网络的塑性，证明了通过增量添加新单元并保留现有连接或剪枝无效单元的自适应方法，可以在防止灾难性遗忘的同时，保持高预测准确度并防止塑性丧失。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下这样一个世界：当你学会了玩杂耍的那一刻，你的大脑会瞬间忘记如何骑自行车；或者一个学生的脑海里装满了历史知识，以至于无法再学习任何新的数学公式。这就是人工智能领域中被称为“灾难性遗忘”的噩梦场景。但还有一个更隐蔽的反派在作祟：“塑性丧失（loss of plasticity）”。把塑性想象成大脑保持灵活和可塑性的能力。如果一个网络失去了塑性，它就会变得像一座坚硬的雕像——僵硬、不可改变，即使它完美地记得旧事物，也无法学习任何新东西。
长期以来，科学家们试图通过构建具有固定数量“神经元”（大脑内部微小的处理单元）的 AI 来解决这些问题，希望如果结构永不改变，AI 就会保持稳定。但自然界讲述了不同的故事。动物的脑容量并不是固定的；它们在学习过程中会生长出新的连接，并修剪掉旧的连接。这篇论文探讨了一个大胆的想法：如果我们构建一种能够像生物一样真正生长和收缩的 AI，会怎样呢？研究人员想看看这些“生长型”且“富有弹性”的网络是否能在学习永无止尽的新任务流时，既能保持其灵活性（塑性），又不会陷入停滞或遗忘一切。
生长与收缩的 AI 之故事
在这项研究中，研究人员搭建了一个数字游乐场，其中的 AI 必须一个接一个地学习一系列图像分类任务，就像一名学生每天参加一场新考试一样。他们使用了两种流行的图像集：MNIST（手写数字）和 FashionMNIST（服装图像），但加入了一个转折：对于每一次新测试，图像的像素都会以一种独特的、随机的方式被重新排列，迫使 AI 每次都必须从零开始学习，而不能依赖相同的视觉模式。
团队测试了几种不同的“架构”，即 AI 大脑的蓝图。首先，他们尝试了标准方法：固定网络（Fixed Network）。想象一个教室里有固定数量的课桌。无论有多少新学生（任务）到来，课桌的数量始终不变。研究人员发现，随着 AI 学习的任务越来越多，它的表现逐渐崩溃。它失去了“塑性”，变得僵化且无法适应，同时其内部越来越多的单元变得“死亡”——停止了所有活动并变得毫无用处。
接着，他们尝试了阶段性生长网络（Staged Growing Networks）。这就像是一个每天增加一张新课桌的教室，但有一个限制：一旦课桌被添加进去，它就会被螺栓固定在地上，永远无法移动或调整。AI 可以增加新单元，但旧的单元被冻结了。结果令人失望。因为 AI 被迫不断使用这些冻结的、过时的课桌，导致它充斥着对新任务毫无帮助的“噪声”特征。AI 失去了灵活性，准确率也随之下降。
随后，研究人员引入了一个简单但强大的变化：自适应生长网络（Adaptive Growing Networks, AGNs）。这与之前的版本相同——每天增加一张新课桌——但有一个关键区别：没有任何东西是被螺栓固定的。网络中的每一个连接都保持着灵活性，可以随时进行调整。结果是一个启示。尽管网络变得越来越大，甚至许多旧单元最终也变得“死亡”（停止放电），但 AI 依然保持了高准确率，并且从未失去其塑性。看起来，只要网络能在添加新鲜单元的同时，不断微调其现有的连接，它就能永远学习下去。
然而，这里有一个问题。AGN 会无限生长，这最终会耗尽计算机的内存并减慢运行速度。这就像一个学生不断往书包里塞进新的笔记本，却从不扔掉旧的；最终，他背不动这个包了。
为了解决这个问题，团队创造了自适应弹性网络（Adaptive Elastic Networks, AENs）。这些网络类似于 AGNs，但内置了一个“弹簧”机制。在每个新任务开始时，AI 会检查自己的大脑，并“修剪”（移除）那些它评估为“死亡”或无用的单元。这使得网络可以在添加新单元的同时实现收缩。结果是一个“金发姑娘原则（Goldilocks）”式的完美方案：AI 实现了卓越的准确率，保持了高塑性，并维持了紧凑且接近恒定的规模。它在需要时生长，在不需要时收缩，既保持了高效，又没有失去学习能力。
研究人员还测试了一种“双层”版本的这些网络，其中新单元仅连接到输入端和输出端，跳过了中间层。这使得学习过程更快，尽管有时会导致最终规模略大。
这对未来意味着什么
论文指出，保持 AI 灵活性的关键不仅在于记住旧事物或防止遗忘，而在于保持网络结构的生命力和适应性。通过允许网络动态地生长和收缩，并确保连接保持灵活而非冻结，我们可以构建出能够持续学习且不失活力的系统。
作者谨慎地指出，这些发现源于针对图像任务的特定实验，且结果“表明”这些方法是很有前景的。他们并不声称已经解决了整个终身学习的问题，但他们展示了一条清晰的前行路径。未来的工作需要探索究竟在何时添加或移除单元，以及这些网络在处理不同类型数据时的表现。但就目前而言，这种能够像植物一样生长、像园丁一样修剪的 AI 理念，似乎是未来智能机器的一个非常有力的竞争者。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。