Metaplasticity as adaptive gradient preconditioning for incremental learning

人类大脑拥有一种持续学习的卓越能力。一个孩子可以学会识别狗，然后学会骑自行车，接着学会一门新语言，而不会忘记如何识别狗。这种新知识的无缝流动并不会覆盖旧记忆。相比之下，受大脑启发而构建的数学模型驱动的人工智能系统，在处理同样任务时却表现得极为吃力。当这些计算机程序学习新任务时，它们往往会遭受“灾难性遗忘”之苦——这是一种新学习剧烈抹除旧知识的现象。系统变得不稳定，无法在试图掌握当下的同时，留住过去。科学家们长期以来一直试图解决这个“稳定性-塑性困境”，试图寻找一种方法，让机器既能具备学习新事物的灵活性，又能具备保持已知知识的稳定性。

几十年来，研究人员一直试图通过添加额外规则或保存旧数据以备日后复习来模仿大脑的解决方案。然而，这些方法通常要求计算机精确知道一个任务何时结束以及另一个任务何时开始，或者需要海量的内存来存储过去的示例。这些要求显得过于人工化，并不反映生物智能的实际运作方式。悉尼大学研究人员的一项新研究提出了一条不同的路径。他们建议，与其强迫计算机记住旧数据，或在任务完成后停下来进行计算，不如让系统实时、逐瞬地调整自身的学习速度，就像活生生的突触那样。他们将这种方法称为 SynGAP，这种方法将学习过程视为一条连续流动的河流，其水流自然地塑造着河岸，而非一系列离散的步骤。

其核心思想源于一个被称为“元塑性”（metaplasticity）的生物学概念。在大脑中，突触不仅仅是一个简单的开关，它拥有历史。突触的状态会根据其过去的使用频率而改变，使其变得更容易或更难再次发生变化。这就是“塑性的塑性”。如果一个连接长期被强化，大脑就会使其难以改变，从而保护该记忆。如果一个连接是新的或未被使用的，它则保持灵活性。研究人员意识到，人工神经网络也可以从这一原则中受益。与其等到任务完成后再决定网络的哪些部分重要，他们的方法允许网络不断监测自身的历史。它记录着每个部分对过去学习贡献程度的运行平均值，从而有效地创造了一种随每条新数据更新的“重要性记忆”。

为了将此付诸实践，团队开发了一个系统，该系统充当了学习过程的动态阀门。当计算机尝试学习新事物时，它会计算实现性能提升所需的标准调整。然而，在这些调整被应用之前，它们必须通过一个过滤器。这个过滤器会检查每个连接的历史。如果一个连接对过去的任务至关重要，过滤器会轻微减缓变化的速度，防止新学习破坏旧知识。如果该连接并不关键，过滤器则允许变化自由发生。至关重要的是，这一切的发生都不需要计算机知道它当前正在执行什么任务，也不需要存储大量的旧示例进行回溯。系统只是向前流动，根据已学到的知识调整自身的敏感度。

研究人员在两个具有挑战性的基准测试中测试了这种方法，在这些测试中，计算机必须先后识别不同类别的图像。在一项测试中，系统必须学习 100 个不同的图像类别，分为十组。标准的学习方法（仅试图在过程中最小化误差）几乎完全遗忘了前几组，对旧任务的准确率保持率不足 10%。那些试图保存旧数据或为学习过程添加额外惩罚的方法表现稍好，但仍然面临困难，往往会遗忘一半以上的已学内容。然而，新的 SynGAP 方法取得了显著更高的成功率。它对旧任务的平均准确率保持在接近 27%，这比标准的正则化方法高出近四倍，也比依赖保存旧数据的方法高出近 10%。它还将遗忘程度降低了 10% 以上。

在第二个涉及连续物体识别流的测试中，结果同样强劲。新方法达到了约 68% 的准确率，比表现最好的标准学习工具高出约 10 个百分点。或许最重要的一点是，该系统并未变得僵化。一些过度保护旧记忆的方法会导致计算机无法学习任何新事物。研究人员发现，他们的方法达成了微妙的平衡：它在保护过去的同时，没有冻结未来。系统保持了足够的灵活性以适应新信息，同时保持了旧知识核心结构的完整。

这种方法的成功在于它改变了学习更新的本质。传统方法通常试图通过增加最终目标的惩罚来解决问题，本质上是在告诉计算机：“不要离你原来的位置太远。”这可能会扭曲学习路径，并在任务数量增加时产生冲突。相比之下，新方法修改了学习步骤本身。它扮演着几何引导的角色，引导计算机避开那些会破坏旧记忆的方向，同时允许它在不干扰旧记忆的方向上自由移动。这种变化是持续发生的，由数据本身的流动驱动，而非由外部信号或存储的记忆驱动。研究人员证明，通过将这一生物过程进行数学形式化，他们可以创建一个既稳健又高效的系统，且运行所需的额外内存极少。

尽管该系统非常有效，但研究人员指出，它并非适用于每种可能的场景。目前它依赖于对网络内部几何结构的简化视图，这在许多情况下效果良好，但在处理极其复杂的问题时可能需要进一步完善。此外，它仍需要少量的存储数据才能运行，尽管比以往的方法少得多。尽管存在这些局限性，这项工作仍是一个重大的进步。它表明，通过密切观察生物系统如何管理稳定性与变化之间的张力，并将这些原理转化为连续、实时的过程，我们可以构建出更像人类思维的智能。这项研究表明，防止灾难性遗忘的关键不在于停止学习或囤积过去，而在于让学习的历史来塑造未来学习的方式。