SPARCL: Spectral Partitioned Analytic Continual Learning
SPARCL 通过将自相关算子划分为一个冻结的高能核心和一个可更新的残差块，解决了分析式持续学习中导致遗忘的光谱干扰问题，从而提供了一个具有旧类逻辑值可证明不变性的闭式解，并在多个基准测试中实现了最先进的性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一位学生，他多年来致力于精通一个庞大的知识库，从古代历史到现代物理学。现在，想象要求这位学生每天学习一门新学科，却从未被允许翻阅旧教科书或复习之前的笔记。在人工智能的世界里，这就是“持续学习”所面临的挑战。机器通常擅长学习某项特定任务，但当被要求学习新任务时，它们经常会遭受“灾难性遗忘”之苦。它们为了给新知识腾出空间而覆盖掉之前的知识，导致无法识别曾经掌握的内容。几十年来，研究人员一直试图通过保存旧任务的示例以备日后复习，或者通过添加复杂的规则来防止机器过快改变主意，来解决这一问题。然而，一种更新、更简单的方法出现了，它完全不需要保存任何旧示例。这种方法不再使用缓慢的试错过程来更新大脑，而是使用一个直接的数学公式来瞬间更新其知识。它快速、私密且高效，但直到目前为止，它一直隐藏着一个缺陷：即使没有了混乱的试错过程，机器仍然会缓慢地遗忘旧课。
谢菲尔德大学的一个研究小组已经准确识别出了发生这种情况的原因，并构建了一个能够阻止遗忘发生的解决方案。他们发现，问题并不在于机器在激进地重写自己的记忆，正如此前假设的那样。相反，问题的根源在于，机器内部关于不同信息之间如何相互关联的“地图”，正被新数据微妙地扭曲。当新任务到来时，其信息会与机器已经为旧任务建立的最重要、最占主导地位的路径发生重叠。这种重叠并非直接抹除旧路径，而是稀释了它们的强度，使得机器对旧答案的信心随着时间的推移而逐渐偏移。这就像是一群新的人进入了一个安静的房间，他们并不是通过大声喧哗来盖过旧有的谈话，而是通过改变声学环境，使得旧的声音听起来变得更微弱、更模糊。
为了解决这个问题，研究人员开发了一种名为 SPARCL 的新系统。他们的洞察力在于，不将机器的内部地图视为一个单一、统一的整体，而是将其视为两个截然不同的部分。他们确定了一个由最强、能量最高的路径组成的“核心”部分，这些路径承载着关于旧任务最重要的信息。然后，他们决定完全冻结这个核心，将其锁定在原位，使得任何新信息都无法改变其形状或强度。而地图的其余部分，他们称之为“残差”部分，则被留作可以改变。这个残差部分捕捉了较新的、不那么占主导地位的信息方向。当新任务到达时，系统仅更新这个灵活的残差部分，让冻结的核心保持不动。通过这种方式，机器可以在学习新事物的过程中，绝不干扰其已掌握知识的稳定基础。
研究人员在几个困难的图像识别挑战上测试了这种方法，包括包含数百种不同类别物体和动物的数据集。他们使用了一个已经学会观察世界的强大预训练计算机视觉模型，并要求它逐一学习新类别，期间从未再次看到旧类别。结果令人瞩目。这种新方法几乎填补了这些简单、快速的学习系统与此前被认为是最优秀的复杂、缓慢系统之间的差距。在某些情况下，它的表现甚至超越了现有的最强方法。至关重要的是，该系统保持了快速和高效，仅需其他先进技术所需计算能力和时间的极小部分。它证明了，通过理解信息在机器中流动的几何结构，人们可以在无需存储旧示例或运行复杂模拟的情况下，保护旧有的知识。
这项工作改变了我们对简单学习算法极限的认知。长期以来，人们一直认为，如果你移除了混乱的迭代式试错过程，你就能解决遗忘问题。研究人员表明，即使是在一个完美的、纯数学的更新过程中，遗忘也会发生，仅仅是因为新信息改变了整个系统的平衡。他们的解决方案并非试图用武力去对抗这种平衡，而是为最重要的知识创造了一个受保护的区域。通过将稳定与灵活分离，他们让机器能够成为一名终身学习者，且永不迷失方向。这种方法为构建能够适应新环境的智能系统提供了一条充满前景的路径，例如在智能手机或机器人等设备上，保存旧数据是不可能的，而速度又是必不可少的。机器在学习，在适应，而最重要的是，它在记忆。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。