SingularClip: Preventing Spectral Collapse to Maintain Plasticity in Continual and Reinforcement Learning
该论文介绍了 SingularClip，这是一种通过定期对权重矩阵的奇异值进行裁剪，以防止在非平稳任务训练的神经网络中出现谱坍缩并保持塑性的方法，证明了其在持续监督学习和深度强化学习中的卓越性能。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
深度学习赋予了机器识别面部、翻译语言和玩复杂游戏的能力，但当周围世界发生变化时，这些系统却显得力不从心。在静态的教室里，一名学生可以背诵教科书并终身受益；然而在现实世界中，规则在不断变化。自动驾驶汽车必须适应新的交通模式，而机器人必须在学习新任务的同时，不忘记如何走路。当神经网络——这些系统背后的数学大脑——试图在旧知识之上学习新事物时，它们往往会变得僵化。它们失去了弯曲并拟合新信息的能力，科学家将这一问题称为“塑性丧失”。由于缺乏这种灵活性，机器会陷入停滞，无法更新其对不断变化环境的理解。
研究人员早已知道，在网络学习的过程中，其内部计算出现了问题。他们怀疑网络的权重（即决定信息流向的数值）正陷入一种糟糕的状态。多伦多大学和蒙特利尔理工大学的一个科学家团队现在已经准确识别出了这种糟糕的状态及其成因，并找到了解决方法。他们发现，随着网络的学习，其内部结构变得越来越不平衡，在某些方向上过度拉伸，而在另一些方向上则发生坍缩。这种扭曲使得网络学习新任务变得极其困难。为了解决这个问题，他们引入了一种简单的周期性程序来重塑这些内部结构，从而让机器保持灵活性并持续学习。
问题的核心在于网络如何组织其知识。将网络想象成一片广阔的山峦与谷地。随着学习的进行，这片景观也在发生变化。研究人员发现，随着时间的推移，这片景观倾向于拉伸成一条长而窄的脊线。大多数学习过程都沿着这条单一的脊线发生，而景观的其他部分则平坦化为一个深邃而狭窄的峡谷。在技术层面，研究人员称之为“各向异性增长”。这意味着网络对特定方向的变化高度敏感，但对任何其他方向的变化却完全“耳聋”。当一个需要向不同方向学习的新任务到来时，网络无法做出响应，因为其内部结构已经坍缩到了那条单一且占主导地位的脊线上。用于学习新任务所需的信号会在峡谷的平坦处丢失。
为了证明这就是导致僵化的原因，研究人员进行了实验，人工创建了具有这种拉伸形状的网络。他们发现，与平衡的网络相比，这些扭曲的网络学习速度慢得多，甚至根本无法学习。他们还观察到，在处理从识别图像中的随机模式到学习控制虚拟机器人等真实任务时，这种拉伸现象也会自然发生。这种拉伸不仅仅是副作用，它直接导致了学习速度的放缓。网络拉伸得越厉害，新信息通过它的难度就越大。
随后，该团队开发了一种被称为 SingularClip 的解决方案。这个名字源于他们用来修复问题的数学运算。他们并没有任由网络失控拉伸，而是定期停止训练过程，并检查网络内部结构的形状。如果结构变得过于拉伸，他们就会对极端值进行“裁剪”（clipping），迫使形状回归到一种更平衡、更圆润的形式。这并不是一次彻底的重置，因为重置会抹去机器目前为止学到的所有东西。相反，这是一种温和的修正，它在保留网络已收集信息的同时，防止其变得过于僵化。这就像园丁修剪一株长得过高过细的植物，通过剪掉过剩的枝蔓，让植物能够再次向新的方向分枝生长。
这种方法的实验结果令人瞩目。在机器必须学习一系列不同任务的测试中，使用这种裁剪方法的网络比使用其他常用技术的网络学习得更快、更准确。此前的一些方法试图通过仅限制网络在某一方向上的增长规模来解决问题，但研究人员表明这是不够的，因为网络仍可能在其他方向上发生坍缩。另一些方法涉及完全重置网络，虽然这对于学习新事物效果很好，但会导致机器忘记之前学到的所有内容。新方法介于两者之间：它既保持了机器学习新任务的灵活性，又不会抹除其过去的知识。
在强化学习领域——即智能体通过试错来学习的领域——这种差异更为显著。在一个极具挑战性的环境中，一个采用周期性重置的标准智能体完全无法学习，因为它无法从严苛的重置中恢复。然而，使用这种新型裁剪方法的智能体保留了足够的先前知识，最终取得了成功，其表现甚至超过了那个从未进行重置的标准智能体。这表明，终身学习的关键不仅在于学习新事物，还在于保持正确的内部形状以具备学习新事物的能力。通过保持网络内部几何结构的平衡，机器能够保持对未来的开放性，随时准备适应接踵而至的任何变化。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。