When Blocks Outlive Tasks: Three Safeguards for Task-ID-Free Routing in Growing Continual Learners
本文提出并验证了三种特定的保护措施——重放早期阶段、在区块冻结时记录路由器状态，以及防止覆盖已冻结的区块统计数据——旨在为块寿命长于单个任务的增长型持续学习者中实现鲁棒的任务无关路由。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一位学生，每年都必须学习一门新学科，从植物学到天体物理学，且从未忘记过往年的课程。在人工智能的世界里，这就是持续学习（continual learning）所面临的挑战。为了解决这个问题，研究人员通常会构建能够为每个新学科生长出新大脑部分的系统，并将旧的部分冻结起来，以保护已经学到的知识。当系统明确知道自己正在接受哪种学科测试时，这种方法效果很好，因为它只需选择大脑中对应的那个冻结部分即可。但在现实世界中，人工智能经常遇到一个没有标签告知其属于哪个学科的问题。它必须弄清楚自己成长中的哪一部分大脑持有答案。这就是无任务路由（task-free routing）的谜题：当系统不知道问题的主题时，如何将问题发送到正确的记忆库。
当人工智能的增长并非完美调度时，问题会变得更加困难。在许多先进系统中，一个单一的学习区块可能会连续学习数年，然后才最终被冻结并封存。在这些年里，该区块会不断变化和演化。如果系统试图记住该区块在年轻时所掌握的知识，它看到的可能是一个不再匹配该区块当前版本的记忆。此外，如果系统持续在新的数据上进行训练，它可能会在无意中覆盖掉它对旧区块所做的笔记，导致它忘记哪部分大脑最适合处理特定的问题。如果没有处理这些漂移记忆的方法，人工智能就会迷失方向，将问题发送给错误的专家，并导致学习失败。
来自印度理工学院（IIT）达巴德分校的一个研究小组致力于解决这个特定问题。他们专注于构建能够阶段性学习的人工智能系统，其中一个学习块可以在被锁定之前跨越多个时期。他们确定了三条必须遵守的关键规则或保障措施，以确保当这些学习块的寿命超过其原始任务时，路由系统仍能正常工作。第一条规则是，活跃的学习块在学习新事物时，必须保留一份其在早期阶段所见数据的临时副本。这确保了当该区块最终被冻结时，它拥有一份完整的历史记录，而不仅仅是最近的教训。第二条规则规定，系统只有在区块被冻结的精确时刻，才能写下关于该区块的最终笔记。如果系统稍后尝试更新这些笔记，其描述将不再匹配该区块的最终状态。第三条规则要求，一旦区块被冻结，系统绝不能让新的训练数据覆盖掉它对该区块所做的笔记。这些笔记必须保持原样，处于一种不被未来学习所改变的状态。
为了测试这些规则是否真正必要，研究人员进行了一系列严格的实验，涵盖了十个不同的计算机种子（类似于在略微不同的随机起点下运行十次相同的实验）。他们在五个基准测试集上进行了测试，这些测试集涵盖了从简单的图像识别到复杂的语言理解，是衡量人工智能性能的标准数据集。在二十个特定测试中的十九个中，当这三项保障措施全部到位时，系统的表现明显优于移除其中任何一项时的表现。当他们移除第一条规则时，系统在保存记录之前就遗忘了过去的教训。当他们移除第二条规则时，系统关于区块的笔记变得陈旧且不准确。当他们移除第三条规则时，系统对旧区块的记忆被新数据覆盖，导致其迷失了方向。唯一的例外是在一个特定的乱序图像数据测试中，第二条规则几乎没有产生影响，这表明并非每种类型的数据都需要所有规则到相同程度的参与。
研究人员还发现了一个关于系统如何在同一学习块的不同版本之间进行选择的惊人发现。有时，一个区块会被修订，从而产生一个旧版本和一个新版本。团队发现，一种旨在挑选“最胜任”版本的方法在仅对比这两个版本时效果很好。然而，当他们尝试使用同样的方法在整个系统的所有区块之间进行选择时，该方法实际上让系统变差了。这种方法倾向于将问题从真正所属的区块拉向修订后的版本，仅仅是因为那些版本拥有略高的评分。这告诉他们，一个适用于局部决策的信号，在应用于整个系统时可能会产生危害。
尽管取得了这些成功，研究也揭示了一个硬性限制。即使有了保障措施且路由运行完美，这些不断增长的系统仍然无法击败另一种从不增长的 AI 类型。在他们使用的冻结特征上，一种名为 RanPAC 的非增长型系统始终优于每一个路由式的增长型记忆库。这表明，虽然保障措施防止了增长型系统的失败，但它们并不自动意味着“增长”是更好的选择。增长机制本身必须通过学习一些静态系统无法学习的新知识来证明其价值。研究人员总结道，他们的工作为实现无任务标签的增长型系统提供了必要的基石，但关于“增长是否始终是正确路径”的更大问题仍然悬而未决。保障措施确保了路由不会崩溃，但它们并不能保证这个不断增长的学习者会是房间里最聪明的那一个。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。