Scaling Continual Learning to 300+ Tasks with Bi-Level Routing Mixture-of-Experts
本文提出了 CaRE，这是一种可扩展的持续学习框架，利用双层路由混合专家机制有效处理超过 300 个任务的超长任务序列，并引入了具有挑战性的 OmniBenchmark-1K 数据集用于评估。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你正试图教一个机器人识别成千上万种不同的物体，每次只学习一个新的类别。问题在于，当你教它新事物（比如“柯基犬”）时，它往往会忘记之前学过的旧事物（比如“汉堡包”）。这被称为“灾难性遗忘”。
本文介绍了一种名为CaRE（具有高效双层路由混合专家系统的持续学习者）的新系统，旨在解决这一问题。以下是其工作原理的简明解释：
1. 问题所在：“一刀切”的陷阱
大多数现有的 AI 系统试图通过微调它们已有的“大脑”来学习新任务。如果你教它们识别狗，它们可能会意外地覆盖掉识别猫的规则。
- 论文的洞见：CaRE 没有强迫 AI 使用同一个“大脑”处理所有事情，而是为 AI 提供了一个庞大的专用工具库。当新任务到来时，AI 不仅进行学习，还学习如何从工具库中挑选正确的工具。
2. 解决方案：“智能图书管理员”系统（BR-MoE）
CaRE 使用一种称为双层路由混合专家系统（BR-MoE）的机制。将 AI 的大脑想象成一个巨大的图书馆，里面有许多专门的“专家”（迷你大脑）。
第一层：首席图书管理员（路由选择）
当一张新图片传入时（比如一张柯基犬的照片），系统不会随意猜测。它会询问一系列“首席图书管理员”（称为类别感知器）来查看图片，并回答：“你有多确信这张图片属于你的特定区域？”- 如果“犬类图书管理员”非常确信（不确定性低），它就会被选中。
- 如果“汽车图书管理员”感到困惑（不确定性高），它就会被忽略。
- 关键技巧：系统挑选的是看起来最相关的几位图书管理员，而不仅仅是一位。这确保了 AI 在关注主要概念的同时，也能考虑相关概念（如其他动物）。
第二层：专用专家（动态专家路由）
一旦选定了首席图书管理员，他们各自会召集自己的专用专家团队（小型、高效的适配器）。- 每位专家都是一个专门针对过去任务训练的迷你大脑（例如，一位专家精通所有关于狗的知识，另一位精通鸟类）。
- 图书管理员会激活对当前图片最有帮助的几位专家。
- “共享专家”：此外，还有一位“超级专家”，它对迄今为止学到的所有知识都略知一二。这确保了 AI 不会丢失其通用知识。
3. “每一层”的优势
通常，AI 系统仅在最后阶段做出决策。CaRE 则不同：它将这套“图书管理员 + 专家”系统构建到了其大脑的每一层中。
- 类比：想象一条工厂流水线。在普通工厂中，最终经理决定如何处理产品。而在 CaRE 中，流水线上的每位工人（每一层）都有自己的迷你图书管理员，他们决定此时此刻使用哪些具体工具。这使得 AI 能够一步步构建出非常详细且准确的物体图像。
4. 新挑战："OmniBenchmark-1K"
为了证明其有效性，作者意识到现有的测试过于简单。大多数测试仅包含 20 个任务（例如学习 20 种动物）。
- 他们创建了一个新的、超难的测试，称为OmniBenchmark-1K。
- 该数据集包含1,000 个不同的类别和近 200,000 张图片。
- 他们通过按顺序教授 CaRE 100 个、200 个甚至301 个连续任务来测试它。
- 结果：随着任务数量的增加，其他 AI 系统开始失败并遗忘事物，而 CaRE 却持续进步。即使任务列表极其漫长，CaRE 的表现也大幅优于所有其他方法。
总结
CaRE 就像一个不仅死记硬背事实，而且学会如何在正确情境下调用正确记忆的学生。
- 它检查自己的置信度，以找到最相关的“记忆室”（第一层路由）。
- 它从这些房间中取出特定的“工具”来解决问题（第二层路由）。
- 它在思考过程的每一步都这样做，而不仅仅是在最后。
这使得它能够学习数百种新事物而不遗忘旧事物，这是迄今为止没有任何其他系统在该规模上成功展示过的壮举。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。