CKAA: Cross-subspace Knowledge Alignment and Aggregation for Robust Continual Learning
本文提出了 CKAA，一种新颖的持续学习框架，它通过采用双层知识对齐来统一子空间中的特征分布，并利用任务置信度引导的任务混合适配器在推理过程中自适应地聚合知识，从而增强了针对误导性任务标识符的鲁棒性。
原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一个人工智能永不停歇学习的世界。这些系统不再是基于一组固定的数据进行一次性训练并将其冻结在时间中，而是像人类一样，不断吸收新信息，适应新的类别和变化的环境。这种被称为“持续学习”（continual learning）的概念，对于构建能够应对现实世界中不断涌现的新挑战和数据流的 AI 至关重要。然而，这里存在一个重大障碍：随着这些模型学习新知识，它们往往会遭受“灾难性遗忘”（catastrophic forgetting）的影响，即获取新知识的过程会导致它们失去识别既有知识的能力。为了解决这个问题，研究人员转向了一种称为“参数高效微调”（parameter-efficient fine-tuning）的策略。他们不再重新训练整个庞大的 AI 模型大脑（这既缓慢又昂贵），而是为预训练的核心附加一些小型且专门的插件。每个新任务都拥有自己微小的模块，使系统能够在学习新内容的同时不覆盖过去的内容。
挑战在于 AI 随后尝试使用这些知识时。在许多现实场景中，系统并不知道自己正面临哪种特定的任务，它必须进行猜测。如果 AI 猜错了，试图用错误的专门插件来处理一张图片，结果往往是产生混乱且错误的答案。这是因为每个插件都是孤立训练的，从而创造了各自独特的内部语言或理解特征的“子空间”。当一张图片被强行放入错误的子空间时，其特征就会发生错位，导致模型无法理解。一支研究团队现在开发了一种名为“跨子空间知识对齐与聚合”（Cross-subspace Knowledge Alignment and Aggregation，简称 CKAA）的新框架，旨在消除这种困惑，并使这些学习系统在面对错误时更加稳健。
研究人员发现，核心问题在于这些孤立的插件之间缺乏和谐。当一张属于某一类别的图片被误路由到为另一类别训练的模块时，该图片的内部表示会变得混乱，从而导致模糊的决策。为了解决这个问题，该团队引入了一种训练方法，强制这些独立的模块在看待同一物体时，即使通过不同的视角，也要对特征的含义达成一致。他们创建了一个过程，使不同模块对同一类物体的看法保持语义一致，确保无论是由处理狗的模块还是处理猫的模块进行处理，一只“狗”在语义上看起来都是相似的。此外，他们还教会了系统去识别自己可能正在通过错误的“镜头”观察一张图片，并据此调整其决策边界。这包括模拟一张图片如果由错误的模块处理会呈现出什么样子，然后训练系统即便在这种情况下也能正确识别它。通过这样做，模型学会了区分正确的路径和错误的路径，有效地为自己的错误建立了一道安全网。
在测试阶段，研究人员实施了一种动态策略来处理预先不知道任务的不确定性。该系统并没有强迫 AI 选择单个模块并坚持使用，而是计算每一个可能任务的置信度得分。然后，它会根据各模块正确的可能性进行加权，温和地融合多个相关模块的见解。这种方法防止了模型在错误的猜测中过于自信。如果系统不确定，它会借鉴混合知识，而不是委身于单一且可能存在缺陷的路径。这种“软聚合”让 AI 能够从识别错误中恢复过来，即使最初对任务的判断是错误的，也能保持高准确率。
在包括包含数千个类别的复杂图像数据集在内的四个主要基准测试中进行的广泛测试，证实了这种方法的有效性。新框架在短期和长期学习场景中均表现出色，其准确率始终优于现有方法。在一次涉及具有困难且不平衡样本的数据集的挑战性测试中，新方法比之前的最佳技术显著提高了准确率。研究人员还证明，该系统保持了高效性，仅增加了少量的计算成本，却带来了实质性的可靠性提升。通过对不同学习模块的内部语言进行对齐，并创造一种灵活的方式来结合它们的知识，这项工作为实现能够持续学习而不遗忘、且不会轻易被自身错误所迷惑的人工智能迈出了充满希望的一步。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。