🤖 AI

Attention Retention for Continual Learning with Vision Transformers

本文提出了一种用于视觉 Transformer 持续学习的新颖注意力保留框架，该框架通过识别注意力漂移并应用实例自适应梯度掩码来缓解灾难性遗忘，从而保护先前学习到的视觉概念，并在多种场景下实现了最先进的性能。

原作者： Yue Lu, Xiangyu Zhou, Shizhou Zhang, Yinghui Xing, Guoqiang Liang, Wencong Zhang

发布于 2026-02-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Yue Lu, Xiangyu Zhou, Shizhou Zhang, Yinghui Xing, Guoqiang Liang, Wencong Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明、求知欲很强的学生（一个人工智能）如何识别不同的动物。首先，你向他们展示猫的照片。他们学会了专门观察尖尖的耳朵和胡须，以此来辨认那是猫。接着，你向他们展示狗的照片。他们学会了观察耷拉着的耳朵和湿润的鼻子。

传统人工智能存在一个问题，叫做**“灾难性遗忘” (Catastrophic Forgetting)**。当这个学生学习关于狗的知识时，他们对新信息的兴奋程度太高，以至于完全忘记了猫长什么样。他们可能会看着狗那耷拉着的耳朵，然后心想：“哦，那是只猫！”或者他们可能会完全不再关注胡须，因为新的课程覆盖了旧的知识。

这篇论文介绍了一种教导这个学生的新方法，叫做 ARCL-ViT，它充当了一个“记忆守护者”，以防止他们遗忘。

核心问题：“注意力漂移” (Attention Drift)

作者发现，在现代人工智能模型（特别是视觉 Transformer，或称 ViTs）中，问题不仅仅是学生会遗忘，而是他们的重心发生了偏移。

把人工智能的“注意力”想象成一个手电筒。

当学习关于猫的知识时，手电筒明亮地照在猫的胡须上。
当人工智能学习关于狗的知识时，手电筒开始发生漂移。它离开了胡须，开始照向狗的鼻子。
如果手电筒移动得太多，人工智能以后就会失去识别猫的能力，因为它不再看向正确的位置。

解决方案：“请勿触摸”掩码 (The "Do Not Touch" Mask)

作者提出了一个聪明的技巧来保持手电筒的稳定。他们并没有试图记住每一张旧照片（这会占用太多空间），而是使用了一个两步走的过程：

第一步：绘制“黄金区域”

在学生完成关于猫的学习后，系统会对手电筒当时照射的具体位置进行快照。它会创建一个地图（一个掩码），突出显示那些对于识别猫至关重要的部分（比如胡须）——即“黄金区域”。

类比： 想象老师在纸上的猫的胡须周围画了一个红圈，并说：“这是最重要的部分。不要改变你在这里的注意力。”

第二步：新学习的“停止标志”

当学生开始学习关于狗的知识时，系统会查看那个红圈。如果新的课程试图改变人工智能观察胡须的方式（因为数学计算表明它应该改变），系统就会踩下刹车。

机制： 用人工智能的语言来说，这被称为梯度掩码 (Gradient Masking)。当人工智能计算如何更新其大脑时，系统会在控制“胡须关注度”的大脑部分放置一个“停止标志”。它告诉人工智能：“你可以学习狗的鼻子，但你被严格禁止改变观察胡须的方式。”

为了确保这不会减慢人工智能的速度或干扰其学习引擎（优化器），系统还会调整学习的速度，确保人工智能能够平滑地学习新的关于狗的知识，而不会意外抹除关于猫的知识。

为什么这很特别

大多数其他方法试图通过以下方式解决问题：

重放旧数据： 每当学习新的狗的图片时，都给学生看旧的猫的图片。（这很难，因为你需要存储所有那些旧图片）。
建造新房间： 为每种新动物增加大脑的新部分。（这会让大脑变得庞大且混乱）。

作者的方法不同，因为它锁定了焦点。它不需要存储旧图片，也不需要建造新房间。它只是确保手电筒能稳稳地停留在重要的特征上。

结果

该论文在各种具有挑战性的任务上测试了这种方法，例如识别不同艺术风格或不同领域的动物。

结果： 使用这种方法的人工智能比标准人工智能更好地记住了旧概念（猫），同时也能很好地学习新概念（狗）。
证明： 他们展示了“手电筒”（注意力图）的图像。标准人工智能的手电筒到处乱晃，而新方法的手电筒则完美地聚焦在原始特征上，就像人类一样。

简而言之，这篇论文教会了人工智能如何在学习新事物的同时，不丢失对已知事物的关注，模拟了人类注意力如何自然地稳定在重要的概念之上。

技术摘要：面向视觉 Transformer 持续学习的注意力保留技术

问题陈述

持续学习（Continual Learning, CL）旨在使人工智能系统能够从非平稳数据流中逐步获取知识。然而，灾难性遗忘（catastrophic forgetting）仍然是一个关键障碍，即学习新任务会导致对先前已学任务的性能下降。尽管存在各种策略（重放、扩展、正则化），本文识别了视觉 Transformer (ViTs) 中一种特定的遗忘机制：注意力漂移（attention drift）。

作者观察到，随着 ViTs 学习新任务，其注意力机制会显著偏离先前学习到的视觉概念的判别性特征。与人类视觉系统（即使在获取新概念时也能对关键特征保持选择性注意力）不同，ViTs 会失去这种稳定性，从而导致已学知识的侵蚀。现有方法通常无法解决 ViTs 注意力机制中这种特定的漂移问题，特别是在禁止存储先前任务数据的无重放（replay-free）场景下。

方法论：ARCL-ViT

所提出的框架 ARCL-ViT（基于视觉 Transformer 的注意力保留持续学习） 通过在学习新任务期间显式约束梯度更新来解决注意力漂移问题。该方法无需存储先前任务的数据，由两个主要阶段组成：

1. 自适应掩码生成

在完成任务 $T_{t-1}$ 后，模型生成一个二进制掩码以识别关键注意力区域。

层级展开（Layer-wise Rollout）： 该方法并非使用来自单层的原始注意力图，而是采用层级展开机制。它聚合所有层（ $L$ ）中激活的注意力矩阵，以计算综合注意力图 $\hat{S}^l_{t-1}$ 。这涉及通过变换后的注意力矩阵（ $\tilde{S} = I + S$ ）进行相乘，以捕捉从输入到类别标记（class token）的信息流。
实例自适应阈值化： 为了处理图像间判别区域大小的变化，该方法避免了使用固定阈值。该方法对注意力值进行排序，并通过二阶导数识别出数值从背景向显著区域过渡的拐点。由此确定自适应阈值 $\tau$ ，生成二进制掩码 $M$ ，其中高注意力区域被标记为 0（需保留），低注意力区域被标记为 1。

2. 梯度掩码与优化器适配

在当前任务 $T_t$ 的训练期间，生成的掩码用于抑制会改变先前任务注意力模式的更新。

梯度清零（Gradient Zeroing）： 掩码被逐元素应用于查询（Query, $Q$ ）、键（Key, $K$ ）和值（Value, $V$ ）投影权重（ $W_q, W_k, W_v$ ）的梯度。具体而言，对应于先前任务高注意力区域的梯度会被清零。这防止了优化过程将模型的焦点从先前学习的概念上转移。
优化器兼容性： 简单的梯度清零可能会破坏依赖于动量和方差统计量的现代优化器（如 Adam），从而导致更新不稳定。为了缓解这一问题，作者提出了一个缩放机制。参数更新 $\Delta W'$ 根据掩码梯度与原始梯度的比例进行缩放。这确保了更新的相对量级得以维持，使优化器能够在遵循注意力约束的同时正常运行。

核心贡献

识别注意力漂移： 本文将 ViTs 中的注意力漂移确立为持续学习中灾难性遗忘的主要来源，强调了保留对先前视觉概念的选择性注意力的必要性。
新颖框架 (ARCL-ViT)： 引入了一种基于梯度的框架，通过约束注意力漂移来实现无需数据重放的持续学习。它利用层级展开来提取鲁棒的注意力图，并利用自适应阈值策略进行精确的掩码生成。
优化器感知的梯度掩码： 该方法引入了一种缩放技术，以确保梯度掩码与自适应优化器兼容，在有效保留学习到的注意力模式的同时，防止优化不稳定性。
最先进的性能： 该方法在多种基准测试和预训练方案中均取得了卓越的结果，展示了强大的泛化能力。

实验结果

该方法在四个类增量学习基准测试上进行了评估：10-split 和 20-split ImageNet-R，10-split CIFAR-100 以及 10-split DomainNet。

性能： ARCL-ViT 达到了最先进（SOTA）的性能，在各项基准测试中的准确率平均比近期方法（如 VPT-CPG, SD-LoRA, BiLoRA）高出 1.8% 至 3.7%。
减少遗忘： 该方法显著减少了灾难性遗忘。例如，在 10-split ImageNet-R 上，它实现了 81.17% 的准确率 和 4.84% 的遗忘率，而顺序微调（Seq-FT）基线则遭受了 44.31% 的遗忘且准确率仅为 49.43%。
消融实验：
- 掩码构建： 层级展开与自适应阈值的结合产生了最佳结果，优于原始注意力或固定阈值。
- 掩码区域： 证明了对特定注意力区域进行掩码对于防止遗忘至关重要；若掩码随机区域或非注意力区域，会导致显著更高的遗忘率。
泛化性：
- 预训练权重： 该方法在不同的预训练权重（DINO-1k 和 iBOT-1k）下均表现出良好的泛化性，相比 Seq-FT 始终保持约 37% 的准确率增益。
- 长序列 CL： 在具有挑战性的长序列设置（50 和 100 个 split）中，ARCL-ViT 保持了卓越的准确率，并实现了比现有 SOTA 方法更好的塑性与稳定性平衡。
可视化： 对注意力漂移的定量分析显示，ARCL-ViT 保持了最低的漂移（6.0%），而 Seq-FT 为 25.9%，从视觉上证实了其对关键视觉概念注意力的保留。

意义与主张

本文声称，通过将 ViT 的注意力机制与生物选择性注意力的原则相结合，可以在不使用重放方法的存储开销的情况下，有效地缓解灾难性遗忘。作者将其工作定位为构建类似于生物智能的持续学习系统的重要一步，特别是通过稳定致力于先前学习概念的“神经资源”（注意力）。该方法被呈现为一种鲁棒的、无需数据的解决方案，它与现代优化技术兼容，并能泛化到多种预训练策略和长期学习场景中。