💬 NLP

AWARe: Mitigating Catastrophic Forgetting via Activation-Weighted Adaptive REtention

本文提出了一种名为 AWARe 的微调方法，该方法通过基于激活模式动态冻结对先前知识至关重要的参数，来缓解多模态大语言模型中的灾难性遗忘，从而在不修改模型架构的情况下，在保留上游能力的同时实现卓越的下游性能。

原作者： Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

发布于 2026-08-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Juncheng Liao, Jinfan Lv, Guoming Wang, Jupeng Zheng, Ling Xiao, Siliang Tang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一个才华横溢、超级聪明的机器人朋友，它花了多年时间阅读图书馆里的每一本书，并观赏了世界上每一幅画作。这个机器人是一个多模态大语言模型（MLLM），它既能理解图像，也能理解文字，非常了不起。但棘手的部分在于，如果你试图教这个机器人一项新的、特定的技能——比如如何玩一个益智游戏，或者写一首关于特定猫咪的诗——它往往会忘记它曾经知道的一切。这就像是你为了练好一首新曲子而如此投入，以至于突然忘了怎么系鞋带一样。这种“遗忘”现象被称为“灾难性遗忘”（catastrophic forgetting），对于那些希望让 AI 模型在学习新知识的同时保持有用性和知识性的科学家来说，这是一个巨大的难题。

你即将阅读的论文提出了一种聪明的新方法，叫做 AWARe。把机器人的大脑想象成一座巨大的城市，里面有数十亿个从事不同工作的微小工人（神经元）。当机器人学习新事物时，它通常会要求所有的工人改变习惯，这会导致混乱并让它忘记旧的工作。AWARe 建议了一种更聪明的方法：与其要求所有人改变，不如去倾听这些工人，看看当机器人处理旧有的、熟悉的任务时，谁正在叫得最响（激活程度最高）。然后，它会告诉这些特定的、忙碌的工人：“你们保持原样！继续做你们原来的工作。”只有那些较安静、没那么忙的工人，才被允许改变习惯去学习新任务。这样，机器人就能在不丢失旧记忆的情况下学习新技能。

问题所在： “覆盖”故障

多模态大语言模型就像是已经从庞大的图像和文本大学毕业的超级学霸。它们可以进行推理、解释并进行各种话题的聊天。但是，当我们尝试对它们进行“微调”（fine-tuning）——即教它们一项新的、特定的工作，比如识别医疗状况或回答有关特定视频游戏的问题时——它们经常会遭受灾难性遗忘。

想象一下，你正在学习一个新的舞蹈动作。如果你练习得太刻苦，以至于忘了怎么走路，那就是灾难性遗忘。在 AI 世界中，这种情况之所以发生，是因为学习新任务的过程涉及更新模型的内部“权重”（控制其思考方式的旋钮和拨盘）。当模型为了新任务调整这些旋钮时，它会不小心扭动了那些支撑其旧知识的旋钮，导致旧技能崩塌。

解决方案：AWARe（激活加权自适应保留）

作者提出了一种名为 AWARe 的方法来解决这个问题。AWARe 不再盲目地改变整个大脑，而是像一位聪明的图书管理员，清楚地知道哪些书应该留在书架上。

以下是它的工作步骤：

“倾听”阶段（特征分析）： 在教机器人任何新知识之前，研究人员让它看一组小的“校准”示例（比如一些它已经熟知的旧照片或问题）。他们不仅仅观察机器人的大脑结构；他们观察大脑是如何“亮起来”的。他们测量激活度——即在处理这些熟悉的任务时，每个微小的工人（神经元）消耗了多少能量。
“冻结”决策： 研究人员发现，有些神经元非常活跃，对于机器人的旧知识至关重要，而另一些则比较放松。AWARe 识别出这些“大声叫喊”的神经元（激活程度最高的排名前 30% 的神经元），并下令：“你们至关重要！冻结。”这意味着它们的设置被锁定了，无法更改。
“适配”阶段： 剩下的神经元（较安静的 70%）则处于解锁状态。当机器人学习新任务时，只有这些解锁的神经元被允许发生改变。被锁定的神经元保护了机器人的旧记忆安全无虞。

为什么这很重要

论文表明，这种方法之所以成为“游戏规则改变者”，主要有两个原因：

它是“无需动脑”的升级： 与其他需要为机器人的大脑构建复杂插件或存储海量旧数据（这会占用大量内存）的方法不同，AWARer 直接利用机器人现有的脑力。它不改变架构；它只是改变了哪些部分被允许移动。这就像是在不拆墙的情况下重新布置房间里的家具。
效果惊人： 在实验中，团队在 LLaVA-v1.5 和 Qwen2.5-VL 等模型上测试了 AWARe。
- 当教模型回答有关图表的问题（IconQA）时，AWARe 使模型的旧知识（如回答关于图像的一般性问题）保持在原始强度的 98.4%，同时仍能很好地学习新任务。
- 在一个连续学习测试中，模型必须连续学习五个不同的任务（如医疗问题、驾驶和金融），AWARe 的表现优于所有其他方法，其平均得分比排名第二的方法高出 3.18 分。

论文说了什么（以及没说什么）

作者非常明确地阐述了他们的发现以及未涉及的内容。

有效之处： 他们证明了使用激活度（一个神经元的工作强度）来决定冻结哪些神经元，比仅仅观察权重的大小或随机挑选神经元是更好的方法。如果你随机挑选神经元，模型会几乎立即忘记旧技能。如果你根据“声音大小”来挑选，模型就能保持聪明。
无效之处（或不需要之处）： 他们展示了并不需要冻结整个大脑。仅在特定的大脑部分（自注意力层和连接图像与文本的连接器）冻结前 30% 最活跃的神经元就足够了。冻结“MLP”部分（深度思考层）实际上会损害性能，这表明这些层应该是灵活的。
“神奇”的校准集： 最酷的发现之一是，你不需要机器人的原始训练数据来确定要冻结哪些神经元。你可以使用一组通用的、随机的问题（例如 MMMU 数据集）来进行特征分析。即使使用这些通用数据，AWARe 的表现也几乎与使用特定旧数据时一样出色。这使得该方法在实际应用中非常实用。
效率： 该方法极其高效。在他们最好的设置中，他们只更新了约 17.5% 的总参数。这意味着计算机不需要像更新整个模型那样辛苦工作。

总结

AWARe 表明，防止 AI 遗忘的秘诀不在于阻止它学习，而在于有选择性地决定要改变什么。通过倾听哪些部分在处理旧任务时工作最努力，并保护它们，我们可以在不丢失旧智慧的情况下，教会这些模型新的把戏。这是一种简单、有效且出奇温和的方式，让我们的数字朋友保持聪明、稳定，并随时准备好迎接未来。

技术摘要：AWARe

问题陈述

多模态大语言模型（MLLMs）通过大规模预训练具备了强大的泛化和推理能力。然而，在下游任务上微调这些模型往往会引发灾难性遗忘（Catastrophic Forgetting, CF），即针对新目标的优化会导致先前获得的上升任务（upstream）能力的退化。由于多模态之间复杂的相互作用以及参数空间的高维性，这一问题在 MLLMs 中尤为严重。现有的缓解策略，如经验回放（experience replay）或基于正则化的方法，通常会产生高昂的计算开销，或者难以扩展到数十亿参数规模。此外，像 LoRA 这样的参数高效微调（PEFT）方法虽然减少了可训练参数，但并不能从本质上防止预训练知识的侵蚀，因为它们仍可能破坏可靠的上升特征。核心挑战在于：如何在不引入过度成本或架构修改的情况下，使 MLLMs 在适应下游任务的同时，稳健地保留预训练能力。

方法论：AWARe

作者提出了 AWARe（Activation-Weighted Adaptive REtention，激活加权自适应保留），这是一个通过基于激活模式动态控制参数更新来缓解灾难性遗忘的微调框架。该方法受到以下原则的启发：与大比例权重相关的极小部分权重对于保持模型行为具有不成比例的重要性（这一概念在激活感知权重量化和剪枝研究中有所观察）。

AWARe 分两个阶段运行：

知识剖析（Knowledge Profiling）：
- 该方法利用从上升任务中采样的少量校准集（ $S_{cal}$ ）。如果无法获得上升数据，则使用通用基准测试（如 MMMU）作为代理。
- 对于具有权重矩阵 $W$ 的目标线性层，模型在校准集上进行前向传播以获得激活张量 $A$ 。
- 显著性估计（Saliency Estimation）： 该方法通过三步聚合过程计算每个输出神经元的显著性得分：
  1. 沿序列长度维度计算激活的 L2 范数。
  2. 在隐藏维度上应用逐样本 L2 归一化，以确保可比性并防止来自离群值尺度的偏差。
  3. 在 Batch 上对归一化后的值取平均，生成最终的显著性向量 $s$ 。
- 此过程识别了在不同上升任务中持续捕捉结构化特征的神经元。
受限微调（Constrained Fine-tuning）：
- 基于显著性得分，使用保留比例 $\rho$ （例如 30%）在全球范围内识别目标层中最显著的前 $\rho$ 比例的输出神经元。
- 构建一个二进制梯度掩码 $M_{grad}$ ，其中对应高显著性神经元的行被设为 0（冻结），其余行设为 1（可训练）。
- 在下游优化期间，通过掩码梯度更新保持与显著区域相关的参数不变： $W^{(t+1)} = W^{(t)} - \eta \cdot (\nabla_W L_{down} \odot M_{grad})$ 。
- 目标选择（Target Selection）： AWARe 特别将此策略应用于自注意力机制中的线性投影层（ $q\_proj, k\_proj, v\_proj$ ）以及多模态投影器（ $mm\_projector$ ）。其他组件（如 MLP 块和输出投影）则保持完全冻结。这种选择是基于以下发现：与 MLP 块相比，更新自注意力投影对预存知识的遗忘程度较低。

核心贡献

AWARe 框架： 引入了一种简单的、基于激活的方法，用于在 MLLMs 下游适配过程中保留关键的上升知识。它将压缩和合并语境中的激活显著性重新用于缓解遗忘。
高效与简洁： 该方法不需要架构变更，不引入额外的适配器模块，且仅更新极小部分的参数（在最优设置下约为 17.5%）。它避免了对回放缓冲区或二阶统计量的需求。
全面的验证： 作者通过消融实验和基准测试证明，基于激活的显著性是一种有效的参数选择标准，其表现优于静态权重幅度或随机选择。

实验结果

作者在 LLaVA-v1.5-7B 主干网络上评估了 AWARe，并验证了其在 Qwen2.5-VL-7B 上的可迁移性。

单任务下游适配： 在 IconQA（VQA）和 COCO-Caption（图像描述）上，AWARe 在知识保留率（R）（上升任务的稳定性）与学习效率（E）（新任务的表现）之间实现了卓越的平衡。
- 与最先进的基准方法（包括 LoRA, DoRA, Orth-Reg, Model Tailor, LoRASculpt 和 SPIDER）相比，AWARe 保持了高水平的保留率（例如，IconQA 上的 $R \approx 98.4$ ），同时实现了具有竞争力的下游性能。
- 值得注意的是，使用通用校准集（MMMU）而非特定的上升数据，其结果与使用完整上升数据集相当，证明了其鲁棒性。
持续指令微调： 在 MLLM-DCL 基准测试（包含五个任务的序列：遥感、医疗、自动驾驶、科学、金融）中，AWARe 在所有任务上的平均性能最高，并在最后一个任务后的最终性能表现最佳。相比于最强的基准方法 DISCO，它在平均指标和最后任务指标上分别提升了 3.18 和 1.77 个百分点。
消融研究：
- 选择策略： 基于激活的选择显著优于随机选择和基于权重范数的选择。
- 保留比例： 30% 的保留比例（冻结前 30% 的显著神经元）提供了最优的稳定性-塑性权衡。
- 训练目标： 将 AWARe 同时应用于自注意力投影和多模态投影器可获得最佳结果。完全冻结 MLP 块至关重要，因为微调它们会导致上升任务性能严重崩溃。

重要性与主张

论文声称，AWARe 通过利用动态的、依赖数据的激活模式而非静态权重先验，为 MLLMs 中的灾难性遗忘提供了一个实用且有效的解决方案。该工作的意义在于：

架构无关性： 它无需修改模型架构，确保了与现有推理引擎的兼容性。
成本效益： 通过冻结高显著性参数并仅更新极小部分的参数，与全量微调或基于回放的方法相比，显著降低了计算开销。
鲁棒性： 即使在上升任务数据受限的情况下，该方法依然有效，可以依赖通用校准集。
稳定性-塑性权衡： AWARe 成功平衡了保留核心通用能力与实现专门任务适配所需的灵活性，解决了 MLLMs 实际部署中的一个关键瓶颈。

作者承认存在局限性，指出校准数据的质量会影响所选冻结区域，且极大的分布偏移可能需要调整保留比例。然而，所提出的框架为高效且稳定的多模态微调建立了一个新的基准。