🤖 machine learning

Memory-Efficient Continual Learning with CLIP Models

本文提出了一种内存高效且分布鲁棒的持续学习方法，该方法通过动态重加权各类别损失，使 CLIP 模型能够在最小化灾难性遗忘的同时适应新任务，即使仅使用极小的内存缓冲区。

原作者： Ryan King, Gang Li, Bobak Mortazavi, Tianbao Yang

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Ryan King, Gang Li, Bobak Mortazavi, Tianbao Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位名叫CLIP的超级聪明学生。这位学生在将图片与文字联系起来方面表现出色。如果你给他们看一张猫的照片和“猫”这个词，他们能瞬间理解其中的联系。他们研读了海量的书籍和照片库，因此对世界有着广泛的了解。

然而，存在一个问题。如果你试图教这位学生一些新东西——比如如何识别某种特定的稀有鸟类——他们可能会不小心忘记之前关于普通猫的所有知识。这被称为“灾难性遗忘”。这就像试图在书中写新的一章，但墨水太湿，把前面的页面都弄糊了。

Ryan King 及其在德克萨斯农工大学的团队提出的论文问道：我们如何在不抹去旧知识的情况下教这位学生学习新事物，尤其是在我们没有足够空间来保留旧笔记时？

以下是他们利用两个主要思路提出的解决方案：

1. 问题：“小背包”

通常，为了防止学生遗忘，老师们会给他们一个“记忆缓冲区”。这就像一个背包，学生可以在里面存放一些以前学过的例子（旧猫、狗、汽车等的照片）。当学习新事物时，老师会拿出旧照片提醒学生：“嘿，别忘了这个！”

但在现实世界中，我们往往无法携带巨大的背包。也许我们只有空间放几张照片。当背包很小时，学生会感到困惑。他们过于关注新事物而丢掉了旧知识。论文发现，当这个“背包”太小时，标准方法就会失效。

2. 解决方案：两种新的教学策略

作者提出了两种基于学生学习方式的修复方法。

策略 A：“全局大拥抱”（全局对比损失）

想象学生正在学习整理照片。这种方法不是让学生一次只看一张照片，而是要求他们同时查看他们拥有的整个群体的照片（包括新照片和背包里那几张旧照片）。

工作原理：学生学会将相似的事物聚在一起（如所有的猫），并将不同的事物推开（猫与狗）。
诀窍：因为学生是在观察整个群体，所以他们不会仅仅因为一张新照片而感到困惑。他们记住了旧知识的“形状”。
最佳适用场景：当你拥有中等到大型背包时。当你有足够的旧样本来保持“大拥抱”的平衡时，这种方法效果极佳。

策略 B：“严厉教练”（分布鲁棒优化）

这是该论文针对背包非常小的情况提出的重大创新。

想象学生正在参加考试。有些问题很简单（他们知道答案），有些很难（他们总是答错）。普通的老师可能在学生答对几题后就会继续前进。但这种“严厉教练”方法说：“停下！我们需要专注于难题！”

工作原理：系统会自动检测哪些类别（如特定种类的鸟）给学生带来最大困难，或者在微小背包中代表性不足。然后，它在训练过程中给予这些困难示例额外的权重或重要性。
比喻：这就像一位教练注意到一名球员在左手投掷方面很吃力。教练不会平均练习所有内容，而是将 80% 的时间花在左手投掷上，直到球员有所进步。
最佳适用场景：当背包非常小时。它确保学生不会因为旧样本太少而忽略那些被遗忘的细节。

3. 结果：发生了什么？

该团队在两类挑战上测试了这些方法：

学习新类别：例如从认识 100 种动物扩展到学习另外 100 种。
学习新环境：例如学习识别相同的动物，但现在它们出现在不同风格的照片中（卡通、素描、现实生活）。

研究结果表明：

标准方法（如以前使用的方法）在记忆背包较小时崩溃了。它们很快遗忘了旧知识。
**“全局大拥抱”**在有足够空间保留相当数量旧样本时表现非常出色。
**“严厉教练”（DRO）**是小型背包的明星。即使旧样本非常少，它也能保持学生的记忆敏锐，防止他们在学习未来时遗忘过去。

总结

这篇论文表明，通过改变模型如何关注其旧记忆——无论是通过观察整个群体，还是通过格外努力地关注困难部分——我们可以教会人工智能持续学习而不丢失其过往。这就像教导一名学生成为终身学习者，即使他们正忙于准备期末考试，也永远不会忘记他们的第一课。

技术摘要：基于 CLIP 模型的内存高效持续学习

问题陈述
对比语言 - 图像预训练（CLIP）模型在理解图像 - 文本关系方面展现出卓越能力，但在适应新数据流而不遗忘先前知识（灾难性遗忘）时面临重大挑战。虽然持续学习（CL）对于动态环境至关重要，但将其应用于 CLIP 的研究尚不充分。现有方法通常依赖包含过去任务数据的记忆缓冲区来重演旧信息。然而，当这些记忆缓冲区较小时，CLIP 的对比损失函数表现不佳，导致在先前任务上的性能下降。核心挑战在于：如何在基于 CLIP 的持续学习中高效利用有限的记忆缓冲区，以平衡新任务的性能并保留旧任务的知识。

方法论
作者提出了两种不同的方法，将 CLIP 扩展至类增量和域增量学习场景，利用双模态对比学习目标联合编码图像和文本标签。

全局对比损失（GCL）：
- 机制： 该方法在微调过程中同等对待旧数据和新数据。它定义了一个针对当前任务数据（ $D_t$ ）与过去样本的记忆库（ $M_t$ ）之并集的对比目标。
- 优化： 为了处理对比项对整个数据集求和带来的计算成本，该方法采用移动平均估计器（ $u^I$ 和 $u^T$ ）来估算梯度分量。这使得模型能够维持跨任务的数据分布“全局”视图，从而利用先前任务的信息来指导当前的梯度更新，而无需对整个数据集进行完全重新计算。
- 目标： 通过联合嵌入标签和图像，利用 CLIP 的预训练能力，增强对灾难性遗忘的抵抗力。
组分布鲁棒优化（GDRO）：
- 动机： 在固定记忆大小的场景下，随着新任务的添加，每个类别的样本数量减少，导致先前任务与当前任务分布之间的不平衡。标准 GCL 难以应对这种不平衡。
- 机制： 该方法引入了一种组分布鲁棒（DRO）目标，动态重新加权类别损失。它在训练过程中为损失较高（更难）的类别分配更大的权重。
- 优化： 该目标被表述为一个极小极大问题（ $\min_w \max_{p \in \Delta} \sum p_k h_k$ ），等价地用对数 - 和 - 指数（log-sum-exp）形式表示。为了解决梯度估计中嵌套函数带来的挑战，作者应用了随机复合优化。他们为损失项和对比分量均维护移动平均估计器，从而能够利用小批量进行高效的梯度计算。

主要贡献

双模态对比框架： 本文通过提出一种联合嵌入图像和文本标签的双模态对比目标，将 CLIP 扩展至持续学习领域，相较于标准线性分类器，提高了适应性和保留能力。
内存高效算法： 作者引入了 GCL 和 GDRO，专门设计为即使在最小内存使用下也能有效运行。
动态重加权： GDRO 方法通过动态重加权损失，专门解决了固定大小记忆缓冲区中固有的类别不平衡问题，确保在内存受限时的稳健性能。

实验结果
该方法在类增量数据集（CIFAR-100、ImageNet1K）和域增量数据集（DomainNet）上进行了评估，使用了预训练的 CLIP ViT-B/16 编码器。

ImageNet1K（类增量）： 所提出的方法在所有记忆大小下均显著优于基线方法（包括 EWC、DER、iCaRL、Co2L 和 FOSTER）。值得注意的是，像 Co2L 这样的单模态对比方法随着记忆大小的减小经历了急剧的性能下降，而所提出的方法则保持了稳健性。
CIFAR-100（类增量）： 随着记忆大小减小，GDRO 方法保持了与零样本评估相当的性能，表明尽管存在一定遗忘，但保留能力依然坚实。虽然对比方法（GCL）在较大记忆下表现更好，但在无记忆情况下其性能显著下降。相比之下，GDRO 在严格的内存约束下保持稳定。
DomainNet（域增量）： 两种方法均优于基线零样本结果。虽然像 CaSSLe 这样的对比方法在没有记忆库的情况下难以保留知识，但 GDRO 目标在完成所有任务后，相较于 GCL 展现了更优越的保留能力和适应性。

意义与主张
本文主张，在双模态对比框架内嵌入输入数据和标签，比传统的线性分类器方法能更有效地减少灾难性遗忘。该工作的意义在于证明了：

多模态学习： 利用 CLIP 固有的图像和文本联合嵌入，对动态环境中的持续学习有益。
自适应加权： 通过 GDRO 对类别进行动态重加权，在内存资源有限时特别有效地保留知识，解决了基于内存的持续学习中的关键瓶颈。
效率： 所提出的方法使 CLIP 模型能够快速适应新任务，同时将灾难性遗忘降至最低，即使在内存使用极少的情况下也是如此，使其适用于资源受限的真实世界数据流。