🤖 machine learning

Continual Distillation Learning for Rehearsal-Free Class-Incremental Learning via Decoupled Prompting

本文介绍了解耦持续蒸馏学习（Decoupled Continual Distillation Learning, D-CDL），这是一种用于无重放类增量学习的新颖框架，它通过持久的全局知识蒸馏提示将任务特定适配与蒸馏显式解耦，从而改进了从大型到小型 Vision Transformer 的知识迁移。

原作者： Qifan Zhang, Yunhui Guo, Yu Xiang

发布于 2026-08-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qifan Zhang, Yunhui Guo, Yu Xiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人识别动物。你从猫开始，然后是狗，接着是鸟。棘手的部分在于，当机器人学习关于鸟的知识时，它往往会忘记猫长什么样。这是人工智能领域一个著名的难题，被称为“灾难性遗忘”（catastrophic forgetting）。为了解决这个问题，科学家们开发了一个聪明的技巧，叫做“基于提示的学习”（prompt-based learning）。他们并没有重新训练机器人的整个大脑（那非常庞大且昂贵），而是给了它一张小小的、粘性贴纸——一个“提示”（prompt），告诉它如何思考当前的任务。这样，机器人就能保持其原始大脑处于冻结且安全的状态，仅通过更换这些粘性贴纸来适应新动物。

然而，这里有一个陷阱：更大的大脑通常更擅长识别事物。一个巨大的机器人大脑（大模型）比一个小巧、高效的大脑要聪明得多。但巨大的大脑运行缓慢，且在日常设备上消耗过多能量。理想的情况是，将知识从巨大的大脑中提取出来，并挤进那个小巧、快速的大脑中，使小脑变得同样聪明，却不带有沉重的负担。这个过程被称为“知识蒸馏”（knowledge distillation）。通常情况下，如果你有一大堆旧照片可以学习，你可以轻松完成这个过程。但在持续学习的现实世界中，你无法查看旧照片；你只能随着新动物照片一个接一个地到来。这创造了一个独特的谜题：如何教一个小的机器人向一个大的机器人学习，一步步地进行，而不让小机器人每当出现新动物时就忘记大机器人的教诲？

这正是德克萨斯大学达拉斯分校的研究人员所解决的精确谜题。他们发现，试图从小脑向大脑挤压知识的标准方法，在这种特定的“逐步式”场景中实际上是失败的。他们发现，小机器人会不断忘记老师的教训，因为它用来学习的“粘性贴纸”一直在被更换。为了解决这个问题，他们发明了一种名为**基于提示的知识蒸馏（KDP）**的新方法。与其依赖不断更换的粘性贴纸，他们添加了一个特殊的、永久性的“大师级笔记”（master note），它会永远留在机器人身边，充当通往老师知识的专用桥梁。他们的实验表明，这种新方法能让小机器人学得更好，遗忘得更少，有效地让它运行起来既拥有巨型大脑的智慧，又具备小脑的速度。

问题所在：“更换粘性贴纸”的故障

为了理解为什么这很难，让我们看看这些“基于提示”的机器人是如何工作的。想象机器人有一个粘性贴纸库（提示）。当它看到猫时，它会挑选一个“猫笔记”。当它看到狗时，它会挑选一个“狗笔记”。这对于在学习新事物时不忘记旧事物非常有效，因为机器人只需更换笔记即可。

但这就是“蒸馏”（向大脑学习）失效的地方。研究人员发现，当他们尝试用大模型来教小机器人时，小机器人会挑选一个“猫笔记”来向大老师学习。然后，当新任务（如鸟类）到来时，它会扔掉“猫笔记”并挑选一个“鸟笔记”。问题在于，大老师关于猫的教训都卡在了那个“猫笔记”里。一旦笔记被更换，小机器人就会忘记老师教给它的关于猫的一切。研究人员称之为**“蒸馏信息遗忘”（distillation information forgetting）**。这就像是在学习一门语言，每当你切换到一个新章节时，你就会把记录老师作业的笔记本扔掉。

研究人员尝试了常用的技巧，比如观察老师的最终答案（logits）或老师的中间想法（features），但这些效果都不好，因为“更换笔记”的机制不断地抹去了所有痕迹。他们甚至测试了让机器人的部分大脑解冻以进行永久学习，但这会导致机器人更快地忘记之前的任务，违背了初衷。

解决方案：“永恒之桥”

为了修复这个问题，团队引入了一种新型的粘性贴纸，称为 KD 提示（KD Prompt）。与那些随每个新动物而更换的普通笔记不同，这些 KD 提示非常特殊。它们是全局可访问的，这意味着无论机器人正在执行什么任务，它们都会留在机器人身边。

你可以这样理解：

普通提示： 就像临时的闪卡。你用“猫闪卡”学习猫，然后把它扔掉，换成“狗闪卡”学习狗。
KD 提示： 就像一张永久的、无法擦除的白板，贴在机器人的墙上。无论你在看什么动物，机器人都可以随时在这块白板上记录老师的教训。

通过将这些永久性的 KD 提示插入机器人的大脑，小模型就有了专门的空间来存储大老师的智慧，而这些知识永远不会被丢弃。他们还添加了一个特殊的“KD 分类器”（第二个用于评分的大脑），它专门检查机器人是否正确地模仿了老师，这与机器人识别动物的主任务是分开的。

研究发现

研究人员在两个著名的图像数据集上测试了这个想法：CIFAR-100（100 种小型图像）和 ImageNet-R（100 种物体的艺术化呈现）。他们设定了一个场景，机器人必须连续学习 10 个不同的任务，每个任务包含 10 个类别。

他们将这种新的 KDP 方法与传统的知识蒸馏和特征蒸馏等旧方法进行了对比。结果非常明确：

旧方法： 当使用标准蒸馏时，小机器人的准确率仅略有提升，而且它遗忘先前任务的速度比没有任何帮助时还要快。例如，在 ImageNet-R 数据集上，一种名为“KD”的标准方法平均准确率为 69.91%，遗忘率为 7.64%。
新方法 (KDP)： 使用这种“永恒之桥”方法，小机器人的智能显著提高，遗忘也大幅减少。使用相同的数据集，KDP 方法将平均准确率提升至 71.92%，并将遗忘率降至仅为 5.61%。

当他们使用一个更大的老师（“ViT-Large”模型）来教一个中等大小的学生（“ViT-Base”）时，差距进一步扩大。KDP 方法实现了 78.62% 的平均准确率和 3.46% 的遗忘率，表现优于他们尝试过的所有其他方法。

为什么这很重要

论文指出，这不仅仅是一个微小的改进；它是对特定类型学习问题的根本性修复。通过将“学习新任务”的笔记与“向老师学习”的笔记分离，他们解决了困扰以往尝试的遗忘问题。

研究人员指出，这确实是有代价的：你必须同时训练大老师和小学生，这需要更多的时间和计算内存。然而，一旦训练完成，小型的学生模型就可以投入使用了。它可以运行在需要快速和高效的设备上，同时又承载着大模型的智慧。

简而言之，论文表明，如果你想让一个小型、快速的 AI 在持续学习的过程中不发生遗忘，你不能只是简单地复制粘贴老师的大脑。你必须给学生一个永久的、专门的空间，来确保老师的教训能够安全地保存下来，无论接下来遇到什么新事物。

技术摘要：持续蒸馏学习 (Continual Distillation Learning, CDL)

1. 问题定义：持续蒸馏学习 (CDL)

本文引入了一个新的研究问题，称为持续蒸馏学习 (CDL)。该问题旨在解决如何在不牺牲性能的前提下，提高基于提示（prompt-based）的持续学习 (CL) 模型的推理效率。

背景： 在基于提示的持续学习（如 L2P、DualPrompt、CODA-Prompt）中，预训练的 Vision Transformer (ViT) 骨干网络保持冻结，学习过程转移到优化一组“提示（prompts）”上。实证观察表明，在这些 CL 设置中，较大的 ViT 骨干网络（如 ViT-Large）比较小的骨干网络（如 ViT-Small）具有更好的性能。
挑战： 虽然大模型性能更好，但它们在推理过程中会产生高昂的计算成本。CDL 的目标是在**无重放（rehearsal-free）、任务增量学习（task-incremental learning）**的设置下，将知识从大型“教师”ViT 蒸馏到小型“学生”ViT 中。
与传统知识蒸馏 (KD) 的区别： 不同于传统的知识蒸馏（使用离线数据集训练教师模型然后将其蒸馏给学生），CDL 是顺序进行的。教师模型是按任务逐个更新的，而学生必须仅利用当前任务的数据向教师学习，而无法访问过去的数据。

2. 核心观察：蒸馏信息遗忘 (Distillation Information Forgetting)

作者通过实证发现，现有的知识蒸馏方法（逻辑值蒸馏 Logit Distillation 和特征蒸馏 Feature Distillation）在 CDL 设置下无法有效地提升学生模型的性能。他们确定其根本原因是蒸馏信息遗忘：

机制： 在基于提示的 CL 中，不同的任务通过查询-键（query-key）机制从提示池中选择不同的提示子集。
失效原因： 从教师模型中蒸馏出的知识被嵌入到为特定任务所选定的提示中。当新任务到达时，学生会选择一组不同的提示。由于骨干网络是冻结的，在前一个任务的提示中转移的知识对于新任务而言实际上被丢弃了。学生必须为每个新任务从头开始重新学习教师的知识，这导致了较差的跨任务知识迁移。
失败的替代方案： 文中指出，解冻部分 ViT 骨干网络以允许更新并不是一个可行的解决方案，因为这会导致对先前任务的灾难性遗忘，违背了基于提示的 CL 的核心原则。

3. 方法论：基于提示的知识蒸馏 (Knowledge Distillation based on Prompts, KDP)

为了解决蒸馏信息遗忘问题，作者提出了基于提示的知识蒸馏 (KDP)。

核心组件

KD 提示 (KD Prompts)：
- 专门引入了一种新型提示用于知识蒸馏。
- 不同于标准的 CL 提示（具有任务特定性并通过查询-键机制进行选择），KD 提示是全局可访问且在所有任务间共享的。
- 它们不依赖于选择机制；它们被插入到学生模型的冻结 ViT 骨干网络中，用于处理每一个任务。
- 它们通过 前缀微调 (Prefix-Tuning) 进行插入，将提示分为键 ( $P_K$ ) 和值 ( $P_V$ ) 组件，并将其附加到 ViT 的多头自注意力 (MSA) 层。
KD Token 与分类器：
- 在 ViT 骨干网络的第一层末端插入一个专门的蒸馏 Token (KD Token)。
- 该 Token 在网络中传播并连接到一个独立的 KD 分类器。
- KD 分类器通过标准的逻辑值蒸馏损失（带有温度系数 $\tau$ 的 KL 散度）进行训练，以最小化学生输出与教师输出（软标签）之间的差异。
训练目标：
学生模型的总损失函数 ( $L_S$ ) 结合了三个项：
- 学生分类损失： 使用学生主分类器针对当前任务的标准交叉熵损失。
- 知识蒸馏损失： 学生 KD 分类器与教师分类器之间的损失。
- 提示池损失： 与原始 CL 提示相关的损失（取决于底层的 CL 方法，例如 L2P 或 CODA-Prompt）。

4. 实验结果

作者在 CIFAR-100 和 ImageNet-R 数据集上，在类增量设置（10 个任务，每个任务 10 个类）下评估了 KDP。他们测试了三种基于提示的 CL 骨干网络：L2P、DualPrompt 和 CODA-Prompt。

教师-学生对： 实验在 ViT-Large $\to$ ViT-Base 和 ViT-Base $\to$ ViT-Small 组合下进行。
性能表现：
- 现有的 KD 方法（KD, DKK, FitNets, ReviewKD）与基准学生模型相比，改进微乎其微，甚至增加了遗忘率。
- KDP 一致优于所有基准方法。 例如，在 ImageNet-R 配合 CODA-Prompt（ViT-Base $\to$ ViT-Small）的情况下，KDP 实现了 71.92% 的平均准确率和 5.61% 的遗忘率，而未进行蒸馏的基准模型准确率为 67.44%，遗忘率为 8.52%。
- CODA-Prompt 与 KDP 的结合达到了 SOTA（最先进）水平，在保持较小模型效率的同时，接近了大型模型的准确度。
消融实验：
- KD 提示 vs. KD 分类器： 这两个组件对于实现最优性能都是必要的。
- 解冻骨干网络： 解冻 ViT 的最后一层会导致严重的遗忘（准确率降至约 30%），证实了保持骨干网络冻结的必要性。
- 提示位置： 仅仅向标准的 CL 提示池中添加更多可训练提示（而不使用全局 KD 提示机制）并不能带来同样的收益，这证明了 KD 提示的全局性、跨任务特性 才是关键因素。

5. 重要性与贡献

本文声称了以下贡献：

问题形式化： 提出了 CDL 问题，定义了在无重放、基于提示的持续学习约束下，将知识从大型模型蒸馏到小型模型中的特定挑战。
发现局限性： 首次识别并分析了蒸馏信息遗忘现象，解释了为什么由于提示选择的任务特定性，标准 KD 方法在基于提示的 CL 中会失效。
创新方法 (KDP)： 提出了 KDP，该方法利用全局共享提示和专用蒸馏 Token，在不解冻骨干网络的情况下促进持续的跨任务知识迁移。
实证验证： 该方法在多种基于提示的 CL 框架和数据集上展示了显著的准确率提升和遗忘率降低，建立了一个高效持续学习的新基准。

作者总结道，KDP 有效地弥合了持续学习场景中大型模型的高性能与小型模型的高效率需求之间的差距。