🤖 AI

Multi-Level Knowledge Distillation and Dynamic Self-Supervised Learning for Continual Learning

该论文针对更具现实意义的类增量重复（CIR）场景，提出了一种结合多水平知识蒸馏与动态自监督学习的框架，通过利用外部无标签数据有效平衡模型的稳定性与可塑性，并在 CVPR 第五届 CLVISION 挑战赛中荣获亚军。

原作者： Taeheon Kim, San Kim, Minhyuk Seo, Dongjae Jeon, Wonje Jeung, Jonghyun Choi

发布于 2026-04-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Taeheon Kim, San Kim, Minhyuk Seo, Dongjae Jeon, Wonje Jeung, Jonghyun Choi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文讲述了一个关于“如何教 AI 像人类一样不断成长，同时不忘老本行”的故事。

想象一下，你正在经营一家超级餐厅（这就是 AI 模型）。

1. 遇到的难题：既要学新菜，又要不忘旧菜

传统的训练方式就像是你每开一家新店，就只卖全新的菜单，完全不管以前的菜。但现实世界（论文中提到的 CIR 场景）更复杂：

今天来了新客人，点了“新菜”（新类别）。
明天又有人点了你以前做过的“老菜”（旧类别）。
而且，客人点的菜是混合的，新菜和老菜混在一起。

最要命的是，你不能把以前客人的点菜单（数据）存下来，因为涉及隐私（比如客人的喜好、住址等），或者你的冰箱（内存）太小了，放不下。如果强行只学新菜，你就会把老菜的做法全忘了（这叫“灾难性遗忘”）。

2. 我们的解决方案：两个“秘密武器”

为了解决这个问题，作者团队（来自延世大学和首尔国立大学）想出了两个绝招，利用互联网上随处可见的“免费食材”（无标签数据）来帮餐厅升级。

武器一：多级知识蒸馏 (MLKD) —— “请多位老厨师当顾问”

既然不能看以前的菜单，那就请以前的厨师（训练好的旧模型）来当顾问。

传统做法：只问一位老厨师“这道菜怎么做？”。
我们的做法（多级蒸馏）：
1. 请多位顾问：我们不只保留最后一位厨师，而是把过去几个阶段的厨师都请出来。
2. 问得更细：不仅问“菜叫什么名字”（Logits，即预测结果），还要问“切菜的手法”、“火候的感觉”（Features，即特征）。
3. 动态更新：随着新菜的出现，这些老顾问也会通过“经验平均”（EMA）慢慢更新自己的经验，既保留老底子，又吸收新技巧。
4. 解决口味差异：因为互联网上的“免费食材”和餐厅里的“正式菜单”味道不一样（数据分布不同），我们发明了一种特殊的“翻译器”（基于 Gram 矩阵），能把老顾问的经验准确翻译给新厨师，防止因为食材不同而教错。

比喻：这就像你在学习新技能时，不仅参考刚毕业的自己，还参考了 1 年前、2 年前的自己，并且把他们的笔记、心得、甚至肌肉记忆都综合起来，防止你学了新东西把旧技能忘光。

武器二：动态自监督学习 (Dynamic SSL) —— “在练功房里自由打怪”

除了请顾问，我们还让厨师在没有具体订单（无标签数据）的时候，去练一些通用的基本功。

练什么：比如让厨师练习“旋转图片”、“拼图”或者“识别物体结构”。这些练习不需要知道菜名，只需要理解食物的本质特征。
怎么练（动态权重）：
- 刚开始学新菜时，我们大力让厨师练基本功（自监督学习），帮他快速建立对新食材的敏感度。
- 随着训练深入，我们慢慢减少练基本功的时间，把重心转回到“正式做菜”（主任务：分类）上。
- 比喻：就像学游泳，刚开始在浅水区自由扑腾（自监督）能帮你找到水感；但比赛快到了，你就得把大部分精力放在练习标准的泳姿（分类任务）上，不能一直瞎扑腾。

3. 结果如何？

这套组合拳打下来，效果惊人：

普通做法：只学新菜，忘了老菜，最后得分只有 5.82%（几乎不会做菜了）。
基础做法：稍微存点旧菜样本，得分 19.54%。
我们的做法：结合了“多位顾问”和“动态练功”，最终得分 42.00%。

在 CVPR 2024 第 5 届 CLVISION 挑战赛中，他们凭借这个方法拿到了第二名！

总结

这篇论文的核心思想就是：
在不能存储旧数据（隐私/空间限制）的情况下，利用互联网上的海量无标签数据，通过向过去的自己学习（多级蒸馏）和动态调整训练重点（自监督学习），让 AI 既能快速学会新事物（保持可塑性），又能牢牢记住旧知识（保持稳定性）。

这就好比一个聪明的厨师，既没有把旧菜单扔进垃圾桶，也没有把冰箱塞爆，而是通过不断回顾过去的经验，并在空闲时间打磨基本功，最终成为了一位全能的大厨。

这是一份关于 CVPR 2024 第 5 届 CLVISION 挑战赛（连续视觉学习）的技术报告总结。该报告由延世大学（Yonsei University）和首尔大学（Seoul National University）的研究团队完成，提出了针对**带重复的类增量学习（Class-Incremental with Repetition, CIR）**场景的高效解决方案。

以下是该论文的详细技术总结：

1. 问题背景 (Problem Statement)

传统局限：传统的类增量学习（CIL）假设每个新任务只包含从未见过的类别。然而，在现实世界场景中，模型往往会遇到新旧类别混合的情况。
CIR 设定：为了解决这一差距，Hemati 等人提出了带重复的类增量学习（CIR）。在这种设定下，模型在后续任务中会反复遇到之前训练过的类别，同时也包含新类别。
核心挑战：
- 灾难性遗忘：学习新类别时容易遗忘旧类别。
- 数据隐私与存储限制：传统的回放（Rehearsal）方法需要存储旧数据的样本，这在隐私敏感或存储受限的场景下不可行。
- 数据分布偏移：CIR 允许使用外部无标签数据（如互联网数据），但这些数据与训练数据的分布存在差异，直接利用可能导致性能下降。
目标：在仅存储极少量样本（200 个）且无法访问旧标签数据的情况下，利用外部无标签数据，在保持模型稳定性（不遗忘旧知识）和可塑性（快速学习新知识）之间取得平衡。

2. 方法论 (Methodology)

该团队提出了两个核心组件，基于本地交叉熵（Local Cross-Entropy）和特征回放（Feature Replay）的基线进行改进：

2.1 多级知识蒸馏 (Multi-Level Knowledge Distillation, MLKD)

旨在解决稳定性问题，通过从多个先前模型中提取知识来补偿数据分布的偏移。

多视角蒸馏：不仅蒸馏 logits（预测概率），还蒸馏特征（Features）。
- 特征蒸馏：使用 L2 损失，确保模型在不同任务间学到的特征表示保持一致。随着任务增加，特征蒸馏的权重线性增加，因为早期特征可能包含较少有用信息。
- Logits 蒸馏：针对无标签数据导致的分布偏移，传统的实例级蒸馏效果不佳。作者引入了基于Gram 矩阵的蒸馏机制：
  - 计算批次内实例的相关性（ $G = l \cdot l^T$ ）。
  - 计算类别间的相关性（ $M = l^T \cdot l$ ）。
  - 通过最小化当前模型与历史模型在 Gram 矩阵上的差异，保留类别间的结构关系。
多模型集成：保留多个历史任务结束时的模型，并根据输出置信度混合它们的输出进行蒸馏，增强知识转移的鲁棒性。
指数移动平均 (EMA)：通过 EMA 逐步更新所有历史模型，将新知识融入蒸馏过程，促进可塑性。

2.2 动态自监督学习 (Dynamic Self-Supervised Learning, SSL)

旨在解决可塑性问题，利用无标签数据加速新类别的学习。

自监督目标：使用无标签数据训练模型提取通用特征（如旋转预测），使其能更好地识别未见过的类别特征。
动态加权机制：直接应用 SSL 可能会干扰主任务（图像分类）。为此，作者设计了一个动态权重系数 $\alpha$ $α$ ：
$\alpha = c \cdot \omega^t$
其中 $t$ $t$ 是任务编号， $\omega < 1$ $ω < 1$ 。这意味着随着任务进行，SSL 的权重逐渐降低。
- 早期：高权重 SSL，帮助模型快速适应新数据分布，提取通用特征。
- 后期：低权重 SSL，确保模型专注于主任务的分类精度，防止过度拟合自监督任务。

2.3 最终损失函数

综合了异步交叉熵（LACE）、Logit 约束（LLC）、特征/Logits 蒸馏以及动态 SSL 损失：
$L_{final} = (1-0.1\alpha)L_{ACE} + \alpha L_{SSL} + \gamma L_{LC} + \eta L_{der} + \beta L_{featureKD} + \delta L_{logitKD}$

3. 实验设置与结果 (Experiments & Results)

挑战赛设定：
- 数据集：ImageNet-1K 的子集（130 个类别，涵盖鸟类、海洋生物、昆虫）。
- 流程：50 个连续任务，每个任务提供 500 个有标签样本和 1000 个无标签样本。
- 约束：显存 8GB，时间 600 分钟，记忆缓冲区仅存 200 个样本（每个<1024 浮点数）。
- 模型：ResNet-18。
主要结果：
- 最终准确率：提出的方法（MLKD + Dynamic SSL）达到了 42.00% 的最终准确率，在挑战赛中获得第 2 名。
- 对比基线：
  - 微调（Fine-tuning）：5.82%（严重遗忘）。
  - 基线（Baseline）：19.54%。
  - 基线 + 动态 SSL：23.82%。
  - 基线 + MLKD：39.82%。
  - 完整方法：42.00%。
消融实验 (Ablation Studies)：
- MLKD 组件：特征蒸馏 (FKD) 是基础，加入 EMA、基于相关性的 Logit 蒸馏 (CLKD) 和多模型 (MPM) 后，性能逐步提升至 42.00%。
- 历史模型数量：使用 3 个 历史模型效果最佳（42.00%），过多（4 个）会导致性能轻微下降（41.84%），表明存在冗余。
- 动态权重：使用动态权重（42.00%）显著优于固定权重（40.76%），证明了动态调整 SSL 影响力的必要性。
- SSL 方法选择：简单的旋转预测 (Rotation Prediction) 表现最好（42.00%），而 SimCLR、SimSiam 等对比学习方法在受限的 Batch Size 和训练时间下表现较差。

4. 关键贡献 (Key Contributions)

针对 CIR 场景的无回放策略：提出了一种不依赖存储旧标签数据，而是利用外部无标签数据来维持模型稳定性和可塑性的有效框架。
多级知识蒸馏 (MLKD)：创新性地结合了特征蒸馏和基于 Gram 矩阵的 Logit 蒸馏，并引入多模型集成和 EMA 更新，有效解决了无标签数据带来的分布偏移问题。
动态自监督学习：设计了一种随任务进度动态衰减的 SSL 权重策略，平衡了通用特征提取与主任务分类精度之间的关系。
竞赛成绩：在 CVPR 2024 第 5 届 CLVISION 挑战赛中取得第 2 名的优异成绩，验证了方法的有效性。

5. 意义与影响 (Significance)

现实适用性：该研究填补了传统 CIL 与真实世界场景（类别重复出现、数据分布变化）之间的鸿沟。
隐私保护：通过利用外部无标签数据替代存储敏感的历史样本，为隐私受限环境下的持续学习提供了可行的解决方案。
资源效率：在严格的显存和时间限制下，通过算法优化（如动态权重、特定的 SSL 选择）实现了高性能，证明了轻量级策略在持续学习中的潜力。
未来方向：展示了如何利用开放数据源增强模型，为联邦学习（非 IID 数据）和在线持续学习（模糊任务边界）提供了新的思路。

总的来说，这篇论文通过巧妙结合多级知识蒸馏和动态自监督学习，成功解决了在有限存储和隐私约束下，利用外部无标签数据进行持续学习的难题，是连续视觉学习领域的一项重要进展。