Continual Distillation of Teachers from Different Domains

本文介绍了持续蒸馏，这是一种学生模型在无法访问教师模型训练数据的情况下，从异质教师模型的流中顺序学习的范式，并提出了自外部数据蒸馏（SE2D），利用外部无标签数据有效平衡未见知识迁移与未见知识遗忘。

要点

想象一下，你正试图通过向一系列著名导师学习，成为世界上最伟大的专家。然而，有一个限制：你一次只能与一位导师交谈，且一旦导师离开，他们就会永远消失。 你无法回头向他们提问，也无法获取他们当初用来学习技艺的原始教材。

这就是该论文所解决的核心问题，他们将其称为持续蒸馏（Continual Distillation）。

以下是对他们提出的理念、发现的问题以及解决方案的拆解，并辅以简单的类比。

背景设定：“消失的导师”问题

在人工智能的旧时代，如果学生模型想要学习，它可以查看所有来自先前教师的数据（即“教材”）。但如今，人工智能模型（称为“基础模型”）如此庞大且昂贵，我们无法保留所有模型。我们只能随着它们的发布，逐个向它们学习，随后便失去对旧模型的访问权限。

学生模型必须从一系列教师流中学习：

1. 教师 A 教授关于动物的知识。
2. 教师 B 教授关于昆虫的知识。
3. 教师 C 教授关于植物的知识。

学生必须依次向 A、B、C 学习，且永远无法再次见到 A 或 B。

两大挑战

1. “盲区”问题（未见知识的迁移）
教师们掌握着学生从未见过的知识。例如，教师 A 可能是“海洋动物”方面的专家，但学生从未见过“海洋动物”的图片，只见过“陆地动物”。

• 论文的发现： 如果学生在学生和老师都未曾见过的随机图片集（我们称之为“外部数据”）上进行练习，神奇的事情就会发生。当老师观察这些随机图片时，会表现出不确定性或置信度。通过观察老师对这些未知图片的反应，学生实际上可以学习到“海洋动物”领域的知识，即使学生从未直接见过海洋动物。
• 比喻： 想象一位大师级厨师（老师）品尝一种陌生、未知的水果。即使学生从未见过这种水果，观察厨师的反应（例如：“这尝起来像柠檬和蜂蜜的混合味”）也能让学生了解该水果的风味特征。这被称为未见知识迁移（Unseen Knowledge Transfer, UKT）。

2. “遗忘”问题（未见知识的遗忘）
坏消息是，当学生转向向教师 B（昆虫）学习时，他们开始忘记教师 A 教授的海洋动物知识。

• 论文的发现： 由于学生从未真正直接见过海洋动物，这部分知识是脆弱的。一旦有新信息涌入，旧的“幽灵”知识就会消失。
• 比喻： 这就像学习一门新语言。如果你通过书本学习了法语但从未练习过口语，然后立即开始学习德语，你可能会忘记那些仅通过阅读“学会”的法语单词。这被称为未见知识遗忘（Unseen Knowledge Forgetting, UKF）。

解决方案：“自外部数据蒸馏”（SE2D）

作者意识到，标准方法试图记忆教师的答案，却无法保护“幽灵知识”的安全。他们提出了一种名为SE2D的新技巧。

工作原理：
每当学生完成向一位教师的学习后，他们都会对自己的大脑进行“快照”（即检查点）。

• 通常情况下，当向下一位教师学习时，学生会对所有内容进行练习。
• SE2D 的转折： 当学生在“外部数据”（即双方都未知的随机图片）上练习时，他们也会在自己的先前快照上进行练习。
• 比喻： 想象你是一名学生。在你开始新的德语课程之前，你花一点时间，在看着一种随机、奇特水果的同时，专门复习你旧的法语笔记。你会问自己：“根据我旧的笔记，我会如何描述这种水果？”这迫使你的大脑在忙于学习德语的同时，保持法语知识的活跃。

通过这样做，学生无需再次见到原始教师，就能稳定来自先前教师的“幽灵知识”。

他们的发现（结果）

1. “随机”数据的类型至关重要： “外部数据”（随机图片）需要与教师所知的内容有一定关联。
   • 如果教师了解动物，而随机图片是其他动物，学生就能学到很多东西。
   • 如果随机图片是卡车（完全无关），学生会感到困惑，甚至遗忘得更多。
2. 权衡取舍： 存在一种平衡。如果你过于关注新教师，就会遗忘旧教师；如果你过于关注旧教师，就无法学习新内容。SE2D 有助于找到“金发姑娘”区域，让学生既能记住旧知识，又能学习新内容。
3. 行之有效： 在各种测试中（如识别不同类型的猫或数字），他们的方法帮助学生比使用其他标准方法记住了更多关于“已消失”教师的知识。

总结

该论文提出了一种新方法，使人工智能能够从使用后即消失的教师流中学习。他们发现，使用“随机”数据有助于学生习得从未见过的知识，但也会使学生迅速遗忘这些知识。他们的解决方案SE2D就像一种记忆练习，迫使学生在随机数据上复习过去的课程，确保他们不会失去那些已无法接触的教师所提供的宝贵见解。

重要提示： 作者警告称，这种“未见知识迁移”是一把双刃剑。如果随机数据质量不佳或存在偏差，学生可能会在毫无察觉的情况下，从教师那里意外习得不良习惯或偏见。他们建议需要对此进行更多研究，但他们并未声称已解决了这一特定风险。

技术摘要

技术摘要：来自不同领域的教师的持续蒸馏

1. 问题定义：持续蒸馏（CD）

本文介绍了持续蒸馏（CD），这是一种旨在应对基础模型（FMs）快速演进和存储成本挑战的新范式。与传统持续学习（CL）关注模型从一系列数据集中学习不同，CD 关注单个学生模型从教师模型流中按顺序学习。

关键约束与挑战：

• 顺序访问： 学生依次从教师 $T_1, T_2, \dots, T_N$ 中学习。一旦处理完某位教师，该教师即不可用，其原始训练数据也无法访问。
• 数据不可用： 教师的原始训练数据通常未公开、专有或过大而无法存储。
• 异构专业知识： 教师在不同领域上训练（例如，一位擅长动物，另一位擅长昆虫），尽管它们共享部分重叠的领域（例如 ImageNet）。
• 固定的蒸馏数据： 学生在一个不随时间变化的固定数据集 $D_S$ 上进行训练。

作者将固定的蒸馏数据集 $D_S$ 分解为两类：

1. 内部数据（ID）： 所有教师都已知的数据（共享领域，$D_i$）。
2. 外部数据（ED）： 任何教师都不知悉的数据（$D_e$）。

识别出的核心现象：

• 未见知识迁移（UKT）： 学生获得其在训练期间从未见过的领域的知识，这种现象仅因为教师拥有该知识，且学生在蒸馏过程中接触到了外部数据（ED）。
• 未见知识遗忘（UKF）： 当学生从后续教师学习时，先前教师迁移的关于未见领域的知识会丢失。这不同于传统的灾难性遗忘，因为“被遗忘”的知识从未是学生自身训练数据的一部分，而是通过蒸馏获得的。

CD 的核心挑战在于优化 UKT（获取新的未见知识）与 UKF（保留先前获得的未见知识）之间的权衡。

2. 方法论：自外部数据蒸馏（SE2D）

为了在保留 UKT 益处的同时减轻 UKF，作者提出了自外部数据蒸馏（SE2D）。

机制：
SE2D 将自蒸馏概念（在 CL 中常见）适应于 CD 的具体约束。在每一步 $t$，学生模型 $S_t$ 通过两个损失项进行优化：

1. 教师蒸馏： 在整个蒸馏数据集 $D_S$（包括 ID 和 ED）上，从当前教师 $T_t$ 到学生 $S_t$ 的标准知识蒸馏。
2. 自蒸馏： 从学生之前的检查点 $S_{t-1}$ 到当前学生 $S_t$ 的蒸馏，但仅限于外部数据（$D_e$）。

损失函数：
总损失定义为：
$$L_{SE2D} = L_{KD}(S_t, T_t; D_S) + L_{KD}(S_t, S_{t-1}; D_e)$$

原理：

• 将自蒸馏限制在 $D_e$ 至关重要。将其应用于 $D_i$ 只会强化所有教师之间已经稳定的知识。
• 通过将自蒸馏集中在 $D_e$ 上，该方法专门保留了先前教师迁移的关于学生从未见过的领域的“脆弱”知识。
• 这种方法在不访问先前教师或其训练数据的情况下，稳定了跨异构教师的学习过程。

3. 主要贡献

1. 范式引入： 本文定义了持续蒸馏，将焦点从以数据为中心的 CL 转移到以模型为中心的 CL，反映了基础模型不断演进的现实，即先前版本变得无法访问。
2. UKT 和 UKF 的发现： 作者证明，使用外部数据能够实现未见知识迁移，使学生能够学习其训练数据中不存在的领域。相反，他们识别出未见知识遗忘，即这种获得的知识在顺序学习过程中丢失。
3. 提出的解决方案（SE2D）： 他们引入了 SE2D，这是一种通过保留外部数据上的 logits 来减轻 UKF 的方法。
4. 实证验证： 在多个基准测试（CIFAR20、Digits、DomainNet）上的广泛实验验证了，与标准蒸馏基线相比，SE2D 减少了 UKF 并提高了跨领域泛化能力。

4. 实验结果

作者将 SE2D 与包括 KL 散度、Logits 标准化（LS）、中等难度样本（MDS）、解耦知识蒸馏（DKD）和标准自蒸馏在内的基线进行了评估。

主要发现：

• 外部数据的必要性： 仅在内部数据上训练会导致学生仅在共享领域表现良好。包含外部数据对于 UKT 至关重要，能显著提升在未见领域上的性能。
• 权衡： 虽然 ED 实现了 UKT，但如果管理不当，可能会加剧 UKF。标准蒸馏方法通常随着新教师的引入，在早期未见领域上的性能会出现显著下降。
• SE2D 性能：
  • 在具有相关外部数据的 CIFAR20 上，与基线相比，SE2D 在特定任务（例如 Domain 1）上将未见领域的平均准确率提高了 9% 以上。
  • SE2D 在旧领域上始终优于标准自蒸馏，表现出对迁移知识的更好保留。
• 对领域差距的敏感性： ED 和 SE2D 的有效性高度依赖于外部数据与教师领域之间的语义相似性。
  • 相关 ED： 使用语义相似的数据（例如用于 CIFAR20 的 CUB 鸟类）能带来显著增益。
  • 无关 ED： 使用高度不相似的数据（例如用于 CIFAR20 的 MNIST 数字）可能会降低性能，有时导致准确率低于仅使用内部数据。
  • 教师质量： SE2D 依赖于教师在外部数据上提供高质量的监督。如果教师在外部领域表现不佳（质量低），SE2D 的益处就会减弱。

5. 意义与主张

本文声称，持续蒸馏是基础模型时代的关键范式，解决了存储或重新访问庞大且不断演进的模型及其训练数据在实际上的不可能性。

• 知识控制： 这项工作强调，蒸馏数据的来源是控制哪些知识被迁移的主要杠杆。作者认为，迁移“未见”知识（UKT）的能力是一把双刃剑：它提供了泛化机会，但也带来了将未知偏见或不受控制的知识嵌入学生的风险。
• 适度的局限性： 作者承认 SE2D 并非万能解决方案。其成功依赖于外部数据与教师之间的领域差距是可管理的，且教师必须在外部数据上具备能力。他们指出，当数据被生成以模仿训练集时，识别教师领域之外的数据并非易事。
• 未来方向： 本文提出，UKT 既带来了机遇也带来了风险，特别是关于非预期偏见。未来的工作建议探索更大的模型（语言和 multimodal）以及不受控制的知识迁移的安全影响。

总之，本文确立了一个观点：在一个教师不可访问且不断演进的世界中，战略性地利用外部数据并在该数据上进行自蒸馏，对于构建能够在一连串异构教师之间保留知识的鲁棒学生模型至关重要。