🤖 AI

Relational Representation Distillation

本文提出了一种名为关系表示蒸馏（Relational Representation Distillation）的新型知识蒸馏方法，该方法通过使用独立的温度参数来保留实例间的相对关系，从而克服了标准 KL 散度和过于严格的对比学习的局限性，进而实现在多种迁移任务中的卓越性能。

原作者： Nikos Giakoumoglou, Tania Stathaki

发布于 2026-07-30

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Nikos Giakoumoglou, Tania Stathaki

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，在这样一个世界里，最聪明的计算机就像一座座巨大的、高耸入云的图书馆，里面装满了人类写过的每一本书。它们可以解决问题、识别面孔，并以惊人的准确度理解这个世界。但有一个限制：这些图书馆规模如此庞大且沉重，以至于无法装进你的背包，更不用说你的手机了。它们需要大量的电力和强大的硬件才能维持运转。这就是现代人工智能面临的挑战：我们如何将这些巨大的“教师”模型的智慧，压缩进那些微小、轻量级的“学生”模型中，让它们能在任何地方运行？

为了实现这一目标，科学家们使用了一种被称为**知识蒸馏（Knowledge Distillation）*的技巧。你可以把它想象成一位大师在教导一名学徒。大师不仅仅是把最终的食谱（答案）交给学徒，还会向他展示这道菜的“神韵”。如果大师说：“这碗汤尝起来有点像鸡肉的味道，但又隐约透着草本植物的气息，”那么学徒学到的不仅是它“是汤”，还学到了其中的细微差别。用计算机术语来说，教师模型不仅仅会说“这是一只猫”；它还会低声耳语：“它非常像狗，但不太像飞机。”这种“耳语”帮助学生理解事物之间微妙的关系。然而，最近尝试教授这些关系的尝试有些过于严苛，就像一位大声呵斥的老师：“你是一只猫，而那只狗不是*猫，所以离它远点！”这迫使学生忘记了猫和狗其实都是动物，并且应该具有一定的相似性。

正是在这里，来自伦敦帝国理工学院的研究人员提出了一种名为**关系表示蒸馏（Relational Representation Distillation, RRD）*的新颖想法。他们意识到，与其强迫学生去记忆每一个物体之间的精确距离，不如教给他们事物的相对*顺序。想象一个教室，老师不只是说“坐在这里”，而是说：“坐得比飞机近，但要比猫稍远一些。”研究人员发现，通过使用一种特殊的“温度”设置来让学生的学习变得更锐利、更专注，他们可以在不产生混乱的情况下，保留这些重要的关系。实验表明，这种方法能让微小的学生模型学得更好，有时甚至能达到与巨大的教师模型相当的水平，同时保持“背包”的轻便与高效。

过于严苛带来的问题

长期以来，教导学生模型最好的方法是使用一种叫做**对比学习（Contrastive Learning）**的方法。想象一场音乐椅游戏，目标是让你的朋友靠近，把陌生人推开。在这个游戏中，如果你有一张猫的照片，计算机就会尝试让“猫”的表示与其他“猫”的照片非常接近，而远离“狗”或“飞机”的照片。

正如作者所指出的，这个问题在于这种游戏可能会变得过于激烈。它迫使计算机将猫和狗视为完全陌生的存在，尽管它们都是毛茸茸的动物。这就像一位老师告诉学生：“你是猫，而狗是另一个完全不同的宇宙，所以永远不要认为你们是一类的。”这种“语义排斥”（Semantic Repulsion，一个高级说法，意指“过度推开事物”）丢弃了宝贵的信息。学生学会了识别猫，却忘记了猫和狗拥有共同的家族树。

新方法：相对关系

作者提出了一个更聪明的游戏方式。他们不再强求绝对距离，而是专注于相对关系。他们要求学生模型学习相似性的顺序。

这里有一个类比：想象你在对你最喜欢的水果进行排名。

旧方法（严格对比）： “苹果是100%的苹果。香蕉是100%的香蕉。它们是敌人。保持100英里的距离。”
新方法（RRD）： “苹果是你的最爱。梨是你的第二选择（因为它们都圆润且甜美）。香蕉是第三。石头是最后一名。”

学生不需要知道苹果和梨之间的确切距离是多少英里，他们只需要知道梨比香蕉更接近苹果。这保留了世界的结构：苹果和梨是有关系的，香蕉也有一定的关联，而石头则完全无关。

他们是如何做到的：温度的魔力

为了让这套方法奏效，研究人员引入了一个涉及**温度（Temperature）**的巧妙技巧。在人工智能的世界里，“温度”指的不是热量，而是模型预测的“软硬”或“锐利”程度。

高温度： 模型是不确定的，它会将预测结果分散开（就像一个雾气弥漫的日子，一切看起来都很模糊）。
低温度： 模型是非常自信且聚焦的（就像一束激光）。

作者给教师设定了一个特定的温度，而给学生设定了一个不同的、更锐利的温度。他们将学生的温度设定得比教师的更低（更锐利）。这意味着学生被强制要求高度关注最重要的关系（即“主要”关系，如猫 vs 飞机），同时仍保留对次要关系（如猫 vs 狗）的柔软、模糊的记忆。

他们还使用了一个“记忆库”——一个记录了教师见过的特征的庞大列表。学生将当前的图像与这个记忆库进行对比，以查看自己在宏观图景中的位置。通过将学生的“相对排名”与教师的排名对齐，学生学会了世界的结构，而不会被旧方法的严格规则所困扰。

研究结果

团队在几个著名的图像数据集上测试了这个想法，包括 CIFAR-100（拥有100种不同类型的物体）和 ImageNet（一个包含超过一百万张图像的海量集合）。他们将这种新方法与该领域的现有冠军进行了对决。

结果令人印象深刻。当单独使用这种新方法时，它的表现优于标准的“对比”方法。但真正的魔法发生在将其与传统的知识蒸馏技术结合时。

在 CIFAR-100 数据集上，该方法比标准的知识蒸馏方法实现了 75.50% 的相对提升。
当它与经典方法结合时，提升幅度跃升至 80.03%。

简单来说，学生模型学得更快，也变得更聪明了。在某些情况下，使用这种新方法训练的微小学生模型，其表现甚至超过了它试图模仿的巨大教师模型！

他们还使用了一种称为 t-SNE 的技术（该技术可以将复杂的数据转化为二维地图）来观察模型的“大脑”。在这些地图中，你可以看到计算机是如何对事物进行分组的。使用旧方法时，分组是混乱或过于疏远的。而在新的关系表示蒸馏下，这些分组看起来几乎与教师的分组完全一致。学生成功学习了教师的“世界观”：将猫和狗放在一起，并将它们远离飞机，正如教师所期望的那样。

这为什么重要

这不仅仅是为了让图表上的数字好看。这关乎人工智能的实用性。如果我们能教会小型、高效的模型像巨型模型一样理解世界，我们就能将智能 AI 放入我们的手机、汽车和手表中，而无需在后备箱里塞进一台超级计算机。通过教导学生理解关系而非仅仅是规则，作者们找到了一种方法，将巨人的天赋压缩进一个可以装进口袋的包装之中。

论文指出，专注于这些相对连接是通往未来人工智能的一个充满前景的方向。它并不声称已经解决了人工智能的所有问题，但它提供了一个清晰、有效的工具，让下一代智能设备既强大又便携。

技术摘要：关系表示蒸馏 (Relational Representation Distillation)

问题陈述

知识蒸馏 (Knowledge Distillation, KD) 旨在将知识从大规模、高容量的教师模型转移到紧凑的学生模型中，以促进在资源受限环境中的部署。虽然标准的 KD 方法通过最小化教师网络与学生网络概率输出（logits）之间的 Kullback-Leibler (KL) 散度来实现，但它们往往无法捕捉教师内部特征表示中的结构化关系。

近期的研究进展尝试通过采用对比学习目标（例如 CRD）来解决这一问题。然而，这些方法依赖于严格的实例判别约束。这产生了一个“语义排斥”问题：如果将语义相似的样本视为不同的实例进行处理，即使它们本应保持相似性，也会被强制推开。本文认为，比起强制执行僵化的绝对相似性或分离性，保留实例之间的相对关系（例如，猫图像相对于狗图像与飞机图像的相对相似度）更为关键。

方法论：关系表示蒸馏 (RRD)

所提出的关系表示蒸馏 (RRD) 框架通过专注于保留实例间有意义的相对关系，放宽了僵化的对比目标。其核心组件包括：

记忆库与相似度评分：
- 来自教师 ( $z^T_i$ ) 和学生 ( $z^S_i$ ) 网络特征经过 $\ell_2$ 归一化，使其位于单位超球面上。
- 一个记忆库 $M$ 存储来自先前批次的特征嵌入（通过 FIFO 或动量策略进行更新）。
- 为了确保直接对齐，当前的教师嵌入被附加到记忆库中 ( $M^+$ )，从而创建一个包含 $K+1$ 个参考向量的集合。
- 使用带有温度参数的 softmax 函数计算当前输入特征与记忆库条目之间的相似度得分。
双温度参数：
- 一项关键创新是为教师 ( $\tau_t$ ) 和学生 ( $\tau_s$ ) 使用了独立的温度参数。
- 教师分布 $p^T$ 使用 $\tau_t$ 计算，学生分布 $p^S$ 使用 $\tau_s$ 计算。
- 作者设置 $\tau_s > \tau_t$ （例如 $\tau_s=0.1, \tau_t=0.02$ ）。这为学生创建了一个“锐化”的分布，迫使其关注主要的联系（最高的相似度得分），同时保持捕捉次要相似性的灵活性，从而避免了严格实例判别带来的类别冲突问题。
损失函数：
- 目标是最小化教师的相似度分布 $p^T$ 与学生的相似度分布 $p^S$ 之间的 KL 散度：
  $\mathcal{L}_{RRD} = \sum_{i} -p^T(x_i) \cdot \log p^S(x_i)$
- 在完整目标函数中，该损失与监督损失 ( $\mathcal{L}_{sup}$ ) 以及标准的基于 Logit 的 KD 损失 ( $\mathcal{L}_{KL}$ ) 相结合：
  $\mathcal{L}_{total} = \mathcal{L}_{sup} + \lambda \cdot \mathcal{L}_{KL} + \beta \cdot \mathcal{L}_{RRD}$
理论联系：
- 本文建立并证明，当 $\tau_t \to 0$ 时，RRD 目标收敛于 InfoNCE 损失（用于对比学习），有效地使 InfoNCE 成为 RRD 的一个特例。
- 它还保持了与 Hinton 最初提出的标准 KL 散度在结构上的联系，只不过是在记忆库相似度得分而非类别 logits 上进行操作。

核心贡献

框架提议： 引入了 RRD，这是一个通过采用教师和学生分布的双温度参数来产生更锐利学生输出，从而在特征空间中保留结构化关系的蒸馏框架。
理论统一： 证明了所提目标、InfoNCE 对比损失与 KL 散度之间的理论联系，表明 InfoNCE 是 RRD 的一个特例。
实证验证： 在标准基准测试（CIFAR-100, ImageNet, STL-10, Tiny ImageNet）和目标检测（MS-COCO）上的全面验证表明，该方法相比现有方法具有显著的精度提升。
结构保持证据： 通过定量（相关性分析）和定性（t-SNE 可视化）证据证明，与 vanilla 训练或其他蒸馏方法相比，RRD 能更好地保留教师与学生嵌入空间之间的空间关系和结构一致性。

实验结果

该方法在 13 种不同的教师-学生架构对（包括 ResNet, WideResNet, VGG, MobileNet, 和 ShuffleNet）上进行了评估。

CIFAR-100： 当作为独立方法使用时，RRD 的表现优于标准 KD 和最先进的 CRD 方法。当与 KD 结合使用时，它进一步提升了性能。论文报告称，基于平均相对改进指标，相比传统 KD 实现了 75.50% 的相对提升，在集成 KD 后实现了 80.03% 的相对提升。
ImageNet： RRD 在各种架构（如 ResNet-50 到 ResNet-18）中始终优于 KD，展示了可扩展性。
迁移学习： 在将特征从 CIFAR-100 迁移到 STL-10 和 Tiny ImageNet 的实验中，RRD 展示了强大的特征迁移能力，在不需要额外 KD 的情况下达到了与 CRD 相当甚至更好的性能。
消融研究：
- 温度： 发现最优性能出现在 $\tau_t \approx 0.02$ 且 $\tau_s = 0.1$ 时。较高的 $\tau_t$ 值会因产生过于平滑的分布而降低性能。
- 记忆大小： 性能随记忆大小增加而提升，直到 $K=16384$ 后收益趋于平缓。
- 损失权重： 权重系数 $\beta$ 在 0.5 到 1.5 之间表现最佳。
- 记忆结构： RRD 在动量（momentum）和 FIFO 队列更新下均表现良好，其中 FIFO 表现尤为突出。

重要性与主张

本文声称，RRD 通过将重点从绝对相似性转向保留相对关系，提供了一种更有效的知识蒸馏方法。通过利用双温度参数放宽对比学习的严格约束，该方法避免了语义排斥问题，同时确保学生网络能够学习到教师模型的主要结构性线索。

作者断言，其方法在多种任务和架构上均显著优于现有的知识蒸馏技术。他们强调，改进的结构保持能力带来了更好的教师模型对齐，并且在某些情况下，允许学生网络的性能超越教师网络本身。这项工作表明，关注相对关系是开发更有效模型压缩技术的一个极具前景的方向。