🤖 AI

Teacher Supervision over Representation Equivalence Classes

本文将知识蒸馏重新定义为一个匹配教师表示等价类而非绝对特征的几何问题，并证明了虽然对齐隐藏表示可以恢复模型几何结构，但只有逻辑值（logit）匹配才能恢复功能能力。

原作者： Sang Il Han

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Sang Il Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言、类比和隐喻对该论文进行的解释。

核心谜题：为什么“复制”大脑行不通

想象你有一位大师厨师（老师）和一名学徒（学生）。你希望学徒能做出和大师一模一样的菜肴。

在 AI 世界中，研究人员通常试图通过向学徒展示大师的内部笔记（计算机“大脑”内部的隐藏特征）来教导他们。他们会说：“看这些过程中的数字；让你的数字看起来和我的一模一样。”

这篇论文的重大发现： 这种方法是行不通的。你可以强迫学徒的内部笔记看起来与大师的完全一致，但学徒做出的菜依然很难吃。论文证明了，匹配“笔记”（内部特征）并不能保证“菜肴”（最终输出/能力）的质量。

核心理念：“翻译”问题

为什么会这样？论文使用了一个极其简单的几何学解释。

类比：地图与指南针
想象老师的内部笔记是一张画在纸上的地图。

问题在于： 老师的地图是用特定的指南针方向绘制的（比如北在上）。但学生的地图是用北向东的方式绘制的。
错误之处： 如果你在没有修正指南针的情况下，试图逐行复制老师的地图，你复制的就是错误的路径。即使线条看起来一样，它们指向的地方也不同。
现实情况： 老师的内部“大脑”并没有一个固定的指南针。只要最终结果（输出）保持不变，它可以旋转、翻转或拉伸其内部笔记。论文称之为等价类（Equivalence Class）。这意味着内部表达同一个“想法”有无数种方式，但表达最终答案的方式只有一种。

论文的解决方案：
不要试图匹配内部笔记（地图）。要匹配最终答案。
如果要求学生产出与老师完全相同的最终菜肴（输出），学生自然会学会如何排列自己的内部笔记来实现这一目标。论文称之为输出函数匹配（Output Function Matching）。

三种教学方法（以及为什么其中两种会失败）

论文将教学方法分为三类：

“内部笔记”匹配（特征蒸馏 - Feature Distillation）：
- 做法： 试图让学生的隐藏数字与老师的匹配。
- 缺陷： 这就像是在试图逐字抄写一段你并不理解其字母表的句子。因为“字母表”（坐标系）可能会改变，你可能正在复制错误的东西。论文显示，你可以实现内部笔记 99% 的匹配度，但模型仍然无法正常工作。
- 结论： 无法迁移能力。
“关系”匹配（关系蒸馏 - Relational Distillation）：
- 做法： 不再复制具体的数字，而是复制数字之间的相互关系（例如：“句子 A 与 B 的相似度比与 C 的相似度更高”）。
- 缺陷： 这比第一种更好，因为它忽略了具体的“字母表”，转而观察数据的形状。然而，它仍然不能保证最终答案是正确的。它修复了大脑的“形状”，但没有修复大脑的“声音”。
- 结论： 修复了几何结构，但没修复功能。
“最终答案”匹配（逻辑值蒸馏 - Logit Distillation）：
- 做法： 完全忽略内部笔记。它只说：“当老师说‘苹果’时，你也必须以同样的信心说‘苹果’。”
- 成功之处： 这完美奏效。因为最终答案是唯一一个无论内部笔记如何旋转都必须保持不变的东西，所以强迫学生匹配最终答案，就会迫使整个系统进行正确的对齐。
- 结论： 迁移了能力。

“修复”实验

为了证明这一点，研究人员进行了一项戏剧性的实验：

他们拿走一个正在工作的 AI 模型，并“搅乱”了它的内部大脑（破坏了内部笔记）。
他们尝试通过强迫搅乱后的笔记去匹配原始老师的笔记来修复它。
- 结果： 内部笔记看起来非常完美（99% 的匹配度），但模型仍然是损坏的，无法说话。
他们尝试通过强迫模型匹配老师的最终答案（忽略搅乱的笔记）来修复它。
- 结果： 模型立即恢复了正常工作，尽管其内部笔记仍然是混乱的。

教训： 你可以拥有完美的内部结构却毫无能力，但你不可能在没有正确输出函数的情况下拥有能力。

“嫁接”类比：器官移植

论文还研究了嫁接（Grafting）（将一个模型的部件放入另一个模型中）。

规则： 你只有在两个大脑的“语言”存在重叠时，才能移植其中的一部分。
隐喻： 想象尝试将一个 USB-C 线插入 USB-A 接口。即使线缆质量很高，除非你有适配器，否则它无法工作。
发现： 如果两个模型使用的“语言”不同（它们的内部子空间不重叠），嫁接就会失败。但如果它们拥有足够的共同点，嫁件就能成功。论文根据它们的“语言”重叠程度来预测成功率，而不是看它们的原始数字有多相似。

总结：我们应该怎么做？

论文最后为任何训练 AI 的人总结了一个简单的规则：

停止直接复制“想法”（隐藏层）。它们只是可以随时变化的任意坐标。
开始复制“言语”（最终输出）。
黄金法则： 如果你想迁移一个模型能做的事，你必须匹配它所说的话。只要最终输出是正确的，内部机制会自动理顺。

一句话总结： 老师的知识并不存储在其特定的内部数字中；它存储在输入与其最终答案之间的关系中。要向老师学习，你必须匹配答案，而不是笔记。

技术摘要：教师对表示等价类的监督

1. 问题陈述

知识蒸馏传统上被构架为在教师模型中选择匹配的内容：是 logits（输出分布）、隐藏特征，还是样本关系。这种构架预设了教师的表示拥有一种学生可以直接匹配的“绝对坐标”。

本文认为这一前提从根本上是错误的。一个预训练的表示并非一个固定的矩阵，而是一个仅在正交与各向同性缩放等价类下可识别的实体。因为下游的“读取器”（权重）可以吸收表示的任何旋转或缩放而不改变网络的输出函数，所以特征向量的具体坐标本身并不具备内在意义。因此，试图进行“逐基底”的特征匹配是一个病态的目标（ill-posed objective）。本文提出，能力（例如困惑度、Top-1 准确率）不是表示本身的属性，而是表示等价类的——具体而言，是输出函数的不变量。

2. 方法论与理论框架

2.1 表示作为一种等价类

作者将表示 $H$ （层激活值）定义为一个在群 $G = O(d) \times \mathbb{R}^+$ （正交旋转和各向同性缩放）作用下的轨道，而非一个固定的矩阵。

假设 2.1（可吸收的重参数化）： 表示中的任何坐标变化 $h \mapsto c h Q$ 都可以通过相应的下游权重变化 $W_{in} \mapsto c^{-1} Q^\top W_{in}$ 来抵消，从而保持网络函数 $f$ 不变。
命题 2.1（绝对匹配的病态性）： 由于函数在该群作用下具有不变性，因此最小化绝对坐标之间距离（例如 $\|H_T - H_S\|_F$ ）的损失函数是病态的。它惩罚了保持函数不变的重参数化，且其极小值取决于等价类中任意选择的代表元。

2.2 商空间与能力

论文区分了两个商空间：

表示商空间 ( $\pi_{rep}$ )：将表示 $H$ 本身坍缩为其等价类 $[H]$ 。此处的变量包括 Gram 矩阵、CKA（中心化核对齐）和主角度。这些衡量的是几何相似性，但并不能决定输出函数。
联合商空间 ( $\pi_{joint}$ )：将对 $(H, \theta_{downstream})$ 进行整体坍缩。输出函数 $f$ 是该联合商空间上的一个良定义函数。

命题 3.2 确立了能力是一个定义在联合商空间上的类不变量（class invariant）。因此，蒸馏目标只有通过针对该商空间上的输出函数不变量，才能实现能力的迁移。

2.3 蒸馏目标的分类学

基于上述商空间框架，本文将蒸馏损失分为三类：

(A) 关系匹配（Relational Matching）：针对表示商空间（例如 CKA、归一化 Gram）。这些是基底无关的，但由于忽略了读取器的坐标系，它们本身无法迁移能力。
(B) 先对齐后匹配（Align-then-Match）：估计一个对齐映射（例如 Procrustes 旋转或低容量线性映射 $W$ ）以固定等价类中的一个代表元，然后匹配绝对坐标。这对于需要坐标特定特征消耗的任务（如模块嫁接/grafting）是必要的，但会引入对齐噪声。
(C) Logit 蒸馏：直接针对联合商空间，通过匹配输出分布。由于输出本身就是联合类的函数，该目标在正确的商空间上是自然定义的，且无需对齐步骤。

3. 核心贡献

几何重构：论文将教师监督从“匹配特征”重构为“迁移表示等价类”。它指出能力是输出函数这一类不变量，而非特定特征矩阵的属性。
病态性证明：形式化地证明了绝对特征匹配是病态的，因为它将属于同一函数纤维（functional fiber）内的点进行了分离，从而惩罚了有效的重参数化。
损失分类学：提供了一个统一的几何视角来解释特征匹配、关系蒸馏、对齐和嫁接，并通过它们如何固定类结构来加以区分。
实验验证：通过对 Qwen2.5 和 Llama-3.1 的受控恢复实验和跨宽度蒸馏实验，隔离了能力迁移的机制。

4. 实验结果

4.1 恢复研究 (Qwen2.5, Llama-3.1)

作者通过重新初始化教师模型的一部分层来破坏模型，并尝试使用不同的目标进行恢复。

结果 1：仅使用基底无关的关系损失（ $L_{CKA}$ ）进行训练，成功恢复了表示几何结构（CKA $\approx$ 0.99），但未能恢复能力（困惑度比率差了 $10^2$ – $10^4$ 倍，Top-1 $\approx$ 0）。
结果 2：仅使用 Logit 损失（ $L_{logit}$ ）进行训练，几乎完美地恢复了能力（困惑度比率 $\approx$ 1.01，Top-1 $\approx$ 0.98），但并未对齐隐藏表示（CKA 保持较低水平）。
结论：对齐表示与恢复函数是近乎正交的任务。能力完全由输出函数项驱动。

4.2 权重绑定（Weight Tying）的作用

在具有输入/输出嵌入绑定（tied embeddings）的模型中（Qwen2.5-0.5B），输出头是固定的，因此仅靠 Logit 匹配就足以恢复函数。
在具有非绑定头（untied heads）的模型中（Qwen2.5-7B, Llama-3.1-8B），恢复能力需要显式训练输出头，以配合 Logit 损失。这证实了“读取器”必须与新的表示坐标系相对齐。

4.3 跨宽度蒸馏

在真实的跨宽度蒸馏场景中（教师：1.5B，学生：0.5B）：

仅特征匹配（即使带有学习到的投影 $W$ ）也会导致学生模型崩溃（困惑度 $> 10^6$ ）。
仅 Logit 匹配保留并略微提升了学生的性能。
在 Logit 匹配中加入特征项不仅没有带来收益，反而往往有害。
通过一个最优解对齐映射的代理实验证实，仅靠特征监督在结构上就是失败的，而非仅仅是优化困难。

4.4 嫁接（Grafting）与子空间重叠

论文验证了模块嫁接的成功受限于捐赠者（donor）与宿主（host）之间边界子空间重叠度（通过 CKA 或 Procrustes 残差衡量）的控制。高重叠度是必要的但不充分；靠近输出层的嫁接即使在高重叠度下也会失败，因为其对微小偏差极其敏感。

5. 意义与主张

论文声称，那种认为蒸馏发生在“基底中”的直觉是“精神正确，但在字面上是错误的”。

核心主张：教师监督应针对等价类，而非坐标。能力是通过输出函数不变量进行迁移的。
实际意义：对于迁移能力而言，Logit 匹配是唯一在正确的商空间上自然定义的客观目标。特征匹配（即使是关系型或对齐型）对于能力迁移是不够的，仅在需要显式要求坐标对齐的特定任务（如嫁接）中才有用。
范围限制：论文强调，蒸馏是复制，而非创造。它是在训练语料覆盖的子空间内迁移教师的输出函数。它并不声称能产生超出教师现有功能的全新能力，也不声称能解决分词器不匹配的跨家族迁移问题。

论文总结道：“教师所知道的东西存在于类之中；而真正发生迁移的是该类中被目标函数和语料库所指向的部分。”