🤖 machine learning

Wisdom of Committee: Diverse Distillation from Large Foundation Models and Domain Experts

该论文提出了 DiverseDistill，一种利用可学习问答机制将来自多样化基础模型和领域专家的输出有效地对齐到紧凑的学生模型中的交互式蒸馏框架，在无需教师模型协同优化或产生推理开销的情况下实现了卓越的性能恢复。

原作者： Zichang Liu, Qingyun Liu, Yuening Li, Liang Liu, Anshumali Shrivastava, Shuchao Bi, Lichan Hong, Ed H. Chi, Zhe Zhao

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zichang Liu, Qingyun Liu, Yuening Li, Liang Liu, Anshumali Shrivastava, Shuchao Bi, Lichan Hong, Ed H. Chi, Zhe Zhao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教导一名才华横溢但身材瘦小的学徒（一个小型、高效的计算机模型）去做一项特定的工作，比如推荐电影或在照片中识别猫。你可以接触到两种类型的导师：

“超级天才”（基础模型）： 这位导师极其聪明，无所不知，读遍了互联网上的每一本书。然而，他们体型庞大、反应缓慢，且使用的语言非常复杂，让小小的学徒难以理解。
“专家”（领域专家）： 这位导师规模较小、速度较快，并且能完美地使用学徒的语言。他们在特定任务上表现出色，但对更广泛的世界知之甚少。

问题所在：
如果你尝试直接让学徒向“超级天才”学习，差距实在太大。学徒会被这种信息量淹没，从而学不到什么东西。如果你只使用“专家”，学徒虽然能掌握这项工作，却会错过“超级天才”那更广博的智慧。

如果你把两位导师都请进房间，并只是要求他们“取长补短”（一种常见的做法），往往会适得其反。超级天才复杂的、令人困惑的建议会与专家的简单建议发生冲突，结果导致学徒的表现甚至比只听从专家建议时还要差。

解决方案：“DiverseDistill”（交互式翻译器）
作者提出了一个名为 DiverseDistill 的新教学方法。与其让导师们只是大声喊出建议，不如在学徒和导师之间引入一个聪明的翻译器（称为蒸馏模块/Distillation Module）。

它是这样运作的，这里用一个创意类比来解释：

1. “问答”游戏

想象学徒正在参加一场测验。

翻译器观察学徒当前的理解程度，然后根据“超级天才”的思维方式，专门为他们设计一个特定的问题；接着，它会根据“专家”的风格设计另一个不同的问题。
导师们回答这些问题。因为问题是用每位导师最容易理解的方式提问的，所以他们能给出高质量的答案。
翻译器随后将这些答案“翻译”回学徒的母语，以便学徒能够真正从中学习。

2. “智能过滤器”（节省能量）

与“超级天才”交流是非常昂贵的（需要消耗大量的计算资源）。翻译器很聪明，它知道：“对于这个特定的问题，专家就是完美的专家，不需要用到超级天才。”
因此，翻译器会跳过针对该特定问题询问超级天才的过程。这在训练期间节省了约 30% 的计算时间，且没有损失任何质量。

3. “幽灵”翻译器

一旦学徒完成了学习，翻译器和导师们就会被丢弃。学徒将独自一人，但此时他们已经变得非常聪明。他们的体积和速度与之前完全一样，但已经吸收了两种模式的精华。在实际工作中，他们没有任何额外的成本。

这篇论文的研究发现

研究人员在两个主要任务上测试了该方法：

电影推荐： 他们尝试用一个大型语言模型（超级天才）和一个大型电影推荐模型（专家）来教导一个小型电影推荐模型。
- 结果： 标准方法失败了，甚至让情况变得更糟。DiverseDistill 让小模型填补了从“差生”到“顶级老师”之间 114% 的差距。它实际上学到的东西比任何单一老师单独能教出的东西都要多。
图像识别： 他们尝试用一个大型视觉模型和一个专家来教导一个小型的图像识别模型。
- 结果： 同样，标准方法表现挣扎。DiverseDistill 恢复了 73% 到 90% 的性能差距，始终优于所有其他方法。

核心结论

该论文声称，你不能只是把一群不同的专家扔进一个房间，就指望他们能有效地教导一个小的学生。你需要一个交互式系统，它知道如何向正确的专家提出正确的问题，并将答案进行翻译。

通过这种方式，他们成功地将一个拥有 7600 万参数的大型模型压缩到了一个仅有 200 万参数的小型模型（38 倍压缩），同时保留了几乎所有的智能，而且无需更改大模型，也不需要将它们一起训练。这个“翻译器”仅在学习阶段使用，之后便会消失，留下一个精干、强大的学生准备好投入现实世界。

技术摘要：DiverseDistill

问题陈述

将知识从大型基础模型蒸馏到紧凑的专业领域模型面临着巨大的障碍，这些障碍源于模型容量、架构和输入模态之间的巨大差异。直接蒸馏往往无法弥补性能差距；例如，实验表明，将一个 76M 参数的语言模型蒸馏到 2M 参数的推荐模型时，仅能恢复不到 40% 的性能差距。

此外，仅仅引入领域特定专家来形成一个“多样化教师委员会”（结合基础模型与领域模型）并不会自动带来性能提升。标准的多元教师蒸馏方法通常依赖于对软标签或 Logits 进行平均，当教师模型具有异质性时，这些方法会失效。将基础模型（如 LLM）与领域专家（如基于嵌入的推荐系统）进行朴素组合，可能会导致学生模型的性能甚至低于单教师蒸馏的表现。这是因为标准的融合机制无法解决不兼容的输出空间（例如，词表 Logits 与排序分数）问题，也无法在没有协同训练或架构修改的情况下对齐迥异的内部表示。

方法论：DiverseDistill

作者提出了 DiverseDistill，这是一个交互式蒸馏框架，旨在将知识从一个由严格冻结的教师组成的多元委员会转移到学生模型中。该框架在运行过程中无需更新教师参数，无需修改教师架构，也不需要将教师与学生进行协同训练。

核心组件

该框架引入了一个由两个主要部分组成的学习型蒸馏模块（Distillation Module）：

问题增强器 ( $F_Q$ )：
- 接收学生的表示 ( $x$ )，并为每个教师 $T_i$ 生成特定于教师的问题 ( $q_i$ )。
- 使用可学习的教师嵌入来约束生成过程，确保查询是以特定教师领域的“语言”进行表述的。
- 将这些问题投影到每个教师的原始输入维度中。
- 同时计算每个样本的动态教师重要性权重 ( $w_i$ )，允许系统在训练期间跳过相关性较低的教师，以降低计算成本。
答案增强器 ( $F_A$ )：
- 接收每个教师在处理注入的问题后，其最后一层的隐藏状态 ( $p_i$ )。
- 将这些异构的响应投影到学生的隐藏表示空间中，生成对齐后的“答案” ( $a_i$ )，作为软目标。

训练过程

训练目标是最小化包含三个项的总损失函数：

任务损失 ( $L_{task}$ )：学生预测值与地面真值（Ground Truth）之间的标准损失。
蒸馏损失 ( $L_{distill}$ )：衡量学生隐藏状态与对齐后的教师答案之间的差异，并由重要性得分 ( $w_i$ ) 进行加权。
任务正则项 ( $L_{reg}$ )：这是一个关键机制，用于防止蒸馏模块收敛到平凡解。它通过将生成的提问和回答传递给预测头并与地面真值标签进行比较，强制要求生成的提问和回答具有任务相关性。

梯度路由（Gradient Routing）：学生 ( $S$ ) 通过 $L_{task}$ 和 $L_{distill}$ 进行更新。蒸馏模块 ( $F_Q, F_A$ ) 仅通过 $L_{reg}$ 进行更新。教师在整个过程中保持冻结状态。

推理

训练完成后，蒸馏模块和所有教师模型都会被丢弃。部署的学生模型在大小和延迟上与未经蒸馏训练的模型完全一致，不产生额外的推理开销。

核心贡献

识别了“多样性负债”：论文证明，虽然多样化的教师委员会在理论上有利，但当教师在架构和模态上存在显著差异时，标准的多元教师方法无法有效利用它们，反而往往会损害性能。
交互式问答框架：DiverseDistill 引入了一种机制，通过生成以教师为条件的查询并将响应投影到共享的学生空间中，来实现选择性的知识提取与对齐。
严格冻结教师的兼容性：该框架无需协同训练、无需向教师传播梯度，也无需进行架构手术，这使其适用于预部署的基础模型以及仅通过 API 访问的场景。
动态效率：学习到的重要性机制可以针对每个样本过滤掉低相关性的教师，在不损失质量的前提下，将训练阶段的前向传播次数减少了约 30%。

实验结果

该框架在推荐（MovieLens）和视觉（CIFAR-10/100, ImageNet）任务上进行了评估，使用了异构委员会（例如，LLM + MLP, CLIP + ViT）。

差距恢复：DiverseDistill 始终优于所有单教师和多教师基线模型。它恢复了 73–114% 的教师-学生性能差距。
超越教师：在 MovieLens 推荐任务（38倍压缩）中，蒸馏后的学生模型实现了 114.2% 的差距恢复率 (GRR)，这意味着它超越了表现最好的单个教师模型。
基线失效：标准的多元教师方法（如简单的平均法）通常会导致负的 GRR（例如，在 CIFAR-10 上为 -15.0%），这证实了如果没有适当的对齐，朴素的多样性是有害的。
压缩比：该方法在推荐任务中实现了高达 38 倍的模型压缩，在视觉任务中实现了 3.6 倍 的压缩，同时保持或超过了教师模型的性能。

意义与主张

论文认为，基于教师特定的、交互式的知识提取对于有效的多元来源蒸馏至关重要，特别是当需要跨越基础模型与专业应用之间的鸿Cl时。通过将教师视为一个多样化的委员会，并使用一个可学习的接口来翻译其专业知识，DiverseDistill 克服了使标准蒸馏失效的容量和模态差距。

作者声称，这种方法能够部署高度压缩的模型，这些模型既保留了大规模基础模型的泛化能力，又具备领域专家的效率，且无需承担通常与蒸馏相关的推理成本惩罚。这项工作强调了，当得到妥善管理时，多样性将从一种“负债”转化为模型压缩与性能提升的重要资产。