💬 NLP

Post-Trained MoE Can Skip Half Experts via Self-Distillation

本文介绍了零专家自蒸馏适配（ZEDA），这是一种低成本框架，通过注入无参数的零输出专家并应用两阶段自蒸馏，将后训练静态混合专家模型转换为高效的动态模型，从而在仅造成微小精度损失的情况下将专家浮点运算量降低超过 50%，并显著提升推理速度。

原作者： Xingtai Lv, Li Sheng, Kaiyan Zhang, Yichen You, Siyan Gao, Xueheng Luo, Yuxin Zuo, Yuchen Fan, Junlin Yang, Ganqu Cui, Bingning Wang, Fan Yang, Youbang Sun, Ning Ding, Bowen Zhou

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xingtai Lv, Li Sheng, Kaiyan Zhang, Yichen You, Siyan Gao, Xueheng Luo, Yuxin Zuo, Yuchen Fan, Junlin Yang, Ganqu Cui, Bingning Wang, Fan Yang, Youbang Sun, Ning Ding, Bowen Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对 ZEDA 论文的解释。

核心问题：过度劳累的厨房

想象一家高端餐厅（即大型语言模型），它拥有一个巨大的厨房，里面有128 位专家厨师（这些是 MoE 架构中的“专家”）。

在标准设置下，无论来的是什么订单——无论是简单的“你好”，还是复杂的“写一首交响乐”请求——厨房总是将订单派发给相同的 8 位厨师。这能确保食物始终完美，但成本极高且速度极慢，因为你为了切一根胡萝卜而雇佣了 8 位厨师，其实一位就足够了。

本文的目标是让厨房变得更聪明：让订单决定需要多少位厨师。 如果是简单订单，就少用几位厨师；如果是困难订单，就多用几位。这被称为“动态”厨房。

挑战：先别解雇任何人！

通常，要建立一个智能的动态厨房，你必须雇佣一支全新的团队，并从零开始培训他们。这需要数年时间，耗资巨大。

但本文提出了一个问题：我们能否利用一个现有的、已完全训练好的厨房（它已经知道如何完美烹饪），在不解雇任何人或从零重新培训的情况下，将其转变为动态厨房？

答案就是ZEDA（零专家自蒸馏适应）。

ZEDA 解决方案：“幽灵厨师”

ZEDA 使用了一个巧妙的技巧，涉及幽灵厨师（零专家）。

注入幽灵：研究人员在现有厨房中秘密添加了一群新的“厨师”，他们没有手，也不拿刀。他们是零专家。他们什么都不做，输出始终为零。
新规则：厨房经理（即路由器）现在被告知：“你仍然必须为每个订单挑选8 个人，但现在你可以从 128 位真实厨师加上这些新幽灵厨师中进行挑选。”
魔法时刻：如果订单很简单（比如“今天天气怎么样？”），经理学会挑选 4 位真实厨师和 4 位幽灵厨师。由于幽灵不工作，厨房实际上只做了 4 位厨师的工作量。如果订单很难（比如“解这道数学题”），经理则挑选 8 位真实厨师和 0 位幽灵厨师。

我们如何教导经理？（自蒸馏）

问题在于，经理还不知道何时该挑选幽灵厨师。如果他们在处理困难的数学问题时挑选了幽灵，食物就会烧焦。

为了解决这个问题，ZEDA 使用了自蒸馏，这就像是一个“影子训练”项目：

教师：原始、完全训练好的厨房（拥有 128 位真实厨师）充当严格的教师。它确切知道完美的答案应该是什么样子。
学生：新的厨房（带有幽灵）试图模仿教师。
过程：
1. 阶段 1（SFT）：学生观察教师烹饪。教师说：“对于这个简单订单，我本会使用 8 位厨师，但你可以尝试使用 4 位真实厨师和 4 位幽灵厨师。只要确保味道相同即可。”
2. 阶段 2（OPD）：学生开始独立烹饪。如果它犯了错，教师就会介入说：“你在处理困难数学问题时挑选了幽灵！这就是答案错误的原因。下次遇到这类问题，请挑选更多真实厨师。”

秘密武器：“组平衡”

存在一种风险，即经理可能会变得懒惰，只挑选幽灵以节省能量，或者完全不挑选幽灵而浪费能量。

为了防止这种情况，研究人员添加了一条组平衡规则。他们告诉经理：“你必须保持健康的比例。每使用 2 位真实厨师，你就应该尝试使用 1 位幽灵厨师，但绝不能破坏真实厨师彼此之间的平衡。”

这确保了厨房保持高效（在可能时使用幽灵），但不会降低食物质量。

结果：更快、更便宜、味道不变

经过这次训练（在强大的计算机上耗时不到 2 天，而原始训练需要数年）：

速度：厨房变得快了 20%，因为它停止为不必要的工作付费。
效率：它跳过了50% 的专家工作（约一半的 token 使用了幽灵）。
质量：食物的味道几乎和以前一模一样。在某些测试中，它甚至略有提升，因为经理学会了更好地集中精力。

总结

ZEDA 是一种将“静态”AI 模型（总是执行相同工作量的模型）转变为“动态”模型（对简单任务执行更少工作）的方法，具体通过：

添加看不见的“幽灵”专家，它们什么都不做。
通过模仿自身的“教师”版本，教导模型在简单任务中使用这些幽灵。
使用特殊规则，确保幽灵的使用量恰到好处以节省成本，但又不会多到导致答案变差。

这就像将一辆总是搭载 50 名乘客的巴士（即使只有 5 人上车）变成一辆当只有 5 人上车时会自动缩小为面包车的巴士，在节省燃料的同时不落下任何人。

技术摘要：零专家自蒸馏适配（ZEDA）

1. 问题陈述

混合专家（MoE）架构已成为通过增加容量同时限制每 token 计算量来扩展大语言模型（LLM）的标准方案。虽然动态 MoE 变体通过根据输入难度调整激活专家数量提供了进一步的效率，但现有方法通常需要从零开始预训练或进行特定任务的适配。因此，将完全经过后训练的静态 MoE 模型（这些模型已历经广泛的预训练、监督微调（SFT）和强化学习（RL））转换为高效的动态对应模型，在实践中仍处于探索不足的状态。直接将现有的动态路由方法应用于这些成熟模型，可能会破坏其完整训练流程中精心校准的路由分布和能力。核心挑战在于如何将一个后训练的静态 MoE 迁移为一个动态 MoE，使其能够跳过“简单”token 的不必要专家，同时不牺牲既定的性能或产生高昂的适配成本。

2. 方法论：ZEDA

本文提出了零专家自蒸馏适配（ZEDA），这是一个低成本框架，可将后训练的静态 MoE 模型转换为动态模型。该方法包含三个主要组成部分：

2.1 零专家注入

ZEDA 通过将无参数的零专家（ $Z = \{Z_1, ..., Z_{N_Z}\}$ ）注入现有专家池，在架构上将静态 MoE 转换为动态 MoE。

机制：这些零专家对任何输入隐藏状态 $h$ 均输出恒定的零（ $Z_j(h) = 0$ ）。
路由：路由器从扩展后的 $N + N_Z$ 个专家池中选择一个 top- $K$ 子集。如果选中了零专家，它不贡献任何计算，从而有效地减少了该 token 的活跃正常专家数量。
初始化：保留正常专家的原始路由器参数。零专家的新路由器参数从高斯分布中初始化，该分布的均值和方差与原始参数相匹配，以维持路由器 logits 的尺度。

2.2 两阶段自蒸馏

为了在不从头重新训练的情况下适配增强后的模型，ZEDA 采用两阶段自蒸馏过程，使用原始后训练 MoE 作为冻结教师：

监督微调（SFT）：学生模型在从教师采样的响应上进行训练。损失函数结合了标准交叉熵与组辅助损失。
在线策略蒸馏（OPD）：学生生成其自身的轨迹，教师评估这些轨迹以提供 token 级目标。目标是最小化学生在线策略分布与教师分布之间的反向 KL 散度。

2.3 组辅助损失（ $L_{GA}$ ）

标准的负载均衡损失（强制所有专家均匀分布）不适用于后训练的 MoE，因为它们会破坏正常专家之间已学习到的非均匀路由模式。ZEDA 引入了一种组辅助损失，在组级别而非单个专家级别平衡激活：

组：正常专家构成组 $\mathcal{E}$ ；零专家构成组 $\mathcal{Z}$ 。
目标：该损失调节两组之间的相对激活频率，由权重参数 $w$ 控制。它鼓励激活的正常专家与零专家的比例收敛于目标比例（ $N : N_Z \cdot w$ ），同时不扁平化正常专家组内部的路由分布。
结果：这使得模型能够学习何时跳过计算（选择零专家），同时保留原始模型内部的路由逻辑。

3. 主要贡献

后训练适配框架：ZEDA 是第一种通过零专家注入和自蒸馏有效将完全后训练的静态 MoE 模型转换为动态模型的方法，避免了对昂贵重新预训练的需求。
稳定的架构转换：引入组辅助损失通过调节零专家利用率而不破坏正常专家已学习的路由结构，从而稳定了转换过程。
效率与性能的权衡：该方法实现了计算量的显著减少（跳过 >50% 的专家），仅伴随微小的精度损失，性能优于现有的动态 MoE 基线和变体（例如，朴素专家截断）。
对激活动态的洞察：论文提供的分析表明，零专家激活与师生分布差距（logp-diff）及模型不确定性相关，而非整体任务难度。结构化片段（如代码或数学表达式）往往比自然文本具有更高的零专家激活比例（即更少的计算）。

4. 实验结果

实验在 Qwen3-30B-A3B 和 GLM-4.7-Flash 上进行，涵盖了 11 个基准测试，包括数学、代码和指令遵循。

性能：ZEDA 消除了超过 50% 的专家 FLOPs（在 Qwen 上实现 $r_{ZE} \approx 51.2\%$ $r_{Z E} \approx 51.2%$ ，在 GLM 上为 $53.0\%$ $53.0%$ ），同时保持了与原始静态模型相当的性能。
- 在 Qwen3-30B-A3B 上，ZEDA 在平均分数上比最强的动态基线（AdaMoE）高出 6.1 分。
- 在 GLM-4.7-Flash 上，它比基线高出 4.0 分。
- 与在困难推理或代码任务上性能崩溃的基线不同，ZEDA 在所有领域均保持了具有竞争力的性能。
效率：在 8 块 NVIDIA H200 GPU 上，该适配带来了约 1.20 倍 的端到端推理加速（预填充和解码阶段均提升约 20%）。
适配成本：整个适配过程在 Qwen 上耗时少于 31 小时，在 GLM 上为 62 小时，与预训练或完整后训练的成本相比微不足道。
泛化性：ZEDA 在 MMLU-Redux 和 GPQA-Diamond 上表现出强大的分布外（OOD）泛化能力，在保持高零专家利用率的同时保留了准确率。

5. 意义与主张

论文声称，ZEDA 提供了一种实用且具成本效益的解决方案，用于提升大规模 MoE 系统的部署效率。通过利用后训练模型的现有能力并使用自蒸馏学习动态路由，ZEDA 使“简单”token 能够绕过不必要的专家计算，同时不损害模型既定的知识或推理能力。

作者强调，这种方法避免了以往动态 MoE 方法所涉及的实质性架构修改和重新训练成本。结果表明，后训练的 MoE 模型可以成功迁移到高效的动态架构中，使高容量模型在推理成本为主要约束的实际服务场景中更具可行性。该工作强调，动态计算分配与模型内部的不确定性以及师生分布之间的对齐程度内在相关，而不仅仅是外部任务难度。