💬 NLP

Pruning and Distilling Mixture-of-Experts into Dense Language Models

本文提出了一种新颖的框架，该框架通过对专家进行评分、选择和分组，随后进行知识蒸馏，将训练好的混合专家（MoE）模型转换为标准稠密架构，结果表明该方法在准确率和训练效率上均显著优于传统的稠密到稠密剪枝。

原作者： Junhyuck Kim, Jihun Yun, Haechan Kim, Gyeongman Kim, Joonghyun Bae, Jaewoong Cho

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Junhyuck Kim, Jihun Yun, Haechan Kim, Gyeongman Kim, Joonghyun Bae, Jaewoong Cho

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗易懂的语言和富有创意的类比，对论文《将混合专家模型剪枝并蒸馏为稠密语言模型》进行的解读。

核心难题：“全员上阵”的瓶颈

想象一家超高端的大型餐厅厨房（即MoE 模型），专为烹制极其复杂的菜肴而设计。这家厨房雇佣了128 位不同的专业厨师（专家）。然而，对于任何一道单点菜肴，主厨（路由器）只会叫其中 8 位来工作。其余 120 位厨师则闲站在一旁，等待轮到自己。

这种模式在烹饪速度和菜品多样性上表现极佳，但它存在一个巨大的问题：要开设这家厨房，你必须雇佣并支付所有 128 位厨师的工资。 即使你每次只使用 8 位，你也需要足够的空间（内存）和资金（算力）来维持所有 128 位员工的薪资。这使得你无法在一家小店（如手机或单台电脑）中开设这家餐厅的分店，因为根本没有足够的空间容纳所有员工。

目前的解决方案试图解雇部分厨师以缩小厨房规模，但你仍然需要将剩余的厨师安置在各自独立的专用工作站上。你依然需要将所有人载入建筑中。

解决方案：“主厨”转型

这篇论文的作者提出了一种激进的“新食谱”。他们不想仅仅解雇厨师，而是希望将最好的 8 位厨师融合成一位“超级主厨”，这位主厨能完成整个团队的工作，却不需要额外的空间。

他们将训练有素的 128 位专家团队，转化为一个标准的、稠密的厨房（稠密模型），使其能塞进小店，却依然能像大师一样烹饪。

实施方法：三步流程

论文概述了将"MoE 厨房”转变为“稠密厨房”的三步流程。

1. 评分：寻找“明星”厨师

首先，他们需要决定保留哪些厨师。他们不能仅仅挑选那些出勤率最高的厨师（频率），因为那些可能是“通才”，虽然样样都行，但样样都不精。

旧方法： 挑选被叫得最多的厨师。（就像挑选最受欢迎的员工）。
新方法（多样性感知评分）： 作者发明了一个名为DO-ACP的新指标。想象你在挑选一支运动队。你不是挑选那 8 位上场次数最多的球员，而是挑选那 8 位技能最多样且在特定技能上最出色的球员。
- 如果厨师 A 擅长烘焙，厨师 B 擅长烧烤，你希望两人都留下。
- 如果厨师 C 和厨师 D 都擅长烧烤，你只需要其中一位。
- 新方法通过数学计算确保选出的厨师能覆盖最广泛的“风味”（知识），且无冗余。

2. 分组与融合：打造超级主厨

一旦他们选出了前 8 位厨师（或者为了保险起见多选几位），就需要将他们合并。

纯剪枝（获胜者）： 在大多数情况下，最佳结果来自于直接将前 8 位厨师复制到新厨房中，而不混合他们的食谱。事实证明，让 8 位 distinct（独特）且高质量的专家并肩工作，比试图将他们的食谱混合成一种平均食谱要好得多。
融合： 如果他们必须挑选超过 8 位，他们就会根据厨师的擅长程度，将相似厨师的食谱加权混合。

3. 知识蒸馏：“味觉测试”训练

现在，他们拥有了一个拥有 8 位厨师的新厨房（学生），但它还不够完美。这就像一家新餐厅，虽然有了正确的人员配置，但还没学会家族秘方。

他们让新厨房与原始的 128 位厨师厨房（教师）并肩工作。

教师做一道菜。
学生尝试做完全相同的菜。
教师纠正学生：“不，你盐放多了，”或者“你漏掉了那种微妙的香料。”
学生从这些纠正中学习。这个过程被称为知识蒸馏。

结果：为何这很重要

作者在多个大型 AI 模型（如 Qwen3、DeepSeek 和 GPT-OSS）上测试了这种方法。以下是他们的发现：

挑选正确的厨师至关重要： 评分厨师的方法比他们如何分组更重要。他们新的“多样性感知”评分法明显胜出，大幅超越了所有以往的方法。
不要混合，只需挑选： 令人惊讶的是，最佳策略是恰好挑选 8 位厨师，并且完全不进行混合。仅仅让 8 位最优秀、最多样化的专家协同工作，比将他们平均化要好得多。
超越竞争对手： 他们将这种"MoE 转稠密”的方法与制作小模型的传统方法（即缩小一个大的稠密模型）进行了对比。
- 结果： 他们的新方法生成的学生模型在平均任务上的准确率高出 6.3%。
- 速度： 由于原始“教师”厨房在训练过程中运行效率更高，其训练速度也快了1.6 倍。

核心结论

可以将这篇论文视为一份蓝图，用于将庞大的企业总部缩减为小型、高效的初创公司办公室，同时不损失任何公司的脑力。

他们不是简单地解雇人员以节省租金，而是精心挑选了最多样化、最有才华的 8 位员工，为他们提供一个新的、紧凑的办公室，并让他们从原始的大团队那里学习公司的秘密。结果如何？一个小型办公室的表现与大型办公室一样出色，却只需占据小得多的空间。

关键要点： 你不需要保留整个庞大的团队来获得成果；你只需要挑选正确的 8 位，保持他们的独特性，并好好教导他们。

技术摘要：将混合专家模型剪枝与蒸馏为稠密语言模型

问题陈述

混合专家（MoE）架构因其能够在保持训练和推理效率的同时扩展总参数量，已成为前沿大语言模型（LLM）的主导范式。然而，一个根本性的限制依然存在：尽管每个 token 仅激活一小部分参数，MoE 模型仍需将所有专家参数加载到内存中。这种内存占用使其不适合内存受限的部署场景，例如设备端推理或单 GPU 服务。

当前的解决方案包括发布从头训练的小型稠密模型，或通过级联剪枝大型稠密教师模型获得。这些方法计算成本高昂，且未能利用已训练好的 MoE 模型中已有的丰富能力。现有的 MoE 压缩方法（如 MC-SMoE、HC-SMoE）虽然减少了专家数量，但保留了稀疏的 MoE 结构，从而维持了内存效率低下的问题。目前缺乏将已训练的 MoE 模型转换为标准、完全稠密架构的系统性框架。

方法论

作者提出了首个系统性框架，通过三阶段流程将已训练的 MoE 语言模型转换为完全稠密架构：专家评分与选择、分组与拼接，以及知识蒸馏。

1. 专家评分与选择

该方法的核心是对层中的所有 $E$ 个专家进行评分，以选择大小为 $K$ 的子集（ $K \ge k$ ，其中 $k$ 是每个 token 激活的专家数量）。论文评估了七种评分方法：

基于频率的方法： 选择频率（SF）、预选择概率（PP）、后选择概率（PS）。这些方法倾向于选择通用型专家。
条件概率（CP）： 关注路由置信度，倾向于选择专家型专家。
激活加权 CP（ACP）： 结合路由置信度与输出幅度。
D-最优选择（DO）： 一种新颖的准则，联合最大化专家重要性与相互多样性。它选择一个子集 $S$ 以最大化重要性加权 Gram 矩阵的对数行列式：
$S^* = \arg \max_{|S|=K} \log \det(\mathcal{K}_S + \lambda_{reg} I)$
其中 $\mathcal{K}_{ij} = \sqrt{I_i I_j} \cdot \mathbb{E}_t[\langle f_i(t), f_j(t) \rangle]$ 。该问题通过贪心算法求解。作者提出 DO-ACP（基于 ACP 分数的 D-最优选择）作为最优策略。

2. 分组与拼接

选定的专家被分配到 $k$ 个组中。

纯剪枝（ $K=k$ ）： 每个组恰好包含一个专家；不进行权重平均。
合并（ $K>k$ ）： 组内的专家通过其参数的分数加权平均进行合并。
生成的 $k$ 个组被拼接成一个单一的稠密前馈网络（FFN），其中间维度为 $d_{dense} = k \times d_{expert}$ 。下投影矩阵通过因子 $\alpha_g$ （均匀或成比例）进行缩放，以近似原始 MoE 的平均路由行为。

3. 知识蒸馏

初始化的稠密模型通过来自 MoE 教师的知识蒸馏进行优化。目标是最小化教师与学生输出分布之间的前向 KL 散度。作者还探索了在蒸馏过程中扩展教师的路由（激活 $k' > k$ 个专家），使学生能够接触到未被选中专家的知识。

主要贡献

首个 MoE 转稠密框架： 本文介绍了首个将已训练 MoE 转换为完全稠密架构的端到端系统，超越了仅生成更小的稀疏 MoE 模型的局限。
感知多样性的专家选择： 作者引入了一种 D-最优选择准则（DO-ACP），最大化重要性加权 Gram 矩阵的对数行列式。该方法明确惩罚冗余，选择既重要又多样的专家。
全面评估： 该研究在 Qwen3-30B-A3B 上评估了 350 种配置（7 种评分 $\times$ 5 种分组 $\times$ 2 种缩放 $\times$ 5 个 $K$ 值），并在 DeepSeek-V2-Lite 和 GPT-OSS-20B 上验证了发现。

结果

在 Qwen3-30B-A3B 上的性能

评分的主导地位： 评分方法的选择是最具影响力的因素，最佳与最差方法之间的下游平均准确率差距达 5.7 个百分点（pp）。分组策略仅贡献约 1 pp。
DO-ACP 的优越性： DO-ACP 方法在所有其他配置中 consistently 表现最佳。在 $K=8$ （纯剪枝）时，其在下游基准测试（Winogrande, HellaSwag, ARC-E/C, MMLU）上实现了 43.41% 的平均准确率。
纯剪枝与合并的对比： 对于感知多样性的评分方法（DO-ACP, ACP），纯剪枝（ $K=k$ ）优于合并（ $K>k$ ）。基于频率的方法（SF）受益于合并，但 DO-ACP 选出的专家个体足够强大，足以独立存在。
与基线的比较：
- 对比 MoE 压缩： 优于复用的 MoE 压缩指标（如 MC-SMoE, HC-SMoE）5.9–7.1 pp。
- 对比稠密到稠密（D2D）剪枝： 在与参数量匹配的稠密教师（Qwen3-32B $\to$ 3.4B 学生）进行的受控比较中，MoE 转稠密（DO-ACP）在约 40 亿 token 的蒸馏后，比 D2D 剪枝高出 +6.3 pp（58.10% 对比 51.84%）。
- 对比随机初始化： 优于随机 FFN 初始化 12.7 pp，证明专家结构提供了强大的初始化基础。

扩展训练与跨模型验证

扩展性： 随着训练扩展（约 40 亿 token），DO-ACP 的性能优势持续存在并扩大。
泛化性： 发现可泛化至 DeepSeek-V2-Lite（64 个专家）和 GPT-OSS-20B（32 个专家）。虽然随着专家池规模减小，评分方法之间的绝对差距缩小，但 DO-ACP 仍保持最佳表现。
效率： MoE 转稠密蒸馏的墙钟时间比 D2D 剪枝快 1.6 倍，因为在蒸馏阶段 MoE 教师每个 token 激活的参数更少。

定性分析

对 MMLU 思维链任务的错误分析显示，与 D2D 和基于频率的方法相比，DO-ACP 模型的灾难性失败（不连贯、重复循环）和知识错误率最低。感知多样性的选择似乎能更有效地保留事实和文化知识，特别是在人文和社会科学领域。

意义与主张

本文声称提供了一种简单有效的方案，用于在内存受限环境中部署 MoE 能力：使用 DO-ACP 进行评分，每层保留恰好前 $k$ 个专家（纯剪枝），并使用前向 KL 进行蒸馏。

作者强调，这种方法将 MoE 的“内存低效”转化为“稠密高效”，同时不牺牲源自 MoE 专业化专家结构的性能提升。他们断言，MoE 模型为蒸馏提供了比参数量匹配的稠密教师更强的起点，挑战了从头训练稠密模型或剪枝稠密教师的必要性。该工作确立了专家多样性（而不仅仅是频率或幅度）是将 MoE 模型压缩为稠密架构的关键因素。