💬 NLP

Less is MoE: Trimming Experts in Domain-Specialist Language Models

本文介绍了 Fisher-MoE，这是一种通过利用 Fisher 重要性来识别并移除 FFN 层中任务关键型中间维度的压缩方法，从而在保持混合专家模型在通用基准测试上性能的同时，实现显著的内存和吞吐量增益。

原作者： Haoze He, Xinkai Zou, Xuan Jiang, Xingyuan Ding, Ao Qu, Juncheng Billy Li, Heather Miller

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Haoze He, Xinkai Zou, Xuan Jiang, Xingyuan Ding, Ao Qu, Juncheng Billy Li, Heather Miller

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个庞大且功能强大的语言模型就像是一个巨大的厨房，旨在烹饪任何种类的料理，从简单的吐司到复杂的五道菜盛宴。

问题：一个装不进你家的厨房

这个厨房（被称为混合专家模型或 MoE）之所以如此聪明，是因为它拥有数百名专业的厨师（被称为“专家”）。当你提出问题时，一位聪明的经理（“路由”）会挑选出最适合处理你特定任务的几位厨师来工作。

然而，这个厨房太大了。它占据了太多的空间（内存），并且需要如此多的厨师处于待命状态，以至于无法装进普通的家庭（标准的计算机或手机）。你需要缩小这个厨房，但又不能失去烹饪好菜的能力。

旧方法：直接开除整个厨师

以前尝试缩小这个厨房的方法就像是开除整个厨师。

如果一位厨师不常烹饪，或者他的围裙很小，经理们就会开除他们。
结果： 这是一场灾难。尽管你留下了那些“最优秀”的厨师，但你却不小心开除了那个掌握着制作完美数学题秘诀的人。突然之间，厨房虽然还能讲笑话（知识），却再也无法进行基础算术了。整个系统崩溃了。

新发现：问题不在于厨师，而在于刀具

该论文的作者发现了一个令人惊讶的事实：问题不在于保留哪些厨师，而在于他们使用哪些特定的工具。

在每一位厨师的工作站内部，都有成千上万件微小的工具（被称为中间维度）。

大多数工具只是静静地躺在那里，落满了灰尘。
但有极少数特定的工具是绝对关键的。例如，一把特定的“小刀”可能是让厨房能够解决数学问题的唯一工具，而另一把“勺子”对于编写代码至关重要。

旧的方法就像是因为同一个厨师用了一把“落灰的勺子”，就扔掉了整个厨师的工作站，却没意识到同一个厨师还握着那把“关键的数学刀”。

解决方案：“Fisher-MoE”（精密手术刀）

作者提出了一种名为 Fisher-MoE 的新方法。他们不通过开除厨师，而是使用一种特殊的扫描仪（称为 Fisher 重要性）来检查厨房里的每一件工具。

扫描仪： 它测量如果移除某个特定工具，厨房的性能会下降多少。
- 类比： 想象测试厨房里的每一把刀。如果你移走“刀 A”，厨房仍能做吐司。但如果你移走“刀 B”，厨房就无法切西红柿了。扫描仪会将“刀 B”识别为关键工具。
修剪： 他们并不开除任何人。相反，他们物理性地缩小了工作站。他们移除了“落灰的勺子”和“未使用的铲子”（低分工具），但保留了“关键的刀具”（高分工具）。
结果： 他们可以将厨房缩小 50%（移除一半的工具），而厨房依然几乎完美地运作。
- 它仍能解决难题。
- 它仍能编写代码。
- 它仍能回答常识问题。
- 加分项： 因为厨房变小了，它的烹饪速度更快（快了 21%），并且占用的空间更小（减少了 45% 的内存）。

为什么这很重要

精准胜过粗放： 旧的方法是重锤（开除整个人）；这种新方法是手术刀（只移除工具中无用的部分）。
“数学”之谜： 他们发现，如果仅仅移除 12 件特定的工具，即使在 135 万件工具中，厨房也会立刻忘记如何做数学，尽管它还记得其他所有事情。这证明了复杂的技能隐藏在模型极其微小且特定的角落里，而不是均匀分布的。
兼容性： 这种缩小方法可以完美地与其他节省空间的技术（如“量化”）结合使用，这意味着你可以进一步缩小模型而不至于使其损坏。

简而言之

论文的核心观点是：不要开除专家；只需修剪他们的工具箱。 通过使用智能扫描仪来识别并移除专家内部所有无用的“工具”，我们可以让这些庞大的 AI 模型体积减半、速度翻倍，且依然保持原有的智慧水平。

技术摘要：Less is MoE：领域专家语言模型的专家裁剪

问题陈述

混合专家（Mixture-of-Experts, MoE）模型已成为在保持高效推理的同时扩展语言模型容量的主流范式。然而，其庞大的总参数量在部署方面面临着内存、存储和推理成本的显著障碍。

以往压缩 MoE 模型的方法通常在专家层面（expert level）进行操作，即根据激活频率、路由分数或权重大小等启发式重要性指标来移除或合并整个专家。作者观察到，当在通用基准测试（如数学推理、代码生成和复杂推理任务）上进行评估时，这些方法会出现灾难性的性能崩溃。论文假设这种失败源于两个因素：

不准确的重要性指标： 现有的启发式方法无法正确估计参数的重要性。
粒度过粗： 在专家层面进行压缩假设能力是局部化在特定专家中的。然而，论文指出，实际情况是能力分布在各个专家中，但集中在前馈网络（FFN）内极小部分的中间维度（intermediate dimensions）中。移除整个专家会同时丢弃冗余维度和关键维度。

方法论

1. 重要性归因：经验费雪信息（Empirical Fisher Information）

作者提出使用经验费雪信息作为一种更优的参数排名指标。与激活率、路由分数或权重大小不同，费雪信息衡量了模型的预测分布对特定参数扰动的敏感程度。

推导： 该方法利用来自校准集的真实数据来近似费雪信息矩阵（ $F_\theta$ ）。对于一个具有权重 $W^{gate}_i, W^{up}_i, W^{down}_i$ 的 MoE 专家 $E_i$ ，为每个中间维度 $j$ 计算费雪得分。
粒度： 作者将这种评分扩展到了中间维度层面（ $W^{gate}/W^{up}$ 的行以及 $W^{down}$ 的列），而非整个专家或路由层面。
验证： 经验证据表明，费雪信息的重要性评估优于所有基线方法。至关重要的是，如果将由费雪得分识别出的约 135 万个中间维度中的仅 12 个维度设为零，会导致数学推理性能（GSM8K/MATH）几乎降至零，而事实性知识则基本得以保留。这证实了费雪信息成功识别出了极小规模的任务关键维度集。

2. 压缩策略：Fisher-MoE

基于归因分析，作者提出了 Fisher-MoE，这是一种在每个专家的 FFN 内部进行操作而非移除整个专家的细粒度压缩方法。

机制： 对于每个专家，中间维度按其费雪得分进行排序。最低得分的部分（例如 50%）通过调整权重矩阵（ $W^{gate}, W^{up}, W^{down}$ ）的大小来进行物理移除。
分配规则： 论文探索了三种预算分配策略：
- IntDim-E： 在每个专家内部保留前 $(1-p)$ 个维度。
- IntDim-L： 在一层内的所有专家中汇总维度，并在每层保留前 $(1-p)$ 个。
- IntDim-G： 在整个模型中汇总维度，并在全局保留前 $(1-p)$ 个。
保留： 该方法保留了模型的路由行为和每个 token 的活跃专家数量，但降低了活跃专家的内部维度（ $d_{ff}$ ）。

核心贡献

结构性洞察： 本文识别了 MoE 模型的一个结构特性，即能力并非局部化在专家层面，而是集中在分布于所有专家中的一小部分中间维度中。这解释了专家级压缩失效的原因。
费雪重要性作为归因工具： 作者将中间维度定义为可归因的单元，并证明经验费雪信息是区分关键维度与冗余维度的鲁棒工具，其表现优于基于激活、路由和幅值的指标。
Fisher-MoE 算法： 他们提出了一种基于费雪排序、通过物理调整 FFN 矩阵大小来实现的细粒度压缩方法。该方法可以在实现高压缩比的同时，避免出现专家级剪枝所导致的灾难性失败。

结果

作者在 Qwen1.5-MoE-A2.7B、OLMoE-1B-7B 以及更大的前沿模型（Qwen3-30B-A3B, Qwen3.5-35B-A3B）上，针对八个通用基准测试（知识、代码、推理、数学）对 Fisher-MoE 进行了评估。

性能保留： 在 50% 的 MoE 压缩率下（移除 50% 的路由 FFN 参数）：
- 专家级方法（即使使用了费雪得分）在 GSM8K、HumanEval 和 MATH 上都会出现灾难性的下降。
- Fisher-MoE (IntDim-E) 保留了下游性能，保留了专家级方法会丢失的数学和代码推理能力。在某些情况下（如 CEval, MultiArith），其表现甚至与未压缩的基座模型持平或略有超越。
- 扩展性： 这种优势在更大规模的模型（30B+ 参数）和长思维链（CoT）推理任务中依然成立。
训练后恢复： 在经过领域数据监督微调（SFT）后，Fisher-MoE 能将性能恢复到与“未压缩基座 + SFT”上限相竞争的水平，而专家级方法仍处于显著退化状态。
部署效率：
- 内存： 减少了约 45% 的权重显存占用。
- 吞吐量： 在 H100 GPU 上提升了 21% 的推理吞吐量（1.21 倍加速）。
- KV Cache： 释放的显存使 KV Cache 预算增加了 33.7%，从而提高了请求容量。
兼容性： Fisher-MoE 能与 4-bit 量化（AWQ）有效结合，在不放大量化敏感性的情况下，将部署占用进一步降低至原始大小的约 1/8。
泛化性： 使用数学校准费雪得分（GSM8K）压缩的模型在领域外任务（知识、代码、推理）上保持了强劲的表现，表明该方法不会过度特化到校准领域。

意义与主张

论文声称中间维度粒度是 MoE 模型中进行压缩和能力分析的有效单元。该工作的意义在于：

重新定义压缩粒度： 它挑战了普遍认为 MoE 压缩必须在专家层面进行的假设，证明了在专家内部进行细粒度裁剪对于保留复杂推理能力是必要的。
卓越的归因能力： 它确立了经验费雪信息作为理解 MoE 模型内部能力分布的关键工具，揭示了关键参数是稀疏且分布式的。
实际部署： 它提供了一条在不牺牲数学和代码生成等高要求任务所需性能的前提下，以显著降低内存和延迟需求来部署大规模 MoE 模型的实用路径。

作者也谦虚地指出了局限性，具体包括：由于计算限制，他们未探索 100B+ 参数规模的骨干网络；此外，也未在多样化的语料库上进行广泛的训练后恢复研究，以充分刻画与未压缩模型之间的残差差距。这些被确定为未来的研究方向。