💻 computer science

Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression

本文提出了一种针对混合专家（MoE）模型的结构化剪枝框架，该框架通过基于归因的近似方法来最大化通道得分覆盖率，以实现细粒度的冗余消除，在显著降低内存占用 footprint 的同时，在高压缩比下保持精度。

原作者： Yifu Ding, Jiacheng Wang, Ge Yang, Yongcheng Jing, Jinyang Guo, Xianglong Liu, Dacheng Tao

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Yifu Ding, Jiacheng Wang, Ge Yang, Yongcheng Jing, Jinyang Guo, Xianglong Liu, Dacheng Tao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression》（用于结构化 MoE 压缩的归因引导与覆盖最大化剪枝）的解释，已将其翻译为中文。

大局观：“厨师太多了”的问题

想象一家规模宏大、高端的餐厅（即 混合专家模型 或 MoE AI 模型）。这家厨房并没有让一个超级大厨去烹饪每一道菜，而是拥有数百名专业分工的厨师（称为 专家/Experts）。对于每一份订单（即文本中的一个 token），领班（路由/Router）只会挑选几位厨师来制作这道特定的菜肴。

这种系统非常聪明，因为它很高效：你只为你使用的厨师买单。然而，这家餐厅仍然规模庞大、运行成本高昂，并且占用大量空间（内存），因为即使同时只有少数人在工作，它也雇佣了数百名厨师。

这篇论文的目标是缩小厨房的规模，且不破坏食物的品质。他们希望通过解雇一些厨师或缩小他们的工作台来节省空间和资金，但必须确保餐厅依然能提供五星级的美味佳肴。

旧方法的缺陷：“粗糙的砍刀”

以往尝试缩小这些模型的方法，就像是在使用一把粗糙的大砍刀，而不是手术刀。

旧方法： 他们会观察整个厨师，然后决定：“这个厨师很重要，留下他，”或者“这个厨师很少被调用，开除他。”
缺陷： 这太武断了。即使是一个“重要”的厨师，其工作间内也可能存在大量的浪费空间。也许这位厨师有 100 个案板，但实际上只用到了其中的 20 个。剩下的 80 个只是在吃灰。
结果： 旧方法要么保留了整个厨师（浪费了那 80 个没用的案板），要么直接开除了整个厨师（导致那 20 个有用的案板也丢了）。它们无法看到每个专家工作空间内部的冗余性。

新方案：三步走的“智能改造计划”

作者提出了一个全新的框架，扮演着精密建筑师的角色。他们不仅看谁重要，还看每个专家内部哪里有价值。

第一步：“归因”侦探（寻找真正的价值）

首先，他们需要知道模型的哪些部分真正发挥了作用。

隐喻： 想象你要弄清楚在一道复杂的酱汁中，究竟哪些食材才真正成就了美味。你不能仅仅根据谁买了这些食材（路由统计数据）或它们的重量（原始数据）来猜测。
创新点： 他们使用了一种被称为**归因引导损失近似（Attribution-Guided Loss Approximation）**的巧妙数学技巧。与其通过逐一移除每种成分来测试（这太慢了），他们使用一种“草稿纸上的计算”来瞬间估算出每个部分对最终口感的贡献度。
优势： 这比以往的方法快了 20 倍。这就像拥有一个超快速的试吃员，无需实际烹饪整道菜就能猜出某种食材的影响力。

第二步：“覆盖”地图（最大化精华部分）

一旦知道了哪些部分有价值，他们就需要决定保留多少空间。

隐喻： 想象你有一桶沙子。有些颗粒是黄金，有些是泥土。你想留下黄金，扔掉泥土。
旧方法： “保留 50% 的沙子。”这可能会不小心留下了很多泥土，却扔掉了部分黄金。
新方法（覆盖最大化）： “保留足够的沙子，以覆盖 90% 的黄金。”
运作方式： 他们发现，在这些模型中，“黄金”（重要信息）高度集中在极少数的通道（channels）中（就像那顶尖的 20 个案板）。因此，他们精确计算需要保留多少通道才能捕捉到几乎所有的价值。他们一旦“覆盖”了重要信息就会停止切割，即使这意味着某些专家要保留较多通道，而另一些则保留较少。

第三步：“对齐”铺砖工（拼凑拼图碎片）

最后，他们得到了一份关于保留多少通道的清单，但问题在于：计算机芯片是很挑剔的。它们喜欢是 64 或 128 倍数的数字（就像完美地填满网格）。如果你有 125 个通道，计算机会浪费空间进行填充，或者导致运行缓慢。

隐喻： 你有一堆大小不一的砖块。你需要建造一面墙，其中每一段必须正好是 128 块砖宽。
创新点： 他们使用了一种公平的重新分配方法（称为汉密尔顿最大余数法/Hamilton's Largest Remainder）来重新分配多余的“剩余”空间。如果一个专家缺 3 块砖，而另一个缺 60 块，他们会将多余的空间给到最需要的那一个，使其尽可能接近完美的 128 块砖的标准。
优势： 这确保了缩减后的模型能完美适配计算机硬件，使其能够高速运行并使用低比特（压缩）存储，而不会降低速度。

结果：更小、更快、同样聪明

他们在 Qwen 和 DeepSeek 等知名模型上进行了测试。

成果： 他们成功将模型缩小了 5 倍（5 倍压缩），同时保持了几乎完全相同的准确度。
证明： 在一个名为 Qwen3-30B 的模型上，他们将内存占用降低了 5.27 倍。即使在激进的剪枝（50% 剪枝）下，该模型在数学和推理测试（如 MATH500 基准测试）中依然获得了极高的分数（例如 94.5 分）。

总结

可以将这篇论文看作是一份终极的 AI 整理指南：

停止猜测该开除哪些完整的专家。
开始深入内部，寻找那些持有价值的“黄金通道”。
保留足够的量来覆盖黄金，并修剪掉其余部分。
重新组织剩余的部分，使它们完美契合计算机硬件。

其结果是一个体积微小、高效运行的 AI，它虽然能装进你的口袋，却拥有巨型模型般的思考能力。

技术摘要：基于归因引导与覆盖最大化的结构化 MoE 压缩

1. 问题陈述

混合专家模型（Mixture-of-Experts, MoE）通过为每个 token 仅激活一部分专家，实现了高参数容量与可控计算量的平衡。然而，由于巨大的内存占用和推理开销，部署这些模型仍然十分昂贵。虽然结构化剪枝是一个极具前景的解决方案，但现有方法面临显著局限：

粒度过粗： 先前的研究主要在专家层面进行操作，即移除整个专家或根据重要性对专家进行排序。这无法捕捉“高重要性”专家内部的冗余现象，因为信息往往集中在极少数通道中。
重要性估计不准确： 现有的专家重要性度量指标（如路由权重、token 使用率、原始激活值/梯度统计量）往往与专家对最终损失（loss）的实际贡献不一致。路由统计反映的是选择频率而非效用，而原始统计量存在层依赖偏差，使得跨层比较变得不可靠。
预算分配效率低下： 基于粗粒度专家排名的预算分配会导致在低贡献结构上浪费容量，并且在拥有数百个专家的大规模 MoE 模型中，无法优化压缩率与准确度之间的权衡。

2. 方法论

作者提出了一种专门为 MoE 量身定制的结构化剪枝框架，由三个核心组件组成：归因引导的损失近似（ALA）、覆盖最大化的预算分配（CBA）以及对齐感知重分配（AAR）。

2.1 归因引导的损失近似 (ALA)

为了解决专家级消融（其成本随专家数量线性增长）的高昂代价，作者利用一阶泰勒展开推导出了一个高效的专家重要性代理指标。

推导： 移除专家 $e$ 引起的损失变化可近似为 $\Delta L^{(e)} \approx -(\frac{\partial L}{\partial z_{\ell,e}})^\top z_{\ell,e}$ ，其中 $z_{\ell,e}$ 是专家输出， $\frac{\partial L}{\partial z_{\ell,e}}$ 是对该输出的梯度。
效率： 这使得通过单次反向传播即可估计一层内所有专家的重要性，与详尽的消融实验相比，将校准时间缩短了 14–26 倍。

2.2 覆盖最大化的预算分配 (CBA)

受 MoE 专家中的信息高度集中在极少数通道这一观察结果的启发，作者重新定义了剪枝目标。与其为每个专家分配固定的剪枝比例，其目标是在全局预算下最大化累积通道得分覆盖率。

机制： 每个专家内部的通道按其得分（源自 ALA）进行排序。该算法为每个专家搜索一个目标覆盖率 $\rho$ ，使得保留的通道总数符合全局剪枝预算，同时实现保留通道得分之和的最大化。
收益： 这种方法优先保留高贡献通道并积极剪除低分尾部，避免了统一比例或基于比例的方法在冗余结构上造成的容量浪费。

2.3 对齐感知重分配 (AAR)

为了确保与低比特量化和硬件高效内核（如 GEMM）的兼容性，通道维度必须是块大小 $a$ （例如 64 或 128）的倍数。

流程： 在 CBA 确定最优通道数后，AAR 执行向下对齐至最近的 $a$ 的倍数。通过这种舍入释放出的“剩余”通道将被重新分配给具有最大分数余数的专家（使用汉密尔顿最大余数法）。
目标： 这确保了剪枝后的模型既能满足内核约束，又不会显著偏离最优的基于覆盖率的分配方案，从而防止因填充（padding）或内存访问效率低下导致的性能下降。

3. 核心贡献

内部冗余的观察： 本文证明了 MoE 的信息高度集中在极少数通道中，这使得专家级的重要性指标对于有效的结构化压缩而言过于粗糙。
新颖的剪枝目标： 作者引入了通道得分覆盖率作为剪枝目标，通过重新构建容量分配方式，旨在预算限制下实现覆盖率最大化。这是首个明确针对得分覆盖率而非简单剪枝比例进行优化的工作。
高效框架： 他们提出了一个可扩展的框架，结合了：
- ALA： 一种基于归因的专家重要性估计近似方法，与基于消融的方法相比，减少了 20 倍的 GPU 工时。
- CBA： 一种基于二分查找的算法，用于分配能实现得分覆盖率最大化的预算。
- AAR： 一种满足低比特内核约束的重分配策略。
实证验证： 在 DeepSeek 和 Qwen MoE 架构上的广泛实验表明，该方法在通用知识任务上实现了超过 5 倍的压缩，且准确度损失微乎其微，并在推理基准测试中保持了强劲性能。

4. 实验结果

该框架在 DeepSeek-MoE-16B、DeepSeek-V2-Lite、Qwen1.5-MoE-A2.7B 和 Qwen3-30B-A3B 上进行了评估。

通用知识： 在 25% 剪枝率结合 4-bit 量化（ $P25\% Q4b$ ）的情况下，该方法实现了超过 5 倍的存储缩减。在 Qwen3-30B-A3B 上，内存占用从 61.06GB 降至 11.64GB（5.27倍），而在通用基准测试（如 MMLU, ARC）上的平均准确度下降不超过 1%。
推理任务： 在推理基准（GSM8K, MATH500）上，压缩后的模型表现持续接近或超越原始模型。例如，在 50% 剪枝下的 Qwen3-30B-A3B 在 MATH500 上的得分达到了 94.5（相比之下，基线为 92.8）。
效率： 该方法在不同基准测试中均优于最先进的基线方法（包括 Wanda, MoNE, EAC-MoE 和 PuzzleMoE）。它还在不同的路由策略（top-1 到 top-6）和校准语料库下展示了鲁棒的性能。
吞吐量： 对齐感知重分配显著提升了推理吞吐量。对于 Qwen3-30B-A3B，在 50% 稀疏度下，对齐后的维度（128）实现的吞吐量为 14.21 tokens/s，而未对齐维度的吞吐量仅为 10.23 tokens/s。

5. 重要性与主张

本文声称，通过解决专家级重要性与内部通道冗余之间的不匹配问题，为高效 MoE 部署提供了一条切实可行的路径。

可扩展性： 通过使用基于归因的近似代替详尽的消融实验，该方法可以扩展到拥有数百个专家的 MoE 模型，而在这种规模下，以往基于损失的方法在计算上是难以实现的。
细粒度优化： 从专家级剪枝向通道级覆盖率最大化的转变，实现了更精确的容量分配，在移除噪声的同时保留了关键信息。
硬件兼容性： 集成对齐感知重分配确保了压缩后的模型不仅体积更小，而且能够兼容低比特量化和高吞吐量推理内核，解决了实际部署中的关键瓶颈。

作者将这项工作定位为将 MoE 压缩从粗粒度的专家级决策转向细粒度的通道级优化的基础性一步，从而实现大规模 MoE 模型以显著降低的内存和计算需求进行部署。