🤖 machine learning

SHAPE: Coalition-Aware Expert Pruning for Sparse Mixture-of-Experts LLMs

SHAPE 是一个针对稀疏混合专家（MoE）大语言模型的任务驱动型专家剪枝框架，它将层内专家协作建模为一个合作博弈，通过类 Shapley 归因来识别并保留本质的协作子集，从而在不进行额外训练的情况下，在保持准确性的同时降低内存占用。

原作者： Yuhao Zhang

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Yuhao Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个规模宏大、动力强劲的厨房（即大型语言模型），旨在烹饪出复杂的答案。这个厨房并没有由一位全能的大厨包揽一切，而是使用了一种**混合专家（Mixture-of-Experts, MoE）**系统。你可以把它想象成一个拥有 100 名专业“副厨”（即“专家”）的团队。

当顾客下单一份菜品（即提示词/Prompt）时，一名领班（即“路由/Router”）会查看订单，并挑选出最合适的 3 位厨师共同协作。这种机制的神奇之处在于，厨房并不需要同时让 100 位厨师都处于工作状态；在任何特定时刻，它只使用所需的 3 位特定厨师。这使得厨房运行得非常快速且高效。

问题所在：“内存墙” (The Memory Wall)
尽管每一秒钟只有 3 位厨师在烹饪，但厨房老板必须让所有 100 位厨师都站在房间里，穿着整齐并随时待命。为什么？因为下一份订单随时可能需要其中的任何一位。

问题： 如果你有一个 100 人的厨房，你就需要一个巨大且昂贵的空间（GPU 显存）来容纳所有人。这使得在更小、更便宜的空间（如单台笔记本电脑或小型服务器）中运行这些强大的厨房变得几乎不可能。
旧有的解决方法： 此前的尝试就像是一个经理说：“把这周干活不多的厨师们都开除了吧。”这种做法是有缺陷的，因为一位厨师可能并不经常出场，但当他与特定的搭档配合时，他们能创造出杰作。开除他们会破坏这种特殊的团队协作。

解决方案：SHAPE（团队协作侦探）
论文介绍了一种名为 SHAPE 的新方法，它能在不破坏食物品质的前提下缩小厨房规模。SHAPE 不仅仅是统计一个厨师被召唤了多少次，它还在观察他们是如何协同工作的。

以下是 SHisa 如何运作的，我们用一个简单的类比来说明：

“游戏”观察： SHAPE 会在厨房观察一段时间（使用一小组“校准集”订单）。它不仅观察谁被召唤，还观察哪 3 位厨师组成的组合被频繁召唤，以及这些组合取得成功的频率如何。
“沙普利”得分（公平性）： 假设一组 3 人的厨师团队做出了一道完美的菜肴。那么每位厨师该获得多少功劳呢？
- 如果厨师 A 很擅长单打独斗，但厨师 B 没有厨师 C 的配合就毫无用处，那么简单的计数法可能会忽略这一点。
- SHAPE 使用了一个数学概念——沙普利值（Shapley Value）（可以把它看作一个“公平性计算器”）。它会追问：“如果从这个三人组中移除厨师 A，这道菜会崩盘吗？”
- 如果菜品崩盘了，说明厨师 A 对这个团队而言是不可或缺的，即使他并不是那位名气最大的厨师。
- 如果没有厨师 A，菜品的味道依然如初，那么厨师 A 就是多余的，可以被解雇。
“质量覆盖”规则： SHAPE 不仅仅是根据单一得分直接开除排名后 20% 的厨师。它确保厨房的每一层（模型的每一层）都保留足够的厨师，以覆盖最重要的团队协作组合。它使用一种“二分法”（一种聪明的猜谜游戏）来找到保留多少厨师的最佳数量，从而使厨房保持精简，同时仍能完美地完成 99% 的原有菜品。

实验结果
研究人员在三个不同的现代“厨房”（Qwen、GPT-OSS 和 DeepSeek）上测试了该方法。

结果： 他们成功地开除了 20% 到 40% 的厨师（显著减少了所需的显存），而食物的味道没有任何下降。
为何奏效： 通过保留那些对“团队协作”至关重要的厨师，而不是仅仅保留那些“忙碌”的厨师，厨房保持了稳定性。
额外收益： 由于开除了这么多厨师，运行该厨房所需的空间（GPU 显存）变得小得多，这使得在更便宜的硬件上运行这些强大的模型成为可能。

总结
SHAPE 就像一位聪明的经理，他意识到开除那位虽然沉默寡言、却是获胜团队中“秘密粘合剂”的厨师是不明智的。相反，他开除的是那些容易被替代的“高调”厨师。这缩减了团队规模和办公空间的需求，同时保持了工作质量完全不变。

技术摘要：SHAPE —— 面向稀疏混合专家（MoE）大语言模型的联盟感知专家剪枝技术

1. 问题陈述

稀疏混合专家（SMoE）架构已成为将大语言模型（LLM）扩展至数百亿或数万亿参数规模的关键，同时保持亚线性训练成本和较低的单 Token 推理延迟。然而，这些大规模模型的部署面临着严峻的“内存墙”问题。尽管条件计算确保了每个 Token 仅激活一小部分专家，但为了支持动态的、依赖于 Token 的路由决策，整个专家池必须驻留在 GPU 显存中。这一要求造成了极高的显存占用（例如 DeepSeek-V3.2 等模型的显存需求可达数 TB），限制了它们在资源受限环境中的可用性。

现有的压缩策略（如专家剪枝）旨在通过移除冗余专家来减少参数足迹。然而，目前的剪枝方法存在一个根本性的建模缺陷：它们主要采用专家视角，基于激活频率或门控幅度独立地对专家进行评分。这种方法忽略了 MoE 推理本质上的联盟属性（coalitional nature），即模型输出是由特定的前 $k$ 个专家组成的非线性组合生成的。因此，独立的评分机制存在拆解高价值专家协作关系的风险，即使某些专家在孤立状态下看似冗余，也会导致复杂任务性能的过度下降。

范例方法：SHAPE 框架

作者提出了 SHAPE（Shapley 引导的联盟感知专家剪枝），这是一个显式建模层内专家协作的任务驱动型框架。SHAPE 在无需重新训练的情况下运行，依靠一小组校准集来指导剪枝决策。该方法由三个核心组件组成：

A. 任务驱动的校准与路由追踪

SHAPE 在一个小型的任务特定校准数据集（ $D_{cal}$ ）上对未剪枝的模型进行离线处理。它记录了所有 MoE 层中每个 Token 的路由决策（前 $k$ 个专家的选择）。这产生了一组观测到的专家组合（联盟）及其激活频率，这些统计数据表征了任务相关的专家协作特征。

B. 基于联盟的效用与 Shapley 式估值

SHAPE 不再将专家视为独立的单元，而是将推理过程建模为一个经验性的合作博弈。

效用定义： 一个联盟（特定的 $k$ 个专家集合）的效用由其在校准集上的观测激活频率定义。
边际贡献： 为了确定专家的价值，SHAPE 估计了其对联盟效用的边际贡献。由于从前 $k$ 个专家联盟中移除一个专家会产生一个在前 $k$ 路由下无法直接观测到的 $(k-1)$ 子集，SHAPE 利用共现统计量来近似这些子联盟的效用。
Shapley 式近似： 框架为每个专家计算一个 Shapley 式得分（ $\phi$ ）。该得分通过对专家参与的所有联盟进行加权平均，计算其在各联盟中的边际贡献。
单调性修正： 为了确保近似过程符合合作博弈的单调性要求（即联盟的效用不应低于其子联盟），SHAPE 引入了一个基于观测频率推导出的保守缩放因子（ $\alpha$ ）。这防止了高估专家的可替代性。

C. Shapley 质量覆盖选择

为了确定保留哪些专家，SHAPE 采用了质量覆盖选择规则，而非简单的基于计数的阈值。

层级覆盖： 对于每一层，框架根据非负的 Shapley 得分对专家进行排序。它选择最小的专家子集，使得这些专家的累积 Shapley 质量能够覆盖总层贡献的一个比例 $\alpha$ 。
全局预算匹配： 使用二分查找法来寻找最优的覆盖阈值 $\alpha$ ，以满足全局目标保留率（例如保留 60% 或 80% 的专家）。
结构保护： 这种方法确保了价值高度集中的层保留较少的专家，而贡献分散的层则保留较多专家，从而防止了因剪枝不成比例地影响特定层而导致的“层崩溃（layer collapse）”。

3. 核心贡献

联盟式专家估值： 本文将 MoE 剪枝从独立的重要性估计重新定义为联盟感知的贡献建模。它引入了一种使用 Shapley 值的方法，在受路由联盟约束的情况下归因专家贡献，从而区分了频繁被选中的专家与那些对于高价值协作至关重要的专家。
结构保护剪枝策略： SHAPE 提出了一种拓扑感知的选择机制，旨在保留层级的协作能力。通过实施基于累积 Shapley 值的质量覆盖约束，它避免了全局排名或固定每层计数所导致的结构失衡。
实证验证： 大量实验表明，保持专家间的协作对于有效的压缩至关重要。该框架在实现显著剪枝（高达 40%）的同时，在推理密集型基准测试上几乎没有性能损失，表现优于启发式基准方法和最先进的免训练剪枝方法。

4. 实验结果

作者在三个现代 MoE 骨干网络上评估了 SHAPE：Qwen3-30B-A3B、GPT-OSS-20B 和 DeepSeek-V2-Lite。评估涵盖了多样化的基准测试，包括数学推理（GSM8K, MATH-500）、代码生成（HumanEval）、知识问答（GPQA-Diamond）和医学问答。

性能保持： 在 20% 剪枝率下，SHAPE 保持了与未剪枝基准模型相当甚至略高的性能。在 40% 剪枝率下，SHAPE 在推理密集型任务（其中专家协作至关重要）上持续优于基准方法（包括随机剪枝、基于频率、基于门控的剪枝，以及 RAEP 和 EASY-EP）。
鲁棒性： 虽然推理任务（如 GSM8K, GPQA-Diamond）对剪枝更为敏感，但 SHAPE 的联盟感知方法比专家级启发式方法更好地保留了准确性。较大的模型（Qwen3, GPT-OSS）表现出更强的韧性，但即便是在更紧凑的 DeepSeek-V2-Lite 上，SHAPE 依然有效。
显存效率： 剪枝直接降低了峰值 GPU 显存占用。研究强调，无论激活稀疏度如何，服务完整的专家池都会产生巨大的显存开销。SHAPE 实现了显存使用的显著降低（与剪枝率成正比），且无需额外的训练或架构修改。
消融实验： 与全局排名和层级独立剪枝的对比证实了质量覆盖约束的重要性。全局剪枝会导致结构失衡，而层级剪枝则无法考虑到任务特定的容量分布。SHAPE 的平衡方法在所有剪枝比例下均表现出最稳定的性能。

5. 重要性与主张

本文声称 SHAPE 解决了当前 MoE 压缩中的一个关键局限：未能考虑到专家推理的协作性质。通过将关注点从单个专家指标转向联盟效用，SHAPE 为在显存受限的环境中部署大规模 MoE 模型提供了一种鲁棒的、免训练的解决方案。

作者强调，其工作不需要重新训练或架构修改，使其成为一种实用的、面向部署的优化方案。结果表明，在现代 MoE 模型中，很大一部分专家池在孤立考虑时贡献有限，但其协作结构才是维持模型性能的关键。SHAPE 成功识别并保留了这些关键的协作结构，实现了模型容量与资源足迹之间的理想权衡。开源代码已提供，以促进该领域的进一步研究与应用。