🤖 AI

ConMoE: Expert-Pool Consolidation via Prototype Reassignment for MoE Compression

ConMoE 是一种无需训练的压缩混合专家（MoE）模型框架，它通过选择一组更小的原型专家来整合专家池，并将原始专家调用确定性重映射至这些原型专家，从而在无需权重更新或压缩后微调的情况下降低内存成本。

原作者： Yilun Yao, Jiaming Pan, Elsie Dai, Peizhuang Cong, Yaoming Li, Tong Yang

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Yilun Yao, Jiaming Pan, Elsie Dai, Peizhuang Cong, Yaoming Li, Tong Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一家规模宏大、设备高端的餐厅厨房。这个厨房采用了一种**混合专家（Mixture-of-Experts, MoE）**系统。并非每位厨师都制作每道菜，而是拥有数百位专门的“专家”（厨师）。当订单进来时，一位“路由器”（领班）会迅速查看菜品，并仅呼叫最擅长该特定任务的前 2 到 3 位厨师。

问题所在：
尽管每道菜只有少数几位厨师制作，但餐厅仍必须为大楼内所有数百位厨师支付租金、存放制服并维护设备。随着餐厅规模扩大（AI 模型变大），这种存储成本变得巨大，导致运行既昂贵又缓慢，即使这些厨师并非同时在工作。

旧有的解决方案：
以往的方法试图通过两种方式缩小这个厨房：

剪枝（Pruning）： 解雇那些看起来最不忙的厨师。
合并（Merging）： 将两位厨师的食谱混合，创造出一位具有全新融合风格的“超级厨师”。

新方案：ConMoE
这篇论文介绍了ConMoE，它采取了一种不同的方法。ConMoE 并不解雇厨师或混合他们的食谱，而是提出：“让我们保留一支由我们最优秀原始厨师组成的、经过精心挑选的小团队，并简单地告诉领班将订单发送给他们即可。”

以下是其工作原理，使用日常类比进行说明：

1. “原型”团队（明星厨师）

ConMoE 审视所有原始厨师，挑选出一小部分作为**“原型”**。这些是保留在职的、未经修改的原始厨师。

选择方式： 系统检查两点：
- 贡献度： 谁被呼叫得最频繁且工作表现最佳？
- 可替代性： 谁具有独特性？如果我们失去厨师 A，是否还有其他人能完全做他做的事？如果厨师 A 是独特的，他就留下。如果厨师 B 与厨师 C 非常相似，厨师 B 可能会被解雇。

2. “重映射”（新菜单）

一旦选定了较小的“原型”厨师团队，ConMoE 就会创建一个确定性映射（严格的规则手册）。

如果原始领班想呼叫"42 号厨师”，规则手册会说：“实际上，将那个订单发送给 5 号原型厨师。”
如果领班想呼叫"99 号厨师”，规则手册会说：“也将那个订单发送给 5 号原型厨师。”
关键在于： 厨师们本身没有改变。他们没有学习新食谱，也没有融合风格。他们只是被重复使用。“路由器”（领班）无需重新训练；它只需遵循新地图。

3. “局部邻域”规则

论文发现，你不能从整栋大楼中随意挑选任何一位厨师来替换另一位。

类比： 1 楼（AI 的浅层）的厨师所做的工作与 50 楼（AI 的深层）的厨师截然不同。他们无法互换。
解决方案： ConMoE 只允许厨师与其**“局部邻域”**（上下几层楼）内的其他厨师进行交换。这确保了替换后的厨师实际上能理解订单的上下文。

为什么这更好？

无需重新训练： 你不需要教厨师新技巧（无需“微调”）。你只需更改电话簿。
稳定性： 由于厨师没有被混合或修改，他们的原始技能保持完整。
结果： 论文在三种不同的大型 AI 模型上测试了该方法。研究发现，ConMoE 的表现与那些解雇厨师或混合食谱的方法一样好（有时甚至更好），同时使系统保持得更加简单。

局限性（需要注意的地方）：

需要阅读“菜单”： 系统需要少量样本文本（校准数据）来确定哪些厨师是明星，哪些是替补。
仅限局部： 你不能将地下室的厨师与顶层公寓的厨师互换；他们的工作不同。
存储现实： 虽然厨师的逻辑数量减少了，但要真正节省物理存储空间，餐厅需要一种特殊的方式来存储大楼，使得多个“槽位”指向同一位物理厨师。

简而言之： ConMoE 就像保留一支由原始专家组成的更小、更精英的团队，并简单地将所有工作重定向给他们，而不是解雇人员或试图创造新的“混合”专家。这是一种无需训练即可缩小大型 AI 模型的聪明方法。

ConMoE 技术摘要：基于原型重分配的专家池整合以实现 MoE 压缩

1. 问题陈述

混合专家（MoE）语言模型通过为每个 token 仅激活一小部分专家来实现可扩展性，从而降低了每 token 的计算量。然而，完整的路由专家池仍须被存储和提供服务，这为部署带来了显著的内存瓶颈。现有的训练后压缩方法主要通过专家剪枝（基于使用率或重要性移除专家）或专家合并（将多个专家组合成新的融合模块）来解决这一问题。

作者认为，这些方法往往混淆了两个截然不同的决策：

应保留哪些专家参数？
压缩后应如何表示路由器的原始专家引用？

剪枝会删除参数，而合并则构建新权重，通常需要在压缩后进行微调或使用复杂的融合算子。本文提出了一种互补视角：专家池整合。该方法保留一组较小的预训练专家作为可重用的原型，并确定性地将每个原始专家引用重新映射到这些选定的原型之一。这将缩减后专家池的存储与重用结构分离开来，使得原始路由器接口无需权重更新即可保持不变。

2. 方法论：ConMoE

所提出的框架ConMoE是一种无需训练、一次性的压缩方法，通过原型选择和确定性重分配进行操作。

A. 问题形式化
该方法定义了一个包含一个或多个相邻 MoE 层的局部范围 $G$ 。给定压缩比 $\rho$ ，目标是从原始专家池 $E_G$ 构建一个大小为 $K$ 的缩减原型池 $P_G$ 。建立重分配映射 $m_G: E_G \to P_G$ ，其中每个原始专家 $e$ 被映射到一个选定的原型 $p$ 。
理想目标是使重分配代价 $L_G(P)$ 最小化，在保留专家的重要性与其他专家重映射所引入的误差之间取得平衡。

B. 原型评分与选择
ConMoE 不直接求解组合优化问题，而是使用启发式评分规则来选择前 $K$ 个专家作为原型。对于每个专家 $e$ ，利用校准数据计算两个分数：

路由条件贡献（ $a_e$ ）：衡量当专家被路由器选中时的平均贡献，权重由路由概率和输出范数加权。
可替代性（ $b_e$ ）：衡量该专家与范围内最近邻的距离。距离越大，意味着该专家越难被替代。

最终得分为归一化贡献得分与可替代性得分的乘积（ $s_e = \bar{a}_e \bar{b}_e$ ）。前 $K$ 个专家被选为原型池 $P_G$ 。

C. 确定性重分配
一旦选定原型，每个原始专家都被分配给 $P_G$ 中距离其最近的原型。

无权重更新：选定的原型直接作为预训练专家重用；在默认流程中不进行权重融合或微调。
路由器保持：原始路由器保持不变。当路由器为某个 token 选择一组专家时，整合算子将这些调用重定向到其分配的原型。如果多个被路由的专家映射到同一个原型，则将它们的路由权重聚合为单个系数。

D. 范围与跨层重用
ConMoE 支持局部跨层共享。一个范围可以包含多个相邻层，如果它们表现出冗余，则允许在这些层之间共享原型。然而，范围受到限制，以避免与远处层级中发现的特定深度变换不匹配。

3. 主要贡献

形式化：本文将一次性 MoE 压缩形式化为专家池整合，明确区分了“存储哪些参数”的决策与“如何表示原始路由器槽位”的决策。
框架（ConMoE）：一种无需训练的重映射方法，在减少逻辑路由专家池的同时保留了原始路由器接口。它依赖基于校准的贡献和可替代性信号来选择原型，无需梯度更新。
实证验证：作者证明，基于重映射的整合是多种预训练 MoE 模型（Qwen3、DeepSeekMoE、OLMoE）中剪枝和合并的有效替代方案。
消融洞察：
- 确定性重分配被确定为该框架中最稳定的组件。
- 跨层共享是有益的，但严格限于局部；过大地扩展范围（例如 8–16 层）会因深度不匹配而导致性能下降。
- 事后权重融合（例如 Arcee、加权平均）在此设置下被证明不如直接原型重用稳定。

4. 实验结果

实验在三个模型上进行：Qwen3-30B-A3B、deepseek-moe-16b-base 和 OLMoE-1B-7B-0125。使用六个多项选择基准（WinoGrande、ARC-C、ARC-E、BoolQ、HellaSwag、PIQA）评估了 25% 和 50% 的逻辑路由专家压缩比。

性能：ConMoE 的表现与强大的剪枝（Frequency、REAP）和合并（M-SMoE、HC-SMoE）基线相当或更优。
- 在 DeepSeekMoE 上，ConMoE 在 25% 和 50% 压缩比下均取得了最佳平均分。
- 在 OLMoE 上，它在 25% 压缩比下表现最佳，并在 50% 压缩比下保持竞争力。
- 在 Qwen3 上，虽然剪枝表现强劲（尤其是在 50% 时），但 ConMoE 仍保持竞争力，并在 WinoGrande 和 BoolQ 等特定任务上保留了强劲性能。
消融实验：
- 范围大小：小范围（1–4 层）产生了相当或最佳的结果。大范围（8–16 层）导致性能显著下降，证实了专家的可替代性是局部的。
- 选择策略：路由条件贡献是主导信号。仅基于距离的选择表现不佳，而可替代性作为容量分配的正则化项效果最佳。
- 融合：直接原型重映射优于应用事后权重融合的方法，表明收益来自于重映射结构本身，而非权重合并。

5. 意义与主张

本文主张，确定性原型重分配提供了一种稳健的、无需训练的替代方案，以取代传统的剪枝和合并。通过将压缩视为将专家池整合为可重用原型，ConMoE 实现了显著的内存节省（逻辑缩减），同时保持了原始模型的路由器接口，并避免了通常与权重融合或微调相关的不稳定性。

作者强调，其方法在范围上是适度的：

它是无需训练的，但依赖校准数据来获取路由统计信息。
跨层重用是局部的；它不假设整个模型深度中专家的全局可互换性。
报告的节省是逻辑上的；要在部署中实现物理内存节省，需要共享原型的运行时或检查点格式，而不仅仅是物质化的检查点。

该工作的独特之处在于表明“重用结构”可以是压缩模型的显式组成部分，而非删除或融合的副产品，从而为 MoE 压缩提供了一个稳定的基准。