🤖 machine learning

MAPLE: MoE Adaptive Plug-and-play Layer-wise Expert allocation

MAPLE 是一个即插即用的框架，它通过基于敏感度在不同层之间进行分析式和遗传式的异构专家预算重新分配，从而优化预训练混合专家（MoE）模型的效率，在无需修改权重或重新训练的情况下实现更高的准确率和显著的延迟降低。

原作者： Lie Li, Wen Li, Junxiao Shen, Gusheng Hu

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

原作者： Lie Li, Wen Li, Junxiao Shen, Gusheng Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代人工智能通常依赖于被称为“Transformer”的海量数字大脑，它们通过将信息传递到长长的层链中来处理语言。可以将这些层想象成一系列处理站，模型通过这些处理站学习理解上下文、语法和含义。近年来，工程师们通过使用一种称为“混合专家模型”（Mixture-of-Experts）的设计，使这些模型变得更加高效。这种设计不再让每个处理站都使用相同数量的计算能力，而是针对它读取的每一段文本，仅激活少数几个专门的子网络，即“专家”。这使得系统能够规模宏大且功能强大，而不会消耗无法承受的巨大能量。然而，一直有一条标准规则在支配着这些专家的使用方式：链条中的每一层都被迫激活完全相同数量的专家，无论该层是否真的需要那么多帮助。

布里斯托大学的一个研究小组挑战了这一统一规则，他们提出不同的层对需求的需求是截然不同的。有些层非常敏感，需要许多专家才能正常运行，而有些层则是冗余的，可以在不损失准确性的情况下使用更少的专家进行操作。他们开发了一种名为 MAPLE 的新方法，它是一个“即插即用”的工具。这意味着它可以应用于现有的、预训练好的模型，而无需对其进行重新训练或更改其内部权重。该系统首先通过测试如果减少每一层使用的专家数量，其性能会下降多少来进行工作。然后，它利用这些测量结果来创建一个定制的地图，将计算预算从可以节省的层转移走，并将其导向那些最需要的层。

这种方法的结果令人瞩目。当研究人员在四个不同的语言大模型上测试 MAPLE 时，他们发现，仅仅是重新分配现有资源就比均匀使用所有资源更有效。在一次使用名为 DeepSeek-MoE-16B 模型的特定测试中，这种新方法在仅使用 75% 可用专家的情形下，表现优于原始的全负载模型。在几项推理基准测试中，准确率显著提高了；例如，在科学问答任务中，得分从 65.09 跳升至 71.40，在逻辑推理测试中，得分从 48.49 上升至 51.50。这表明，旧有的统一性假设限制了模型的表现，而更智能、不均匀的精力分配能产生更好的结果。

除了让回答变得更聪明之外，这种方法还使模型的运行速度更快、成本更低。由于激活的专家更少，计算机在回答每个问题时要做的工作也更少。当研究人员在实际的推理系统中实现 MAPLE 时，他们测量出在单张显卡上生成响应的时间减少了 32.2%。与此同时，系统每秒可以处理更多的请求，增加了 47.4%。这些收益是在没有改变模型核心结构或丢弃任何已学知识的情况下实现的；系统只是学会了更高效地使用其现有部分。研究人员证实，这种改进并非特定测试中的偶然现象，而是一个稳健的发现，它在不同类型的推理任务中，甚至在模型进行缩放时都能保持一致。

该研究还探讨了这种方法如何处理复杂的“多步推理”任务，即模型必须生成一段长长的思维链来解决问题。即使在这些高要求的场景下，重新分配资源的模型也能保持其准确性，同时在某些情况下将解决问题所需的总时间缩减了一半以上。研究人员表明，该方法具有灵活性，可以适用于不同的模型，并且它创建的分配方案可以重复用于各种任务，而无需每次都重新计算。通过证明“一刀切”的方法并非最优方案，这项工作为使大型人工智能系统更高效、更强大以及更易于投入实际应用提供了一种实用且有原则的方法。

技术摘要：MAPLE —— 基于专家分配的 MoE 自适应即插即用层级方案

问题陈述
当前的稀疏激活混合专家（MoE）Transformer 模型普遍采用统一的路由策略，即在所有层中激活相同数量的固定专家。这种惯例忽略了已被广泛记录的层间冗余性和专家重要性的异质性。作者认为，这种统一性在系统层面是次优的：它无法将计算能力引导至对专家数量变化敏感的层，同时在冗余层上浪费资源。现有的提高 MoE 效率的方案，如非结构化剪枝、专家合并或结构化压缩，通常需要权重重构、额外的校准数据、重新训练或永久性的架构更改，这使得它们不适用于预训练模型的“即插即用”式部署。

方法论
本文提出了 MAPLE（MoE Adaptive Plug-and-Play Layer-wise Expert Allocation，MoE 自适应即插即用层级专家分配），该框架能够在不修改权重、不重新训练或不改变模型架构的情况下，为预训练 MoE 大语言模型（LLM）重新分配路由专家预算，实现异质化分配。MAPLE 分为三个不同的阶段运行：

层级敏感性建模：
该框架通过改变每个层的路由专家数量 ( $e$ )，同时保持其他层处于基准数量 ( $k_0$ )，来单独探测每一层。它记录了每种配置下的验证准确率 $A_l(e)$ 。
- 单层最优值 ( $k^*_l$ )： 使特定层准确率最大化的专家数量。
- 敏感性度量： 为了量化一层对专家数量变化的响应强度，MAPLE 采用了三种轻量级指标：
  - $s^{acc}_l$ ：准确率变化的范围 ( $\max A_l(e) - \min A_l(e)$ )。
  - $s^w_l$ ：该层内参数张量的方差。
  - $s^{out}_l$ ：使用 $e$ 个专家与使用基准 $k_0$ 个专家的输出之间的均方误差（MSE）。
- 作者默认将准确率范围 ( $s^{acc}_l$ ) 作为主要的敏感性度量指标。
基于敏感性引导的闭式解分配：
MAPLE 将专家重新分配公式化为一个受限优化问题。其目标是找到一个分配向量 $\mathbf{k} = [k_1, \dots, k_L]$ ，使其在受到敏感度 ( $s_l$ ) 加权后，尽可能接近每个层的单层最优值 ( $k^*_l$ )，同时受限于全局专家预算 $K$ 。
- 目标函数最小化加权平方偏差： $\min \sum w_l (k_l - k^*_l)^2$ ，其中 $w_l = s_l$ 。
- 拉格朗日乘数法产生了一个连续解 ( $k^{cont}_l$ )。相对于预算的盈余或亏缺专家会被优先分配给低敏感度的层。
- 连续解被裁剪到可行范围 $[k_{min}, k_{max}]$ ，并使用最大余数法转换为整数分配。
敏感性约束的遗传算法精炼：
为了解决舍入伪影和跨层交互问题，MAPLE 使用一种轻量级的遗传算法来精炼闭式解。
- 变异： 候选解通过高斯变异生成，其方差与该层的敏感度成反比 ( $\sigma^2_l \propto 1/s_l$ )，从而确保高敏感度层接收到的扰动较小。
- 选择： 每代保留前两个精英个体（elites），且种群在没有交叉操作的情况下重新生成。
- 该过程能快速收敛（通常在几代内）到最终的分配结果 $\mathbf{k}_{best}$ 。

核心贡献

即插即用框架： MAPLE 是第一个提出针对预训练 MoE 模型进行全后验、无权重修改的异质专家分配框架的方法。它不需要重新训练、权重更新或架构修改。
敏感性引导优化： 本文引入了一种基于层级敏感性的闭式解析解进行专家重新分配，并通过敏感性约束的遗传搜索进行精炼。这避免了穷举搜索或强化学习的高昂计算成本。
降低预算后的性能表现： 该方法证明，即使在总路由专家预算减少（例如减少至 75%）的情况下，异质分配也能优于统一分配。

实验结果
作者在四个 MoE 模型（DeepSeek-MoE-16B, DeepSeek-V2-Lite, Moonlight-16B-A3B, 和 OLMoE-1B-7B）以及七个基准测试（ARC-E, ARC-C, BoolQ, PIQA, RTE, GSM8K, BBH）上评估了 MAPLE。

准确率提升： 在 75% 的路由专家预算下，MAPLE 在所有模型上均优于统一分配基准和基于剪枝的方法（SparseGPT, Wanda, EPP, MoNE, LExI）。
- 在 DeepSeek-MoE-16B 上，仅使用 75% 的专家，MAPLE 在 ARC-E (65.09% $\to$ 71.40%)、ARC-C (48.49% $\to$ 51.50%) 和 BoolQ (80.03% $\to$ 82.38%) 上的准确率相比原始 100% 统一基准有所提升。
- 在 OLMoE-1B-7B 上，MAPLE 实现了最佳平均准确率，比全预算基准提高了 4.13 个百分点。
长文本推理： 在 GSM8K 和 BBH 上，MAPLE 保持了极具竞争力的准确率（在 GSM8K 上差距在 0.61 分以内），同时显著减少了评估时间（在 GSM8K 上减少了 53.0%）。
部署效率： 通过在 SGLang 中实现，MAPLE 将单 GPU 端到端服务延迟降低了 32.2%，并将吞吐量提高了 47.4%。这是通过跳过被分配为单个活跃专家（ $k=1$ ）层的多专家调度逻辑实现的。
鲁棒性： 消融研究证实，准确率范围指标是最有效的敏感性信号。该方法在不同随机种子和任务之间表现出稳定性以及跨任务迁移能力，表明所识别的敏感性模式是模型层固有的，而非过度拟合特定的校准集。

意义与主张
本文声称 MAPLE 建立了一个提高 MoE 效率的“原则性且实用的轴线”。其主要意义在于证明了精心设计的异质分配比单纯激活更多专家更为有效。通过证明可以在不重新训练的情况下，通过重新分配容量来匹配不同层的异质需求，MAPLE 为部署更高效的 MoE 模型提供了一条具有成本效益的路径。作者强调，其方法避免了现有剪枝或压缩方法的开销，使其能够立即应用于生产环境中的现有预训练模型。

局限性与未来工作
作者承认目前的评估受限于特定的 GPU 环境（NVIDIA RTX A6000）和推理引擎（SGLang, vLLM）。未来的工作包括在多样化的硬件平台（CPU、边缘设备）以及更广泛的真实世界推理场景下评估 MAPLE，以评估减少的专家计算量如何在不同的系统约束下转化为实际的延迟、内存和能源收益。

技术摘要：MAPLE —— 基于专家分配的 MoE 自适应即插即用层级方案

类似论文