🤖 machine learning

A Replicate-and-Quantize Strategy for Plug-and-Play Load Balancing of Sparse Mixture-of-Experts LLMs

本文提出了复制与量化（Replicate-and-Quantize, R&Q），这是一个无需训练的推理时框架，通过复制被频繁选择的专家并对其他专家进行量化，动态地重新平衡稀疏混合专家（Sparse Mixture-of-Experts）模型中的负载，从而在固定内存预算内显著降低路由偏差，同时保持模型的准确性。

原作者： Zijie Liu, Jie Peng, Jinhao Duan, Zirui Liu, Kaixiong Zhou, Mingfu Liang, Luke Simon, Xi Liu, Zhaozhuo Xu, Tianlong Chen

发布于 2026-07-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Zijie Liu, Jie Peng, Jinhao Duan, Zirui Liu, Kaixiong Zhou, Mingfu Liang, Luke Simon, Xi Liu, Zhaozhuo Xu, Tianlong Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下人工智能的世界就像一个繁忙且高科技的厨房，巨大的机器人正试图为数百万饥饿的人同时烹饪完美的佳肴。为了应对这种巨大的需求，这些机器人并不只有一个巨大的大脑；它们拥有一支由专业厨师组成的团队，每位厨师都是特定食材或食谱的专家。这种设置被称为“稀疏混合专家模型”（Sparse Mixture-of-Experts，简称 SMoE）。与其让每位厨师都烹饪每一道菜，不如由一位聪明的经理（称为“路由程序/router”）观察每一份订单，并将订单发送给最擅长该特定任务的几位厨师。这种方式极其高效，使得机器人可以规模宏大且聪明睿智，而不需要一个城市那么大的厨房。

然而，这里有一个问题。就像在真实的厨房里一样，经理有时会产生偏见。如果顾客点了一道热门菜，经理可能会把几乎所有的订单都发给同一位“明星厨师”，导致其他有才华的厨师闲置，两手空空地等待工作。这被称为“负载不均衡”（load imbalance）。本论文探讨了一个非常具体的问题：如何在厨房已经开门营业的情况下，在不解雇任何人、不雇佣新员工或不重写经理规则手册的前提下，解决这个混乱问题。

问题所在：过度劳累的明星厨师

研究人员注意到，尽管这些 AI 厨房的设计初衷是公平的，但它们往往会陷入一种僵局。当大量订单同时涌入时（一个“批次/batch”），经理往往会将几乎所有的订单都引导至极少数的“重量级选手”专家那里。这些专家成为了瓶颈，拖慢了整个系统的速度，而其他成员却处于闲置状态。

团队首先检查了仅仅通过重新训练经理使其变得更公平是否能解决问题。他们尝试了各种训练技巧，比如增加对不公平行为的惩罚，但发现了一个令人沮丧的权衡：让经理变得更公平往往会降低机器人的回答准确度。这就像是试图强迫一位厨师停止烹饪他的招牌菜以便让其他人也能动手做菜一样；结果就是食物的味道变差了。他们还发现，当你试图同时服务更多人时，问题会变得更加严重。随着批次规模的增长，不平衡现象呈爆炸式增长，导致系统效率低下且运行缓慢。

发现：受欢迎并不代表重要

在构建解决方案之前，团队有一个令人惊讶的发现。他们仔细观察了哪些专家获得的活计最多，并将其与哪些专家对于获得正确答案实际上最为重要进行了对比。他们发现，受欢迎并不意味着重要。

有些专家承担了大量的任务（高负载），但如果你移除他们，机器人的性能几乎不会下降。相反，有些专家很少被调用，但一旦被使用，他们又是绝对关键的。经理混淆了“频繁请求”与“高价值”。这意味着团队不需要对所有专家一视同威；他们可以对过度劳累的专家和利用不足的专家采取不同的处理方式。

解决方案：“复制与量化”策略

为了在不重新训练整个系统的情况下解决瓶颈问题，作者提出了一种巧妙的、即插即用的策略，称为**“复制与量化”（Replicate-and-Quantize，简称 R&Q）**。你可以把它想象成一种在订单涌入时瞬间发生的动态厨房重组。

复制重量级选手： 当系统发现某位专家正淹没在工作中（“重量级选手”）时，它不会解雇他们。相反，它会创建该专家的一个“克隆体”。但诀窍在于：这个克隆体是一个“轻量化”版本。它还是那位厨师，但使用的是一套稍微小一点、更高效的工具箱（使用低精度的数学运算，即“量化”）。这使得系统可以将庞大的订单堆分配给原版厨师和克隆体，从而在不需要更大厨房的情况下实现速度翻倍。
量化利用不足者： 为了在不耗尽内存的情况下为这些新克隆体腾出空间，系统会寻找那些几乎无所事事的专家。这些“不太重要”的专家也会被赋予轻量级的工具箱。由于他们处理的订单很少，缩小他们的工具箱并不会损害食物的品质。

通过同时进行这两项操作——拆分忙碌厨师的负载并缩小闲置厨师的工具——系统可以在保持原始内存预算的同时，运行得更快、更公平。

结果：一个平衡的厨房

团队在几种不同的 AI 模型和广泛的任务（从解决数学问题到回答关于世界的复杂问题）上测试了这一策略。他们使用了一个新发明的指标——**负载不均衡得分（Load Imbalance Score, LIS）**来衡量不平衡程度，其中得分为 1 表示完美平衡，数字越高表示越混乱。

结果令人印象深刻。R&Q 策略相比于原始未修改的模型，将负载不均衡程度降低了高达 1.4 倍。例如，在一个名为 GSM8K 的困难数学数据集上，一个模型的失衡得分从 1.9709 降至 1.3937。在另一个数据集 PIQA 上，得分从 4.3504 降至 3.2925。

至关重要的是，这种效率的大幅提升几乎没有以牺牲回答质量为代价。模型的准确度保持在原始水平的 ±0.6% 以内。在某些情况下，比如在 MMLU 数据集上，准确度甚至略有提高（例如，一个模型的准确度从 23.0% 提升到了 25.2%）。研究人员还在“流式”（streaming）场景下进行了测试，即订单像连续的河流一样一个接一个地涌入，他们发现系统在时间维度上保持了稳定和平衡，证明了即使在工作量不可预测的情况下，该策略依然有效。

这意味着什么

这篇论文表明，我们不需要彻底重建 AI 模型来使其高效。通过识别出哪些部分过度劳累而哪些部分利用不足，然后动态地克隆忙碌的部分并缩小闲置的部分，我们可以创建一个更平滑、更快且更公平的系统。这是一种实用的、“即插即用”的修复方案，让这些庞大的 AI 大脑能够像运转良好的机器一样高效运行，无需大规模改造即可应对现实世界。

技术摘要：一种用于稀疏混合专家（SMoE）大语言模型即插即用负载均衡的复制与量化策略

问题陈述

稀疏混合专家（SMoE）架构已成为高效扩展大语言模型（LLM）容量的主流范式，它允许模型在不线性增加每个 token 计算量的情况下增加容量。然而，SMoE 模型在推理过程中面临严重的负载不均衡问题。少数“热门专家”（heavy-hitter experts）接收了绝大部分 token，而其他专家则处于利用不足的状态。这种不均衡导致了：

延迟瓶颈： 过载的专家成为掉队者（stragglers），决定了整个批次的完成时间。
资源低效： 利用不足的专家导致计算资源闲置，降低了有效并行度。
系统开销： 增加了同步和缓冲区管理的成本。

现有的解决方案主要侧重于通过辅助损失、熵正则化或强化学习进行训练时缓解。这些方法在面对非平稳输入、流式数据或变化的批次大小时，往往无法很好地泛化到推理时场景。此外，实证分析表明，选择频率并不能可靠地指示专家的重要性；被频繁使用的专家并不一定对任务性能最为关键，而使用频率低的专家可能具有极高的价值。目前的推理时负载均衡方法通常需要定制的运行时、架构修改或重新训练，这限制了其对预训练模型的适用性。

方法论：复制与量化 (R&Q)

作者提出了 复制与量化 (Replicate-and-Quantize, R&Q)，这是一个无需训练、即插即用的框架，旨在动态重新平衡推理过程中的专家工作负载，且无需修改路由机制或重新训练模型。该方法依赖于两个互补的机制：

1. 负载不均衡得分 (Load Imbalance Score, LIS)

为了量化不均衡的严重程度，论文引入了负载不均衡得分 (LIS)。对于给定的 MoE 块 $i$ ，包含 $m$ 个专家和 $n$ 个总 token，其中每个 token 激活 $k$ 个专家：
$l_i = \frac{m \cdot \max_{j \in [m]} n_{i,j}}{nk}$
其中 $n_{i,j}$ 是路由到专家 $j$ 的 token 数量。得分为 1 表示完美平衡；数值越高表示不均衡程度越大。

2. R&Q 策略

该框架基于一个小型的校准集运行两个阶段：

识别热门专家： 该方法通过分析路由轨迹，识别出每一层中接收 token 数量最多的专家（即热门专家）。
识别次要专家： 使用一种受 Wanda 启发、基于剪枝的无梯度度量方法，通过计算权重幅度与输入激活范数的乘积（ $|W| \times \|X\|_2$ ）来估计专家重要性。得分较低的专家被视为重要性较低。
复制： 被识别出的热门专家会在同一层内进行复制。这些副本为处理 token 负载提供了额外的并行容量，从而有效地分散了计算瓶颈。
量化： 为了维持原始的内存和计算预算，副本将以较低的精度（例如 8 位或 16 位）进行部署。同时，识别出的次要专家将被进行激进的量化。这种双重行动确保了新增的副本容量不会超出资源限制，同时保留了模型的表征能力。

整个过程是事后（post-hoc）进行的，不需要修改路由机制或模型权重（除量化外），因此适用于任何预训练的 SMoE 模型。

核心贡献

推理动态性的实证分析： 论文通过系统性分析揭示了负载不均衡在推理时会持续存在并加剧（尤其是在较大的批次大小时），并且选择频率是专家效用的糟糕代理指标。
负载不均衡得分 (LIS)： 引入了一个原则性的度量标准，用于严格评估和比较路由策略及负载均衡方法。
复制与量化 (R&Q)： 一种轻量级、无需训练的方法，通过复制过载专家并量化利用不足的专家来动态平衡工作负载，实现近乎无损的性能。
全面评估： 在五种模型架构（Switch Transformer, LLaMA-MoE, DeepSeek-MoE, DeepSeek-V2 Lite）和六个多样化的基准测试（MMLU, GSM8K, TruthfulQA 等）上进行了验证，涵盖了静态和流式推理场景。

实验结果

广泛的实验证明了 R&Q 的有效性：

负载均衡： R&Q 在各种模型和任务中实现了高达 1.4 $\times$ 的负载不均衡 (LIS) 降低。例如，在带有 GSM8K 任务的 Switch Transformer（8 专家）上，LIS 从 1.97 降至 1.39。
准确率保持： 该方法使模型准确率保持在基准线的 $\pm$ 0.6% 以内。在某些情况下（如 Switch Transformer 16 专家上的 MMLU），准确率甚至略有提升（从 23.0% 提升至 25.0%）。
流式稳定性： 在对抗性输入的流式推理条件下，R&Q 与原始模型相比始终保持较低的 LIS，展示了随时间推移的鲁棒性。
消融实验： 结果证实，结合复制与选择性量化比单独使用其中一种技术或对所有专家进行量化能产生更优的权衡。

重要性与主张

论文声称填补了训练时优化与实际推理部署之间的关键空白。通过将重点从基于重训练的解决方案转向事后、推理时机制，R&Q 为可预测且高效的 SMoE 推理提供了一条切实路径。作者强调，其方法：

不需要重新训练或架构修改。
与现有的预训练模型和标准部署流水线兼容。
解决了动态、真实世界工作负载下的特定挑战，因为静态路由策略在这些场景下往往失效。
通过平衡效率（通过复制）和资源约束（通过量化），为异构工作负载提供了可扩展的解决方案。

研究结论认为，R&Q 能够在不牺牲准确性的情况下实现更平衡的计算和更可靠的推理，使其成为在延迟敏感和资源受限的环境中部署大规模 MoE 系统的可行策略。