💬 NLP

MoE-Prism: Disentangling Monolithic Experts for Elastic MoE Services via Model-System Co-Designs

MoE-Prism 是一个模型-系统协同设计的框架，通过将单体专家分解为细粒度的子专家并实现 $k$ -感知运行时，使混合专家（MoE）服务能够实现请求级的计算弹性，从而显著提高异构工作负载的吞吐量并降低延迟。

原作者： Xinfeng Xia, Xiaofeng Hou, Jiacheng Liu, Wenfeng Wang, Mingxuan Zhang, Peng Tang, Chao Li, Minyi Guo

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Xinfeng Xia, Xiaofeng Hou, Jiacheng Liu, Wenfeng Wang, Mingxuan Zhang, Peng Tang, Chao Li, Minyi Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在经营着一座规模宏大、超级智能的图书馆，书不是由人类编写的，而是由一个名为“大语言模型”（LLM）的巨型数字大脑创作的。这些大脑每天都在变得更大、更聪明，但它们也对电力和计算能力有着惊人的渴求。为了让它们运行得更快、更便宜，科学家们发明了一个聪明的技巧，叫做“混合专家”（Mixture-of-Experts，简称 MoE）。不要把 MoE 模型看作一个单一的巨型大脑，而要把它看作一个由许多小型专家组成的团队在协同工作。当你提出一个问题时，系统并不会唤醒整个团队，而只是召集几个最擅长该主题的特定专家。这就像是请一位图书管理员只去“科幻小说”区取书，而不是把整座图书馆都搬到你的桌前。

然而，这里有一个问题。目前的这些系统有点僵化。无论你问的是像“今天天气怎么样？”这样简单的问题，还是像“分析这份 50 页的法律合同”这样复杂的问题，系统通常都会唤醒相同数量的专家。这就像是雇佣了一整个建筑施工队来挂一个相框，或者派一个实习生去建造摩天大楼。这在处理简单任务时浪费了能量，而在处理困难任务时又提供的力量不足。一个大问题是研究人员正在探讨的：我们能否让这些 AI 团队变得更加灵活，让我们能够根据任务的难易程度来调高或调低专家的数量，同时保持系统快速且高效？

这正是 MOE-PRISM 背后的研究人员致力于解决的问题。他们意识到，虽然“调高或调低”专家数量的想法听起来很棒，但现有的技术实现起来过于笨拙。他们发现现有的系统将每个专家都视为一个巨大的、不可分割的“砖块”——你不能使用半块砖。如果你需要稍微减少一点动力，你必须移除一整个专家，而这种巨大的跨度往往会破坏答案的质量。此外，当系统尝试同时处理许多请求时（比如在一个繁忙的图书馆里），它倾向于将所有请求组合在一起，并为所有人使用“最大”设置，从而在处理简单的任务时浪费能量，仅仅是为了保持批处理大小（batch size）不变。

为了解决这个问题，团队构建了一个名为 MOE-PRISM 的新框架。他们从两个角度入手：一个是“模型”（大脑本身），另一个是“系统”（图书馆管理员）。

首先，在模型端，他们发明了一种将那些巨大的“专家砖块”分解成更小、更精细的碎片的方法。想象一下，把一块巨大的、沉重的奶酪切成许多小方块。他们通过观察 AI 内部的神经元（专家内部微小的处理单元）在工作时是如何“点亮”的来实现这一点。他们注意到，对于任何给定的任务，只有神经元的特定子集才是真正重要的。因此，他们将专家切分为更小的“子专家”，将这些重要的神经元组合在一起。这使得系统可以选择，例如 12.5 个子专家，而不是被迫在 12 个或 13 个完整专家之间做出选择。这为他们提供了一个更平滑的“旋钮”来控制计算能力的消耗，而无需从头开始重新训练整个 AI。

其次，在系统端，他们创建了一个更聪明的“图书馆经理”。这个新经理不再是将所有请求扔进一个大堆中并为所有人使用最高设置，而是将需要相似动力程度的请求进行分组。如果来了许多简单的问题，它们会被一起处理并使用低功率设置。如果来了许多困难的问题，它们将拥有自己的高功率组。这防止了系统为了保持批处理完整而通过过度服务简单任务来浪费能量。他们还构建了一个特殊的“交通控制器”来高效处理计算机图形（CUDA 图），确保即使在处理所有这些不同设置时，系统也不会因为内存问题而陷入停滞。

当他们在三个不同的流行 AI 模型上测试 MOE-PRISM 时，结果令人振奋。他们发现，通过使用这些更细粒度的专家和更聪明的调度，他们可以将可用的“功率设置”增加 4 倍。在测试中，这使离线任务的处理吞吐量（throughput）提升了 33.9%。对于速度至关重要的在线任务，它降低了在处理混合工作负载时获取第一个词的时间（Time-to-First-Token）。

论文指出，这种方法不仅能节省电费，还能让 AI 变得更具适应性。它证明了你可以拥有一个单一的、具有“弹性”的 AI 模型，它能为困难任务拉伸计算能力，也能为简单任务收缩计算能力，且不会造成破产或降低速度。虽然目前的测试是在特定的两块显卡配置下进行的，但结果表明，这种对 AI 内部结构的“重构”以及对工作调度方式的“重新思考”，可能是迈向更高效、更灵活的现实世界 AI 的重要一步。

技术摘要：MOE-PRISM

1. 问题陈述

混合专家（Mixture-of-Experts, MoE）架构已成为大规模语言模型（LLMs）实现容量扩展而无需按比例增加计算量的核心技术。然而，现有的 MoE 服务系统通常在固定的路由配置（静态 top- $k$ ）下执行所有请求，未能利用不同请求之间异构的计算需求。虽然一些方法通过级联多个模型或使用早退（early-exit）机制实现了“请求级计算弹性”，但这些方法引入了显著的内存/部署成本，或需要专门的训练和架构变更。

本文识别了阻碍单个 MoE 实例内实现有效请求级弹性的两个主要差距：

粗粒度路由单元： 原生 MoE 路由将整个专家视为不可分割的单元。将路由预算 $k$ 减少 1 会导致整个专家的移除，从而引起质量的剧烈、离散下降，并限制了在计算-质量权衡空间中可用的运行点。
低效的异构批处理： 像 vLLM 这样的服务系统使用连续批处理（continuous batching）。当具有不同路由预算的请求混合在一起时，系统通常会按照请求的最大 $k$ 值来执行批处理以确保质量，这导致了“过度服务”（over-serving）和计算浪费。相反，拆分批处理以保留预算会造成执行碎片化，降低吞吐量。

2. 方法论：MOE-PRISM

MOE-PRISM 是一个旨在使单个 MoE 服务实例内实现请求级计算弹性的模型与系统协同设计框架。它通过两个协同设计的组件来解决该问题：

A. 模型重构引擎（模型侧）

该组件通过转换模型来暴露更密集的路由运行点，而无需进行端到端重训。

专家分解： 该引擎在校准数据上剖析中间神经元激活情况。它观察到专家内部的激活质量集中在与 Token 相关的神经元子集上。
子专家划分： 使用划分优化求解器（采用贪心初始化结合模拟退火算法），将每个单体专家切分为 $N$ 个更细粒度的、不相交的子专家。划分旨在将跨 Token 共同激活的神经元分组，从而确保跳过某个子专家时能最小化质量损失。
门控重建： 系统通过两条路径为新的子专家重建路由接口：
1. 免训练代理（Training-Free Proxy）： 一种层次化选择机制，利用共激活统计数据对子专家进行评分，实现即时部署。
2. 仅门控微调（Gate-Only Fine-Tuning）： 一种低成本适配方案，仅对路由权重进行微调（保持模型其余部分冻结），以对齐扩展后的子专家空间，从而最大化保真度。

B. k-感知服务运行时（系统侧）

该组件高效管理异构路由预算的执行。

k-感知服务调度器：
- 离线（面向吞吐量）： 通过质量分层批处理实现时间分离。请求按其路由预算（ $k$ ）进行排序并分组为不同的层级。调度器根据局部吞吐量启发式算法决定是立即分发残余批次，还是将其与下一层级合并，从而在维持批次充实度的同时最小化过度服务。
- 在线（面向延迟敏感）： 通过基于车道（lane-based）的路由实现空间分离。数据并行（DP）秩被划分为“低- $k$ ”和“高- $k$ ”车道，并设有软性的、自适应的边界。这防止了在同一执行流中混合差异巨大的预算，同时避免了可能导致队列堆积的硬性划分。
分段图执行器（Segmented Graph Executor）： 为了处理增加的路由状态而不导致 CUDA Graph 内存爆炸，执行器在 Attention-MoE 边界处对 Transformer 块进行切分。
- Attention 段： 在不同 $k$ 值之间共享（对路由不敏感）。
- MoE 段： 根据路由预算 $k$ 进行专业化处理（对路由敏感）。
- 这种设计使系统能够在保持 CUDA Graph 高效性的同时，支持动态 $k$ 执行。

3. 核心贡献

模型重构方法： 一种将单体专家分解为子专家并重建门控网络的技巧，使单个模型能够展示更密集的路由运行点。它支持免训练部署和可选的仅门控微调。
k-感知服务运行时： 对 vLLM 的扩展，结合了预算感知调度（时间与空间分离）以及通过分段图执行器实现的高效动态- $k$ 执行。
系统集成与评估： 全面集成至 vLLM，并在三个代表性 MoE 模型（OLMoE, DeepSeek-V2-Lite, Qwen3）上进行了评估，证明了其实际弹性。

4. 实验结果

作者在 vLLM 框架下，在 A100、RTX A6000 和 H800 GPU 上对三个模型进行了评估。

吞吐量（离线）： 与基准相比，MOE-PRISM 将离线推理吞吐量提升了高达 33.9%。增益源于重构带来的执行更低 $k$ 的能力，以及调度器通过对相似请求进行分组以避免过度服务的能力。
延迟（在线）： 在异构工作负载下，MOE-PRISM 降低了首字延迟（TTFT），特别是在基准模型因队列延迟和尾部延迟而受阻的高负载情况下。
准确性： 模型重构很大程度上保留了原始模型的准确性。在某些情况下（例如在较低预算下的 OLMoE 和 Qwen3），重构后的模型实现了略优的困惑度（perplexity）或下游任务准确度，表明新结构在受限计算下支持有效的专家选择。
消融研究：
- 重构： 证实了细粒度分解相比粗粒度舍入能显著减少路由预算超额。
- 分段图： 显示执行器将图内存使用量降低了约 84%（与标准 k-感知方法相比），且吞吐量损失微乎其微（<0.2%）。
- 调度： 证明了仅靠动态- $k$ 执行是不够的；必须有显式的调度来防止跨- $k$ 干扰并实现端到端的性能提升。

5. 意义与主张

论文声称 MOE-PRISM 展示了 MoE 服务中请求级计算弹性的实际可行性。通过将路由 top- $k$ 视为运行时控制变量而非固定的架构设置，该系统可以：

在单个部署的模型实例内，为具有不同质量/计算需求的请求提供服务。
将异生的路由预算转化为切实的端到端延迟和吞吐量提升。
避免与级联多个模型相关的内存和部署开销。

作者指出一个局限性：目前的评估仅限于双 GPU 测试平台，这代表了验证核心机制的最小非平凡环境。他们并未声称可以立即扩展到大规模集群而无需进一步工程化，但其结果为弹性 MoE 服务奠定了模型-系统协同设计的基本原则。