🤖 machine learning

OrderMoE: An expert similarity driven distributed edge MoE inference

OrderMoE 是一个新颖的框架，它通过利用专家相似性来实现远程专家的本地替代，从而在保持可控推理质量的同时，显著降低分布式边缘 MoE 推理的延迟和通信开销。

原作者： Xin Yuan, Ning Li, Quan Chen, Wenchao Xu, Athanasios V. Vasilakos, Song Guo, Haijun Zhang

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Xin Yuan, Ning Li, Quan Chen, Wenchao Xu, Athanasios V. Vasilakos, Song Guo, Haijun Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，互联网就像一座繁忙、喧闹的大城市，超级聪明的计算机（被称为大语言模型）就生活在其中。这些计算机就像是才华横溢的图书管理员，可以回答任何问题、编写故事或解决数学难题。然而，这些图书管理员体型庞大且沉重，无法装进你的手机或当地咖啡馆的电脑里。通常情况下，为了得到一个答案，你的手机必须向城市另一端的巨型数据中心大声喊出一个问题，等待那位巨大的图书管理员思考，然后再等待答案传回。这既耗时，又占用了大量的城市“道路空间”（带宽）。

为了提高速度，科学家们发明了一种新型的图书管理员，叫做“混合专家模型”（Mixture of Experts，简称 MoE）。这种图书管理员不再是一个巨大的大脑，而实际上是由许多较小的专家组成的团队。当你提出一个问题时，一位聪明的经理（被称为路由器）会快速挑选出针对该特定任务所需的两到三个专家，并忽略其余的人。这使得图书管理员变得更快、更轻量化。但棘手的部分在于，在分布式边缘系统中，这些专家散落在不同的本地服务器上（比如不同的咖啡馆或社区枢纽），而不是集中在一个大型建筑内。如果路由器挑选的专家正在三个小镇之外的一家咖啡馆工作，你的手机就必须把问题传送到那么远的地方，并等待答案传回。在道路狭窄拥挤的城市里，这种往返时间可能和向那个巨型数据中心说话一样慢。

这正是名为 OrderMoE 的一项新研究发挥作用的地方。研究人员利用一个由八台物理服务器组成的真实测试平台，提出了一个简单而巧妙的问题：如果我们不总是将问题发送给路由器选中的那个“精确”专家，而是可以使用一个就在隔壁、且能做几乎同样工作的“不同”专家呢？

论文指出，尽管许多专家名字不同，但他们的思维方式其实非常相似。作者发现，通过测量他们“思维模式”的相似度（使用所谓的“路由器诱导逻辑值”，router-induced logits），可以将这些专家归类为不同的家族。如果路由器选中了一个远在天边的专家，OrderMoE 会检查附近是否有一个足够相似的“表亲”专家可以胜任这项工作。如果有，问题就会在本地处理，从而节省了跨越城市长途跋涉的时间。

然而，研究人员知道这是一场微妙的平衡。使用“表亲”代替“精确专家”可能会节省时间，但也可能意味着答案不是“完全完美”的。为了解决这个问题，他们构建了一个智能交通控制器，它会为每一个问题做出决定：是使用本地的表亲专家比较安全，还是值得等待远方那个精确专家的回复。这个控制器还会向前瞻，思考下一个问题可能需要去哪里，以免不小心把问题发往一个会对“下一步”造成不良影响的服务器。

当他们在包含不同速度和内存大小的八台服务器的真实网络上测试 OrderMoE 时，结果令人印象深刻。与其它方法相比，该系统成功地将平均等待时间（延迟）降低了约 40% 到 51%，并大幅削减了服务器之间传输的数据量。或许最重要的一点是，回答的质量几乎没有下降——仅有极微小、几乎察觉不到的下降。这项研究表明，通过让本地服务器替换使用相似的专家，我们可以让人工智能变得更快、响应更及时，而无需建造更大、更昂贵的数据中心。这有点像是意识到你并不需要开车去隔壁小镇买一种特定类型的三明治；你家楼下的店就有一种非常相似的，而且几秒钟内就能准备好。

OrderMoE：一种基于专家相似性的分布式边缘 MoE 推理技术总结

问题陈述
虽然混合专家（Mixture-of-Experts, MoE）模型为大语言模型（LLM）提供了模型容量与计算成本之间的理想权衡，但在资源受限且带宽有限的边缘基础设施上部署此类模型仍面临挑战。现有的分布式 MoE 服务方法主要依赖于精确的专家放置、缓存或通信调度。这些方法将激活的专家视为一个固定的计算单元；如果路由到的专家不在本地，则必须将 Token 发送到远程服务器进行精确执行。这种范式忽略了同一 MoE 层内专家之间的功能相似性。在以异构资源、动态工作负载和普通互联网连接（而非高速数据中心互连）为特征的边缘环境中，频繁的跨服务器 Token 传输会引入显著的延迟并导致性能不稳定。其核心要解决的问题是：如何在不产生不可接受的推理质量下降的前提下，减少跨服务器 Token 传输并保持 Token 计算的本地化。

方法论
本文提出了 OrderMoE，一个感知相似性的专家分组与分布式部署框架。该方法由三个主要部分组成：

专家相似性与分组模型：
- OrderMoE 基于路由器诱导的 Logits 表示构建了专家相似性模型。它通过计算校准 Token 上路由响应向量的余弦相似度，来衡量同一层内专家之间的功能相似性。
- 它识别出专家相似性是具有层依赖性的：深层专家倾向于具有更高的相似性，而浅层专家则表现出更强的专业化特征。
- 一种层感知的分组策略将专家划分为相似性组。深层允许更大的分组和更宽松的相似性阈值，而浅层则使用更严格的阈值。每个组包含一个主导专家（基于激活频率）和若干可作为可行替代品的非主导专家。
相似性感知分布式部署：
- 该框架采用重要性感知部署策略，在内存限制下将专家分布到异构边缘服务器中。
- 代表性覆盖（Representative Coverage）： 同一相似性组中的专家被刻意分散部署在不同的服务器上，以最大化任何边缘服务器都能托管给定组内可行替代品的概率。
- 冗余部署（Redundant Deployment）： 利用剩余内存，系统冗余地部署重要专家（高激活频率和高代表性）的副本，以覆盖尚未实现本地化的组，并优先考虑繁忙的服务器。
Token 轨迹感知运行时选择：
- 该在线算法决定了对于每一层 MoE 中的每个 Token，是调用远程目标专家还是使用可行的本地替代品。
- 前瞻机制（Look-Ahead Mechanism）： 为了避免可能导致未来发生跨服务器传输的近视决策，该算法利用基于校准集的专家转移统计数据，进行深度为 $H$ 的递归。它能够估计 Token 轨迹的未来代价（cost-to-go）。
- 质量预算（Quality Budget）： 算法执行针对每位用户的质量预算。它构建一个包含精确目标专家和相似替代品的候选集，确保累积的替换质量损失不超过分配的预算。
- 权重自适应： 根据运行时的网络状况和工作负载观察，动态调整推理延迟与质量损失之间的权衡权重。

核心贡献

问题建模： 本文通过综合考虑专家部署、专家相似性、替代执行和 Token 轨迹，对分布式边缘 MoE 推理问题进行了形式化定义。不同于现有方法，它允许 Token 使用质量可行的替代专家，并动态更新 Token 位置。
相似性感知策略： 提出了一种新型专家分组与部署策略，利用功能相似性来提高跨边缘服务器的本地可替代性，从而减少远程专家调用的概率。
轨迹感知算法： 设计了一个在线服务器-专家选择算法，综合考虑了传输延迟、计算延迟、替换质量损失、服务器工作负载以及未来的 Token 移动成本。
实现与评估： OrderMoE 在一个包含 8 台异构服务器的真实分布式边缘测试床上得到了实现。

实验结果
实验在三个 MoE 模型（Switch-Base-8E, Qwen-MoE-A2.7B, 和 Mixtral-8x7B）上通过真实边缘测试床进行。结果表明，OrderMoE：

延迟： 显著降低了平均延迟（例如，Mixtral-8x7B 降低了 187ms，相比 MoE² 减少了 40.1%）和尾部延迟。
通信： 大幅减少了跨服务器流量（例如，每 1,000 个 Token 减少 1.5 GB）和远程专家调用率。
吞吐量： 与基线相比实现了更高的推理吞吐量。
质量： 仅引入了微小且可控的推理质量下降（例如，WikiText-103 上的困惑度仅增加 0.3），在各模型中保持了 99.3% 以上的质量保留率。
可扩展性： 展示了对增加边缘服务器数量的鲁棒性，而精确执行的基线方法随着远程目标位置概率的增加，其延迟会随之上升。

意义与主张
本文声称 OrderMoE 是首个利用同层专家相似性进行多边缘服务器分布式协作部署的工作。其意义在于将分布式部署问题从“精确的远程专家访问”转变为“相似性感知的本地替代执行”。通过承认同一层内的专家并非孤立存在，OrderMoE 提供了一种新的边缘智能范式，降低了对高带宽互连的依赖。该框架成功平衡了最小化通信开销与保持推理质量之间的冲突目标，使其特别适用于带宽受限且动态变化的边缘环境，而在这些环境中，传统的基于云端的分布式部署策略往往难以奏效。

类似论文