💬 NLP

MobileMoE: Scaling On-Device Mixture of Experts

本文介绍了 MobileMoE，这是一个参数量低于十亿的端侧混合专家语言模型系列，通过优化架构与训练，在性能与效率上超越了现有的稠密模型及混合专家基线，从而能够在普通智能手机上实现快速推理。

原作者： Yanbei Chen, Hanxian Huang, Ernie Chang, Jacob Szwejbka, Digant Desai, Zechun Liu, Vikas Chandra, Raghuraman Krishnamoorthi

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yanbei Chen, Hanxian Huang, Ernie Chang, Jacob Szwejbka, Digant Desai, Zechun Liu, Vikas Chandra, Raghuraman Krishnamoorthi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于MobileMoE论文的解释，将其拆解为简单概念并辅以日常类比。

核心理念：将“超级大脑”装进你的口袋

想象你拥有一座庞大的知识库（即大型语言模型，LLM）。通常，为了获得最佳答案，你需要将问题发送到云端的大型服务器集群。但如果你能把这个大脑装进口袋里，放在手机上，而且不需要联网，会怎样呢？

长期以来，将智能大脑塞进手机的唯一方法是将其设计为“稠密”模型——就像一个超级勤奋的学生，试图记住并处理每一个问题中的所有内容。这种方法速度慢，且占用大量空间。

MobileMoE 是 Meta 推出的一系列新型 AI 模型，它改变了游戏规则。他们不再依赖一个勤奋的学生，而是使用专家团队。这种被称为**混合专家模型（Mixture of Experts, MoE）**的方法，让手机能够运行一个更聪明的大脑，速度更快、耗电更少，并能适配现代智能手机的内存。

1. 问题所在：“一刀切”的瓶颈

将标准的手机 AI（如目前市场上的产品）想象成一位通才。

类比：想象一个小厨房里只有一位厨师。如果你点寿司，他切鱼；如果你点蛋糕，他烘焙；如果你点牛排，他煎烤。他必须擅长所有事情，因此他随身携带厨房里所有的工具。
问题：这位厨师很慢，因为每做一个任务都要切换工具；而且厨房（你的手机内存）会被所有他可能需要的工具挤得满满当当，即使他此刻并未使用它们。

2. 解决方案：“专家团队”（MoE）

MobileMoE 用专家团队取代了单一厨师。

类比：现在，想象一个厨房，里面有一位路由器（经理）和 64 位不同的专家厨师。
- 一位厨师只擅长烘焙蛋糕。
- 一位只擅长煎牛排。
- 一位只擅长制作寿司。
工作原理：当你提出一个问题时，路由器会迅速查看并说：“哦，这是个数学问题！把它发给数学厨师。”数学厨师开始工作，而其他 63 位厨师则休息。
优势：尽管整个团队非常庞大（拥有大量总知识），但在任何给定时刻，实际工作的只有一小部分。这意味着手机无需进行繁重的运算，从而节省电池和时间。

3. “甜蜜点”：寻找完美的团队规模

研究人员并非凭空猜测，而是利用缩放定律（一种数学配方）为手机找到了完美的团队规模。

发现：他们发现，对于手机而言，团队既不能太小（不够聪明），也不能太大（过于沉重）。
结果：他们找到了一个“甜蜜点”，包含8 位主要专家，其中每位专家实际上由8 个微小的子专家（细粒度）组成，外加一位“通才”专家随时待命，处理专家们遗漏的任何内容。
意义：这种特定的组合使得模型极其聪明，同时体积足够小，能够适配拥有 3–5 GB 内存的手机（如 iPhone 16 Pro 或 Samsung S25 等标准机型）。

4. 训练过程：四阶段特训营

为了让这个团队完美协作，研究人员分四个特定阶段对他们进行了训练，如同严格的特训营：

预训练：团队阅读了海量的书籍（6 万亿个单词），以学习通用语言。
中期训练：他们专注于数学、代码和科学等特定的高质量主题，以磨练技能。
指令微调：他们学习如何遵循人类指令（例如“写一首诗”或“解这个方程”）。
量化（压缩）：这是魔法时刻。他们将模型的内存占用缩小了 4 倍（转换为"INT4"格式），同时未明显损失智能，使其能轻松装入手机。

5. 结果：在真实手机上更快、更聪明

团队在真实的旗舰手机（Samsung Galaxy S25 和 iPhone 16 Pro）上测试了 MobileMoE，并将其与现有的最佳手机 AI（MobileLLM-Pro）进行了比较。

速度：MobileMoE 生成文本的速度比稠密模型快 2 到 4 倍。
- 类比：如果旧模型是堵在交通中的卡车，MobileMoE 就是穿梭其中的摩托车。
智能：它的表现媲美甚至超越了更大的模型。例如，MobileMoE 的“中等”版本比那些大 3–4 倍的模型更聪明。
效率：由于它仅“唤醒”任务所需的特定专家，因此更省电、更省内存。

6. “最后一公里”：让它在你的手机上运行

该论文强调了一个主要障碍：大多数手机没有内置软件来高效运行这种“专家团队”。

解决方案：研究人员构建了一个定制引擎（一种特殊的软件内核），充当交通控制器。它组织数据，使手机的处理器能够高效地处理这些专家。
证明：他们证明了这在真实硬件上是可行的。在 iPhone 16 Pro 上，新模型生成文本的速度比旧稠密模型快 3.4 倍，同时占用更少的内存。

总结

MobileMoE 证明，你不需要巨大的云服务器就能在手机上拥有智能 AI。通过使用专家团队而非单一通才，并仔细调整团队规模和训练过程，他们创造出了以下特性的 AI：

比当前的手机模型更聪明。
更快（速度提升高达 4 倍）。
高效（适配手机内存并节省电池）。

这为完全在设备上运行、无需联网的强大、私密且即时的 AI 助手打开了大门。

技术摘要：MobileMoE——设备端混合专家模型的扩展

问题陈述

尽管混合专家（MoE）架构已成为在云服务器上将大语言模型（LLM）扩展至数千亿参数规模的标准方案，但其在亚十亿参数规模下用于设备端部署的潜力却 largely 未被探索。现有的设备端 LLM（例如 MobileLLM、MobileLLM-Pro）绝大多数是稠密模型，需要通过增加活跃参数量及推理计算量来提升质量。这在边缘 AI 领域造成了瓶颈，因为设备面临严格的内存（DRAM）和计算（电池续航、延迟）约束。尽管近期智能手机的 DRAM 容量有所增加（例如 12–16 GB），但在这些特定的移动约束下，平衡模型总大小、活跃参数和推理成本的、基于原理的 MoE 架构扩展方法论尚未建立。

方法论

1. 设备端 MoE 扩展定律

作者构建了一个通用的设备端 MoE 扩展定律，以在内存和计算约束下联合优化架构。损失函数 $L$ 被建模为活跃参数量（ $N_{act}$ ）、训练数据规模（ $D$ ）、专家数量的单调变换（ $\hat{E}$ ）以及架构选择（ $x$ ，包括专家粒度 $g$ 和共享专家 $s$ ）的函数。

优化目标是在满足以下约束的情况下最小化损失：

计算约束： 训练 FLOPs（ $F_{train} = 6N_{act}D$ ）和每 token 推理 FLOPs（ $F_{inf} = 2N_{act}$ ）。
内存约束： 总内存占用 $M(N_{total}, T)$ ，其中包括量化权重（ $b_w$ -bit）和上下文长度为 $T$ 时的 KV 缓存（ $b_{kv}$ -bit）。

2. 通过分治法进行架构设计

利用扩展定律，作者通过三项受控的消融研究确定了设备端 MoE 的最佳“甜蜜点”：

专家数量（ $E$ ）： 中等稀疏度为最优。增加 $E$ 会降低损失，但在 $E=8$ 之后收益递减。 $E=8$ 被选为受内存约束设备的实际最佳点。
专家粒度（ $g$ ）： 细粒度专家（将每个专家拆分为 $g$ 个子专家）允许更多样化的路由路径。研究发现 $g=8$ 是计算最优的粒度，相较于粗粒度专家能显著降低损失，且不会引入过多的开销。
共享专家（ $s$ ）： 引入一个始终在线的共享专家（稠密路径）可补充路由专家。在固定计算条件下，包含共享专家（ $s=\checkmark$ ）的配置比仅路由配置实现了更低的损失。

所得架构： 推导出的 MobileMoE 系列包含三种规模（S、M、L），其活跃参数量分别为 0.3B、0.5B 和 0.9B，总参数量分别为 1.3B、2.8B 和 5.3B。该设计采用 $E=8$ 、 $g=8$ （64 个细粒度路由专家）以及带有 top-4 路由的共享专家。

3. 四阶段训练方案

为实现架构优势，在开源数据集上采用了全面的训练流程：

预训练： 约 6T tokens，采用以网络数据为主的混合数据，以确保广泛的语言覆盖和专家专业化。技术包括无辅助损失的平衡、路由器 z-loss 以及用于效率的分组 MLP（GMM）内核。
中期训练： 约 500B tokens，专注于高质量领域特定数据（数学、代码、知识），将上下文扩展至 8k 并 sharpen 专家专业化。
指令微调（SFT）： 约 80M 样本，涵盖多样化领域，使用无丢弃 token 分发以保留结构化指令信号。
量化感知训练（QAT）： INT4 权重量化（组大小 32）配合 INT8 动态激活。关键的是，路由器权重保持在 FP32 以维持路由稳定性，仅增加微不足道的内存开销。

4. 高效的设备端推理

为了弥合与部署之间的差距，作者在 ExecuTorch 中实现了一个自定义的融合 MoE 内核。该内核：

通过重新排序 token，将稀疏专家分发转换为稠密的分组 GEMM。
将所有子操作（路由、分发、投影、激活、分散）融合为单个算子，以摊销内核启动和量化开销。
在商用智能手机 CPU（Snapdragon 8 Elite、Apple A18 Pro）和 GPU 上实现高效推理。

关键结果

基准测试性能

在 14 项基础基准测试（常识、知识、科学、阅读、推理）中，MobileMoE 确立了新的帕累托前沿：

与稠密模型相比的效率： MobileMoE-S/M 在相当的内存占用下，使用 2–4 倍更少的推理 FLOPs，即可匹配或超越领先的设备端稠密 LLM（如 MobileLLM-Pro、Llama 3.2 1B）。
与 MoE 模型相比的效率： MobileMoE-M 在 约 60% 更少的活跃参数和总参数 下，匹配了最先进模型 OLMoE-1B-7B 的准确率。MobileMoE-L 在 30% 更少的活跃参数 和 23% 更小的内存占用 下，超越了 OLMoE-1B-7B。
Token 效率： MobileMoE-L 仅使用约 6T 预训练 token 即实现了卓越性能，优于在 1.5–2 倍更多 token（例如 9T 的 Llama 3.2 1B）上训练的稠密基线。

设备端运行时分析

在 Samsung Galaxy S25 和 iPhone 16 Pro 上部署 INT4 权重后：

延迟： 与具有相当 INT4 权重内存占用的稠密 MobileLLM-Pro 基线相比，MobileMoE-S 实现了 1.8–3.8 倍更快的预填充（prefill） 和 2.2–3.4 倍更快的解码（decode）。
内存： 在 8k 上下文下，MobileMoE-S 消耗的峰值 RAM 比稠密基线最多 减少 22%。MobileMoE-L 在 8k 上下文下可适配 5 GB DRAM，证实了其在现代智能手机上的可行性。
准确率： MobileMoE-L 以适度的运行时成本提供了显著更高的准确率（平均 57.8 对比 MobileLLM-Pro 的 45.5），且随着上下文长度增加，该成本会进一步降低。

意义与主张

本文声称提出了首个专为边缘部署优化的 亚十亿活跃参数 MoE 系列，其源于一种新颖的设备端扩展定律。其意义在于三大主要贡献：

理论基础： 它提供了一个在联合内存和计算约束下进行 MoE 设计的原理性框架，确定了中等稀疏度（ $E=8$ ）、细粒度专家（ $g=8$ ）和共享专家是移动设备的最佳配置。
训练效率： 它证明了与稠密模型相比，MoE 架构可以用显著更少的训练 token（约 6T）实现最先进的设备端性能，验证了 MoE 在亚十亿规模下的学习效率。
实际部署： 通过提供首个在商用智能手机上的高效 MoE 推理，它弥合了通往移动部署的“最后一公里”。结果证实，MoE 不仅仅是一种云规模架构，更是下一代边缘 AI 的实用、高效路径，能够在智能手机和可穿戴设备上实现低延迟、隐私保护和成本效益的应用。

作者总结道，尽管现有的设备端模型仍主要为稠密模型，但 MobileMoE 证明了 MoE 为边缘提供了更优越的替代方案，确立了一个平衡准确率、内存和延迟的新帕累托前沿。