💬 NLP

Mixture-of-Experts Can Surpass Dense LLMs Under Strictly Equal Resource

本文证明，通过识别一个在不同模型规模下保持一致的最优激活率，混合专家（MoE）语言模型在总参数量、计算量和数据量严格相等的资源约束下，能够超越稠密模型，这一发现已通过训练近 250 个模型和处理 50 万亿个词元的广泛实验得到验证。

原作者： Houyi Li, Ka Man Lo, Shijie Xuyang, Ziqi Wang, Wenzhen Zheng, Haocheng Zhang, Zhao Li, Shuigeng Zhou, Xiangyu Zhang, Daxin Jiang

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Houyi Li, Ka Man Lo, Shijie Xuyang, Ziqi Wang, Wenzhen Zheng, Haocheng Zhang, Zhao Li, Shuigeng Zhou, Xiangyu Zhang, Daxin Jiang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在建造一座庞大的知识图书馆。你有一个严格的预算：你只能购买特定数量的书籍（参数），只能花费特定时间阅读它们（计算量），并且只能获取特定数量的独特故事来阅读（数据）。

很长一段时间以来，建造这座图书馆的标准方法是雇佣一位超级聪明的巨型图书管理员，让他为每一个问题阅读图书馆里的每一本书。这就是论文中所称的稠密模型（Dense Model）。它很可靠，但速度慢且成本高昂，因为那位唯一的图书管理员必须承担所有繁重的工作。

最近，一种名为**混合专家模型（Mixture-of-Experts, MoE）**的新理念变得流行起来。你不再雇佣一位巨型图书管理员，而是雇佣一个由 100 位专业化专家组成的团队。当一个问题提出时，一位“经理”（门控机制）会迅速挑选出少数几位最合适的专家来回答问题，而其余专家则去喝杯咖啡休息。这种方法更快，并且允许你拥有规模大得多的图书馆（更多的总书籍量），而不会降低阅读速度。

核心问题
这篇论文提出了一个非常具体且棘手的问题：如果我们给“一位巨型图书管理员”和“专家团队”完全相同的书籍、时间和独特故事的预算，专家团队真的能获胜吗？

以往的研究经常通过给专家团队更多的书籍或更多时间来作弊。这篇论文旨在观察在规则严格对等的情况下，团队是否仍能获胜。

实验：寻找最佳平衡点
研究人员并没有盲目地砸钱解决问题，而是像大师级建筑师一样行事。他们构建了近 200 种不同版本的图书馆，以寻找完美的设计方案。

架构：他们确定了安排专家的最佳方式。他们发现，在开头设置一个“通才”层（类似于标准的稠密层），随后接专家层，效果最好。
激活率（“喝咖啡”比例）：这是最重要的发现。在 MoE 团队中，“激活率”是指实际醒来处理问题的专家所占的百分比。
- 如果唤醒的专家太少（比率过低），团队的脑力就不够。
- 如果唤醒的专家太多（比率过高），团队会感到困惑并失去其特有的专注力。
- 黄金法则：研究人员发现了一个“最佳平衡点”，即恰好有**20%**的专家被唤醒。无论图书馆规模是小型（20 亿本书）还是中型（70 亿本书），这 20% 的规则始终能产生最佳结果。

数据问题：复用故事
这里有一个陷阱。由于专家团队非常高效，他们需要阅读更多的故事才能达到与巨型图书管理员同等的学习效果。如果你给他们的独特故事数量与巨型图书管理员相同，他们就会落后。

为了解决这个问题，研究人员尝试了一种称为**数据复用（Data Reuse）**的策略。想象一下，巨型图书管理员将故事阅读一次。而专家团队阅读同一个故事，但他们会阅读两次或三次（复用数据）。

结果：即使专家团队被迫通过重读来阅读与巨型图书管理员相同的独特故事，只要他们坚持 20% 的激活率，他们仍然能够超越巨型图书管理员。

结论
论文得出结论：是的，专家团队可以击败巨型图书管理员，即使他们拥有完全相同的总资源（书籍、时间和独特故事）。

然而，这只有在满足以下条件时才有效：

完美设计团队布局。
将专家的“唤醒”率保持在神奇的20%。
允许团队额外重读几次相同的故事，以弥补效率差距。

简而言之，这篇论文证明，凭借正确的设计和一点点“重读”，一个专业化的专家团队比单一的庞大工作者是构建智能系统更强大的方式，即使预算完全相同。

技术摘要：在严格资源相等条件下，混合专家模型可超越稠密大语言模型

问题陈述
尽管混合专家（MoE）语言模型因能在不增加每 token 计算量的情况下扩展模型容量而广受认可，但一个关键问题仍未解决：当严格受限于相同的总参数量（ $N$ ）、总训练计算量（ $C$ ）和总数据预算（ $D$ ）时，MoE 架构能否优于稠密架构？此前的比较往往通过放宽这些约束（例如允许 MoE 使用更多数据，或比较参数量截然不同的模型）而倾向于 MoE。本文旨在填补这一认知空白，探究在严格资源对等的条件下，仅凭架构优势是否能产生更优越的性能。

方法论
作者提出了一种新视角，并采用严格的三步实验方法论，以确保在固定的 $N$ 、 $C$ 和 $D$ 下进行公平比较：

优化架构搜索：在比较激活率之前，作者系统地优化了 MoE 骨干网络。他们研究了层排列方式（全 MoE、交错式或 1 个稠密层+MoE）、门控分数归一化、参数分配（Top- $K$ 设置）以及结构超参数（模型纵横比 $\zeta$ 和 FFN 扩展比）。他们确定了一种具有特定结构比例（ $\zeta \approx 88$ ， $\mu \approx 22$ ）的"1 个稠密层 + 共享专家”配置为最优骨干网络。
固定 $N$ 和 $C$ 下的激活率（AR）分析：利用优化后的骨干网络，作者训练了具有不同激活率（ $r_a$ ，即激活参数与总参数之比）的 MoE 模型，同时使其总训练计算量与稠密基线相匹配。为了保持 $C$ 相等，MoE 模型（其每 token 计算量较低）最初会在成比例更多的 token 上进行训练。
数据复用策略：为了严格等同唯一数据预算（ $D$ ），作者引入了一种数据复用策略。他们在一个较小的、固定的唯一数据集 $\hat{D}$ 上训练模型多个 epoch。他们将“严格”复用（精确匹配 $N, C, D$ ）和“宽松”复用（固定 epoch 数为 2）与在唯一数据上训练的稠密基线进行比较。

关键结果
该研究涉及在 2B 规模下训练近 200 个模型，在 7B 规模下训练超过 50 个模型，累计处理了 50 万亿个 token。

最优激活率的存在：实验揭示了一个稳定的“最优激活率”区域（ $R^*_a$ ），在此区域内 MoE 模型始终优于其稠密对应物。该最优率约为 20%（ $r_a \approx 0.2$ ）。
性能优越性：在固定的 $N$ 和 $C$ 下， $r_a \approx 20\%$ 的 MoE 模型实现了比稠密模型更低的损失（即更好的性能）。具体而言，具有最优激活率的 2B MoE 模型优于使用相同计算量训练的稠密模型，并接近使用双倍计算量训练的稠密模型的性能。
跨规模的一致性：约 20% 的最优激活率在不同模型规模（2B、3B 和 7B）下保持一致，表明该发现在测试范围内独立于规模。这与一些认为最优稀疏度随模型规模变化的先前工作形成对比。
数据复用有效性：数据复用策略成功抵消了 MoE 模型额外的数据需求。虽然与在唯一数据上训练相比，复用数据会导致性能轻微下降，但即使在严格的数据约束下，具有最优激活率的 MoE 模型仍优于稠密基线。
下游泛化能力： $r_a \approx 20\%$ 的 MoE 模型的优越性泛化到了下游任务（SFT），涵盖推理、知识、数学和代码基准测试。值得注意的是，数据复用对推理任务几乎没有负面影响，但会损害知识性能；然而，在最优激活率下，使用复用数据进行 SFT 的 MoE 模型仍优于在唯一数据上训练的稠密模型。

意义与主张
本文声称提供了首个确凿证据，证明在严格相等的资源约束（ $N, C, D$ ）下，只要架构经过优化且激活率落在已识别的最优区域内，MoE 架构就能超越稠密大语言模型。

架构优势：性能提升完全归因于架构优势，而非参数量或计算预算的差异。
资源效率：这些发现挑战了“在资源固定时稠密模型更优”的传统观念，为下一代 NLP 系统中更高效的资源架构铺平了道路。
实用策略：引入数据复用策略表明，MoE 模型的额外数据需求可以得到缓解，从而无需显著大于稠密模型的数据预算即可实现更优越的性能。

作者承认了局限性，包括受计算成本限制未训练超过 7B 的模型，以及专注于特定 MoE 组件而固定其他组件。他们建议未来的工作可以探索最优激活率如何在其他训练范式（如向上扩展/upcycling 和 MoE 化/MoEfication）中增强能力。

类似论文