💬 NLP

$\infty$ -MoE: Generalizing Mixture of Experts to Infinite Experts

该论文提出了 $\infty$ -MoE，这是一种新颖的架构，它通过为每个 token 选择大型前馈网络参数的连续部分，将混合专家模型（Mixture of Experts）推广到无限空间，从而在实现与规模大得多的稠密模型相当的性能的同时，能够高效地训练海量数量的专家，并提供灵活的精度-速度权衡。

原作者： Shota Takashiro, Takeshi Kojima, Shohei Taniguchi, Yusuke Iwasawa, Yutaka Matsuo

发布于 2026-01-27

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shota Takashiro, Takeshi Kojima, Shohei Taniguchi, Yusuke Iwasawa, Yutaka Matsuo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在经营着一座规模宏大、高科技的图书馆，其中的每一本书都代表着一份知识。在传统图书馆（标准 AI 模型）中，你拥有几位非常庞大且通用的图书管理员。当你提出一个问题时，所有的管理员都会尝试回答它，然后将答案融合在一起。这种方式很准确，但速度慢且成本高，因为你是在付钱让所有人为你处理每一个问题。

为了解决这个问题，研究人员发明了混合专家模型（Mixture of Experts, MoE）。与其让所有人同时工作，不如由一位“首席管理员”（称为路由器）来观察你的问题，并挑选出恰好两位特定的管理员来回答。这比之前更快、更便宜。然而，这里有一个限制：在传统的设置中，你必须决定到底要雇佣多少位管理员（比如 16 位或 100 位）。如果你雇佣的人太多，首席管理员就会对该选谁感到困惑，导致整个系统的训练变成一场噩梦。这就像试图管理一个 1,000 人的团队，但你每次只能同时与两人沟通；这很难让所有人保持同步。

新理念：∞-MoE（无限混合专家模型）

来自东京大学的作者们提出了一个大胆的问题：如果我们根本不设定固定的专家数量呢？如果我们拥有无限数量的专家呢？

他们将这种新系统称为 ∞-MoE。以下是它的工作原理，使用了一个简单的类比：

1. 连续的“专家空间”

在旧系统中，你的管理员是排成一列的（比如 1 号、2 号、3 号管理员）。但在新系统中，想象一下这些管理员分布在一个无限且连续的地图上。

在旧系统中，你必须在地图上选取特定的点（比如“坐标为 5 的管理员”）。
在新系统中，首席管理员会为你的每一个问题在地图上画出一片云团。这片云团代表了一系列可能会有所帮助的专家范围。

2. 采样而非挑选

当你提出一个问题时，首席管理员并不只是挑选两个特定的专家。相反，他会从那片云团中提取一个“快照”（样本）。

他可能会选取坐标为 5.2 的一个点。
他也可能选取坐标为 5.3 的一个点。
因为地图是连续的，所以每次他提取快照时，得到的都是一个从未存在过的、独特的专家。

3. “掩码”（开启与关闭神经元）

如何在没有构建无限台计算机的情况下拥有无限的专家？秘密在于掩码（Mask）。
把 AI 的大脑想象成一个巨大的灯泡阵列（神经元）。

在标准 AI 中，所有的灯泡都是亮着的。
在旧的 MoE 中，路由器会为专家 #1 开启一组特定的灯泡，为专家 #2 开启另一组不同的灯泡。
在 ∞-MoE 中，“样本”（地图上的坐标）就像是一个模板（Stencil）。系统会获取这个巨大的灯泡阵列，并利用这个模板，针对该特定问题只开启其中最亮的 25% 的灯泡。
因为模板是基于一个连续的数值，所以每一次提问都会产生略微不同的灯泡开启模式。这就像是为你的每一句话都打造了一个独特的、定制化的工具，但你只是利用现有的零件来构建这个工具。

为什么这很重要？

论文在两个模型（GPT-2 Small 和 Medium）上进行了测试，并发现了令人印象深刻的结果：

以更少的“活跃”大脑实现更好的性能：
拥有 1.29 亿个活跃参数（实际工作的部分）的 ∞-MoE 模型，其表现与一个拥有 3.5 亿个参数的标准稠密模型一样出色。这就像是用小脑的能量，获得了巨型大脑的智能。
灵活性：
在旧的 MoE 中，如果你想提高速度，就必须重新训练整个模型。而在 ∞-MoE 中，你可以在提问时直接改变你提取的“样本”（快照）数量。
- 需要速度？减少样本量（减少专家数量）。
- 需要最高精度？增加样本量。
- 论文显示，仅仅通过调整这个设置，你就可以在不改变模型本身的情况下，获得比标准 MoE 高出 2.5% 的准确率提升。
稳定性：
在旧系统中，增加专家数量的一个主要问题是它们会变得不稳定且难以训练。由于 ∞-MoE 将专家视为一个平滑的、连续的空间，而不是一组跳跃的、独立的名单，因此即使“专家数量”向无穷大增长，训练过程依然保持稳定。

局限性（不足之处）

作者们也诚实地指出了他们尚未解决的问题：

规模扩展： 他们在中小规模模型上进行了测试。他们目前还不确定这种方法在当今公司使用的超大规模模型（如 GPT-4 规模）上的表现如何，尽管他们预计效果会很好。
硬件速度： 虽然数学逻辑上它应该很快，但实际的计算机代码非常复杂。因为对于每一个单词，被开启的“灯泡”都在变化，这使得标准的计算机芯片很难高效地同时处理它们。他们必须编写特殊的代码来使其运行得更快，而这方面仍有改进空间。

总结

∞-MoE 就像是从一个固定的专家团队升级到了一个可以变形的、无限的专家团队。你不再是雇佣 100 个特定的专家，而是拥有了一台神奇的机器，它能利用极小部分的计算能力，为你的每一个问题即时创造出一个独特且完美的专家。它让 AI 变得更聪明、更灵活，而不会被庞大且静态的大脑所拖累。

技术摘要：∞-MoE：将混合专家模型推广至无限专家

1. 问题陈述

大型语言模型（LLMs）通过扩展参数、数据和计算量取得了显著的性能提升。然而，单纯增加模型规模会带来巨大的计算和内存开销。混合专家（Mixture of Experts, MoE）架构通过将每个 token 路由到专门专家的稀疏子集，在不线性增加单 token 计算成本的情况下，扩展了参数容量。

尽管有这些优势，传统的 MoE 在扩展专家数量时面临局限性：

离散约束： 专家被视为离散空间中完全独立的实体。
训练不稳定： 随着专家数量的增加，有效训练每个专家变得更加困难。
路由开销： 激进地增加专家池（例如达到数百万个）会导致路由开销增长或专家过度压缩，从而降低准确率。

核心问题在于：是否可以通过超越有限的专家集，转向一个实际上无限的专家空间，同时保持计算效率，从而进一步提升性能。

2. 方法论：∞-MoE

作者提出了 ∞-MoE，这是一个将 MoE 从离散专家集推广到连续且潜在上不可数无限专家空间的框架。

2.1 连续专家空间

与标准 MoE（路由器从集合 $Z = \{1, \dots, n\}$ 中选择离散索引 $i$ ）不同，∞-MoE 将专家空间定义为连续域 $Z \subseteq \mathbb{R}^{d_z}$ 。

路由器： 路由器在连续空间上输出概率密度 $p(z|x)$ ，建模为高斯分布 $\mathcal{N}(z | \mu(x), \Sigma(x))$ 。
采样： 在训练和推理期间，模型从连续专家索引 $p(z|x)$ 中采样 $K$ 个 $z^{(k)}$ 。
积分： 输出通过蒙特卡洛采样进行近似： $y \approx \frac{1}{K} \sum_{k=1}^K f(x, z^{(k)})$ 。

2.2 通过动态掩码设计专家

为了在固定的参数预算内实现无限数量的专家，作者使用采样的连续索引 $z$ 来调制单个前馈网络（FFN）。

机制： 采样的 $z$ 被用于生成一个掩码，动态地选择 FFN 中间层中的神经元子集。
实现：
1. 计算中间值 $\hat{m} = W_z z$ 。
2. 应用 Top- $N\%$ 算子以保留最大的 $N\%$ 个节点，将其余部分设为零。
3. 最终的专家输出为 $f(x, z) = W_2 (\text{Act}(W_1 x) \odot \text{mask}(z))$ 。
效果： 每个不同的采样 $z$ 激活 FFN 参数的一个独特子集，从而在保持传统 MoE 稀疏特性的同时，从连续体中创造出一个独特的“专家”。

3. 核心贡献

理论泛化： 本文引入了一种公式化方法，将 MoE 从离散专家池扩展到连续域，在理论上允许无限数量的专家。
高效实现： 通过结合连续采样与动态神经元掩码，该方法实现了无限专家的容量，同时保留了稀疏路由的计算效率（每个 token 仅激活极小比例的参数）。
灵活推理： 该方法允许在推理时通过调整采样数量 $K$ ，实现准确率与速度之间的灵活权衡。
定制算子优化： 作者开发了一个融合 CUDA 内核来高效处理掩码和归约操作，实现了比标准 PyTorch 实现快 1.25 倍的加速。

4. 实验结果

作者在各种零样本 NLP 基准测试（BoolQ, HellaSwag, WinoGrande, ARC, OpenBookQA, RACE）上对基于 GPT-2 Small 和 GPT-2 Medium 架构的 ∞-MoE 进行了评估。

性能对比密集模型： 一个基于 GPT-2 Small 的 ∞-MoE（129M 激活参数，186M 总参数）实现了 39.8 的平均分，超过了得分 39.8 的密集型 GPT-2 Medium（350M 参数）（两者平均分持平，但 ∞-MoE 使用的激活参数更少）。具体而言，∞-MoE 优于密集型 GPT-2 Small（38.5）和标准 MoE 变体。
性能对比标准 MoE： 在所有基准测试中，∞-MoE 的表现始终优于 Switch Transformer (Top-1) 和标准 MoE (Top-2)。对于 GPT-2 Small，它将平均分从 38.8（MoE）提升到了 39.8。
随 $K$ 的缩放： 在推理过程中增加采样数 $K$ 会带来额外的准确率提升。即使在极简采样（ $K=1$ ）的情况下，该模型仍比标准 MoE 保持了 2.5% 的准确率提升。
稳定性： 路由熵测量表明，模型在训练期间迅速稳定，具有较高的归一化路由熵（ $\approx 0.9$ ），这表明专家空间得到了均匀利用。
消融实验：
- 数据集大小： 在 HellaSwag 上的性能随训练数据量增加而正向扩展，最高达到 1000 亿个 token。
- 索引维度： 增加连续索引 $z$ 的维度可提升性能，最高在 $d_z=128$ 时达到顶峰，更高维度未观察到进一步收益。

5. 重要性与主张

论文声称 ∞-MoE 成功弥合了密集模型的高容量与稀疏 MoE 的高效率之间的差距。通过将专家视为连续空间，该方法实现了“无限”的专业化，同时避免了大规模离散专家池带来的训练不稳定问题。

作者强调，该框架提供了一个灵活的速度-准确率权衡：用户可以在推理时调整采样的专家数量（ $K$ ），以满足特定的延迟或硬件约束，而无需重新训练。

6. 局限性与未来工作

作者明确指出了几个局限性和开放挑战：

向更大模型扩展： ∞-MoE 在大于 GPT-2 Medium（如 GPT-3 规模）的模型上的表现尚未得到充分理解，特别是关于总参数与激活参数之间的权衡。
路由器分布： 当前实现使用的是单峰高斯路由器。更复杂的分布（例如高斯混合模型）可能会提供更好的覆盖范围，但会引入训练方差和采样复杂性。
领域泛化： 该方法在非 NLP 领域（如视觉 Transformer 或多模态模型）中的适用性仍有待探索。
硬件效率： 虽然理论 FLOPs 较低，但由于活跃神经元集的动态特性，实际吞吐量可能会受到阻碍，这使得批处理和使用固定形状的 GEMM 变得复杂。作者指出，目前的实现通过掩码密集矩阵乘法优先考虑吞吐量，但要缩小理论计算节省与实际速度之间的差距，仍需要进一步的系统级优化。