🤖 AI

Expert Threshold Routing for Autoregressive Language Modeling with Dynamic Computation Allocation and Load Balancing

该论文提出了一种名为专家阈值（Expert Threshold）的新型路由机制，通过让每个专家基于全局令牌分布的指数移动平均阈值独立决定是否接收令牌，从而在无需辅助损失函数的情况下实现了动态计算分配与负载均衡，并在预训练实验中显著优于传统的令牌选择混合专家（TC-MoE）模型。

原作者： Hanchi Sun, Yixin Liu, Yonghui Wu, Lichao Sun

发布于 2026-03-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Hanchi Sun, Yixin Liu, Yonghui Wu, Lichao Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种让大型人工智能（AI）模型变得更聪明、更高效的新方法。为了让你轻松理解，我们可以把训练一个 AI 模型想象成经营一家拥有无数位“专家”的超级咨询公司。

1. 背景：为什么需要“专家”？

想象一下，你开了一家巨大的咨询公司，里面有成千上万名专家（比如数学专家、编程专家、历史专家等）。

传统做法（稠密模型）： 无论客户问什么问题，所有专家都要一起开会讨论。这太慢了，而且浪费资源。
混合专家模型（MoE）： 现在的流行做法是，每个问题只派少数几位最相关的专家去处理。比如问数学题，只派数学专家；问代码，只派程序员。这样既快又省资源。

2. 现有的两个“派系”及其问题

在如何决定“派谁去”这个问题上，以前主要有两种流派，但它们都有明显的缺点：

流派 A：令牌选择（Token Choice, TC）——“客户挑人”

做法： 每个问题（Token）自己决定：“我要找前 2 个最合适的专家”。
问题： 就像大家都去抢那几位最出名的专家，结果大专家累死，小专家闲死（负载不均）。为了解决这个问题，公司不得不搞一些复杂的“平衡计分卡”（辅助损失函数），强行把大家拉平，但这就像强行给专家发任务，效率不高，而且计算起来很麻烦。

流派 B：专家选择（Expert Choice, EC）——“专家挑人”

做法： 反过来，让每位专家说：“我要挑前 100 个最擅长的问题”。
优点： 这样天然就负载均衡了，每位专家工作量一样，不需要额外的平衡手段。
致命缺点（因果性问题）： 这就像专家在挑人时，必须同时看到所有客户（包括未来的客户） 才能决定挑谁。
- 在训练时，这没问题，因为数据都在。
- 但在实际应用（推理） 时，AI 是像写文章一样一个字一个字往外蹦的。当 AI 写到第 5 个字时，它根本不知道第 6 个字是什么。如果非要等所有字都出来再决定派谁，AI 就卡死了，没法实时回答。这就叫“非因果”（Non-causal）。

3. 本文的解决方案：专家阈值路由（Expert Threshold, ET）

这篇论文提出了一个聪明的新办法，叫**“专家阈值路由”**。

核心比喻：动态的“及格线”

想象每位专家手里都有一条**“及格线”**（阈值）。

以前： 专家必须等所有客户都来了，排个队，挑前 100 个（这就导致了上面的“非因果”问题）。
现在（ET）： 专家不需要等所有人。他们心里有一条动态的“及格线”。
- 如果一个问题的难度分数超过了这条线，专家就接这个活。
- 如果没超过，就拒绝。

这条线是怎么来的？

这条线不是固定的，而是专家根据历史上处理过的所有问题，算出来的一个**“平均水位”**（论文里叫 EMA，指数移动平均）。

就像学校老师根据过去几年的考试情况，知道大概多少分算“优秀”。
如果今天来的学生分数很高，超过了这个“优秀线”，老师就收他；如果分数一般，就让他去别的老师那里。

4. 为什么这个方法这么牛？

完全“因果”（Causal）：
- 因为每个专家只看当前这个字（问题）的分数，跟未来的字没关系。
- 比喻： 就像你过安检，只要你的行李重量超过了 20 公斤，你就得走特殊通道。你不需要知道后面还有多少人，也不需要等后面的人来了再决定。你可以立刻通过。这让 AI 在实时聊天、写代码时毫无压力。
自动负载均衡：
- 虽然每个专家是独立做决定的，但因为那条“及格线”是根据全局平均水平动态调整的，所以长期来看，每个专家接到的活儿数量是自动平衡的。
- 比喻： 就像自动调节的水闸。如果大家都挤过来，水位（分数）高了，水闸（阈值）就会自动升高，挡住一部分人，让水流均匀分布。不需要人工去指挥谁去谁不去。
不需要“作弊”：
- 以前的方法为了平衡负载，需要加一些额外的“惩罚分”（辅助损失），就像老师为了平衡班级人数，强行把高分学生调到低分班，这其实是在“作弊”。
- 新方法完全靠自然机制，不需要任何额外的惩罚，更纯粹，效果更好。

5. 实验结果：真的有用吗？

作者们用这个新方法训练了一个 24 亿参数的大模型，结果非常惊人：

更聪明： 在同样的训练数据下，它的错误率比传统的“客户挑人”方法低了 0.067。
更省钱： 要达到同样的聪明程度，它只需要别人 1.6 倍少 的训练数据（相当于省了 60% 的算力成本）。
更稳定： 在训练和实际使用时，表现非常一致，没有“训练时很强，一用就废”的问题。

总结

这篇论文就像给 AI 公司设计了一套**“智能自动分单系统”**：

它不再让每个问题自己抢着找专家（避免拥堵）。
也不让专家等所有问题都来了再挑（避免卡顿）。
而是让每位专家心里有一把动态的尺子，遇到够格的就接，不够格的就放。

这套系统既保证了公平（大家工作量一样），又保证了效率（实时响应，不用等），还让 AI 变得更聪明、更省钱。这是让大型语言模型走向更广泛应用的关键一步。

论文技术总结：基于动态计算分配与负载均衡的专家阈值路由自回归语言模型

1. 研究背景与问题 (Problem)

混合专家模型（Mixture-of-Experts, MoE）通过稀疏激活部分专家网络，成功实现了模型容量与计算成本的解耦，成为扩展大语言模型（LLM）的主流架构。然而，现有的稀疏路由机制面临两个核心矛盾：

Token Choice (TC) 路由的局限性：
- 机制：每个 Token 固定选择前 $G$ 个专家。
- 问题：这种固定稀疏性导致负载难以平衡。路由器倾向于坍缩到少数专家，造成未使用的专家成为冗余参数，同时导致硬件负载不均（部分设备空闲，部分过载）。
- 代价：为了缓解负载不均，通常需要引入辅助损失函数（Auxiliary Losses）或 PID 控制器，这增加了训练的不稳定性并可能损害模型性能。
Expert Choice (EC) 路由的因果性缺陷：
- 机制：每个专家从批次中选择前 $k$ 个 Token（即“专家选择”而非"Token 选择”）。
- 优势：实现了完美的负载均衡，并支持动态计算分配（根据 Token 重要性分配不同数量的专家）。
- 致命缺陷：EC 路由是非因果的（Non-causal）。在自回归生成中，选择前 $k$ 个 Token 需要比较当前 Token 与未来 Token 的分数。在训练时这会导致信息泄露，在推理时未来 Token 根本不存在，因此 EC 无法直接用于自回归语言模型。

核心挑战：如何设计一种路由机制，既能像 EC 那样实现动态计算分配和完美的负载均衡，又能像 TC 那样保持完全的因果性（Causal），且无需辅助损失？

2. 方法论：专家阈值路由 (Expert Threshold Routing, ET)

作者提出了**专家阈值（Expert Threshold, ET）**路由机制，通过引入基于全局分布的阈值估计，解决了上述矛盾。

核心思想

ET 不再强制每个 Token 选择固定数量的专家，也不强制每个专家在批次内选择固定数量的 Token，而是要求在期望（Expectation）上，每个专家被选中的概率达到目标激活率（即 $1/E$ ，其中 $E$ 是专家扩展因子）。

具体实现步骤

全局阈值估计 (Global Threshold Estimation)：
- 每个专家 $i$ 维护一个**指数移动平均（EMA）**阈值 $c_i$ 。
- 该阈值基于全局 Token 分布中路由器 Logits 的统计量进行更新（具体为每个批次中第 $k$ 大的 Logits 的 EMA，其中 $k$ 对应目标激活数量）。
- 公式： $c_i \leftarrow \beta c_i + (1-\beta) \cdot \text{Top-}k(\{r_{t,i}\}_{t=1}^N)$ 。
独立路由决策 (Independent Routing)：
- 对于每个 Token $t$ 和专家 $i$ ，计算路由器分数 $r_{t,i}$ 。
- 如果 $r_{t,i} > c_i$ ，则将该 Token 路由给专家 $i$ （ $z_{t,i}=1$ ），否则不路由。
- 关键特性：决策仅依赖于当前 Token 的分数和该专家的历史统计阈值，完全不需要访问批次中的其他 Token（包括未来 Token）。
训练与推理的一致性：
- 由于训练和推理都使用相同的 EMA 阈值机制，ET 消除了 TC 和 EC 中常见的训练 - 推理不匹配（Train-Inference Mismatch）问题。
冷启动策略 (Warmup)：
- 在训练初期，EMA 阈值尚未收敛，直接路由会导致专家“饥饿”（大部分 Token 分数低于阈值）。
- 解决方案：前 4000 步使用标准的 EC 路由（Top-k 选择）进行预热，待阈值统计稳定后，无缝切换到 ET 路由。

3. 主要贡献 (Key Contributions)

提出 ET 路由机制：首次实现了在自回归语言模型中，无需辅助损失即可同时获得动态计算分配和完美负载均衡的路由方案。
解决因果性难题：通过 EMA 阈值将“批次内 Top-k 选择”转化为“基于全局分布的阈值判断”，彻底消除了 EC 路由对未来的依赖，使其适用于自回归生成。
理论分析与证明：
- 证明了 EC 路由在无限精度下存在 $O(N \log N)$ 的未来信息泄露，而 ET 基于有限精度的浮点数阈值，保证了因果性。
- 建立了 ET 与“无限大批次”EC 路由的理论联系，证明了 ET 是 EC 在批次趋于无穷大时的极限近似。
无需辅助损失：摒弃了传统的辅助损失函数，简化了训练流程并提升了模型性能。

4. 实验结果 (Results)

作者在 FineWeb-Edu 数据集上预训练了不同规模的模型（575M 和 2.4B 参数），对比了 Dense、TC（含辅助损失/无辅助损失）、EC（不同批次大小）和 ET。

性能提升：
- 在 2.4B 参数模型上，ET 的交叉熵损失（Cross-Entropy Loss）比 TC 降低了 0.067。
- 这一提升相当于使用 1.6 倍更少 的 Token 即可达到相同的性能水平。
- ET 在 CORE 基准测试中得分显著高于 TC，且与大规模批次的 EC 相当。
负载均衡：
- ET 实现了近乎完美的负载均衡，专家利用率波动极小，且无需辅助损失。
- 相比 EC，ET 在推理阶段无需大批次协调，且训练 - 推理差距极小。
动态计算分配：
- ET 能够根据 Token 的难易程度动态调整计算量。实验显示，模型对结构重要 Token（如标点、数字、边界）分配了更多计算资源，而对普通词汇分配较少。
专家专业化：
- 热力图分析表明，ET 训练出的专家表现出与大规模批次 EC 相似的领域专业化（Domain Specialization），即特定专家专注于代码或数学等特定领域。

5. 意义与影响 (Significance)

填补了 MoE 架构的空白：ET 成功弥合了“专家选择（EC）”的高性能与“自回归生成（Causal Generation）”之间的鸿沟，使得 EC 的优势（动态计算、完美负载均衡）能够应用于实际的大规模语言模型推理。
简化了训练流程：去除了对辅助损失函数的依赖，减少了超参数调优的复杂性，并避免了辅助损失可能带来的性能妥协。
为未来架构指明方向：证明了基于“群体统计量（Population-level Statistics）”而非“批次内统计量（Batch-level Statistics）”的路由策略是扩展 MoE 模型的有效途径。
实际部署价值：由于 ET 在推理时完全因果且无需大批次协调，它非常适合在生产环境中部署，能够显著降低推理延迟并提高硬件利用率。

总结：这篇论文提出了一种优雅且高效的解决方案，通过引入基于 EMA 的全局阈值，将专家选择路由转化为完全因果的机制，在不牺牲性能的前提下解决了 MoE 模型在自回归场景下的负载均衡和因果性难题。