🤖 machine learning

Training-Free Halving of Activated Experts in Fine-Grained Mixture-of-Experts Models

本文提出了一种无需训练的方法，通过将专家选择与概率重归一化解耦，在推理时将细粒度混合专家模型的计算成本降低一半，从而通过针对更大的参考专家集而非缩减后的激活专家集进行归一化，来保持性能。

原作者： Xing Chen, Hengshuai Yao

发布于 2026-09-07✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xing Chen, Hengshuai Yao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

现代生成文本的人工智能系统通常采用一种将存储的总知识量与处理每个词时的思考量相分离的设计。想象一个包含数千本专业书籍的海量图书馆，但对于写下的每一个句子，系统只打开其中的几本书来寻找正确的信息。这种被称为“混合专家”（Mixture-of-Experts）的模型的方法，使得计算机能够存储海量数据，而不会在每次说话时都变慢。系统使用一个微小的内部指南来决定每处理一个词时应打开哪些特定的书，从而确保在任何时刻都只咨询总图书馆的一小部分。这创造了一个独特的情况：计算机必须保留所有的书在架上以应对任何话题，但它一次只阅读几页。

由于计算机必须在内存中保留所有这些专业章节，研究人员长期以来一直在寻找让系统更快的方法，即迫使它阅读更少的页面。标准的做法很简单：告诉系统在每个句子中开启更少的书。然而，这种直接的方法在历史上曾导致系统变得混乱并犯更多错误。这种混乱并非因为系统缺乏正确的书，而是因为当书籍数量减少时，系统衡量这些书重要性的方式发生了意外的变化。Xing Chen 和 Hengshuai Yao 的一项新研究揭示，这种混乱是由系统自动进行的一种隐藏的数学调整引起的，他们发现了一种无需重新训练系统或添加任何新组件即可关闭该调整的方法。

研究人员专注于两个非常大的语言模型，一个拥有 350 亿参数，另一个拥有近 4000 亿参数。这些模型在每一层处理过程中都设计有数百个微小的专业化部分，即“专家”。在标准运行中，系统为处理的每个词选择八个专家。当研究人员试图通过将这个数字减半（强制仅使用四个专家）来加速系统时，性能显著下降。在一项通用的知识测试中，准确率下降了近 5 个点。这种损失如此严重，以至于许多人曾认为减少活跃专家的数量成本太高，并不值得。研究人员怀疑，问题不在于丢失了专家本身，而在于系统重新校准剩余专家重要性的方式。

在标准设置中，当系统挑选其顶尖专家时，它会调整这些专家的影响力，使其总影响力始终等于一个固定的总量。这是一个保持系统稳定的安全机制。然而，在这些细粒度模型中，前八名专家通常只占据总可能影响力的很小一部分。当系统被强制只选四个专家时，标准的调整会乘以一个巨大的系数来增加它们的影响力，以弥补差额。这种突然的提升将系统推入了一个它从未经过训练处理的状态，导致它反应过度并产生错误。研究人员意识到，系统并不是真的缺少信息；它只是被要求比原本应该的程度“大声喊叫”。

为了解决这个问题，团队引入了一个简单的改变，既不需要训练，也不需要额外的计算能力。他们将决定使用哪些专家与决定如何衡量它们的权重分离开来。他们允许系统只挑选四个专家来工作，但告诉它根据前十六个专家而非仅仅是前四个专家来计算重要性权重。通过这样做，尽管系统只使用了半数的活跃部分，但它保持了与以往听到的相同的信息量。这个小小的调整——仅涉及改变一个整数设置——完全改变了结果。在 350 亿参数的模型上，使用这个新设置将活跃专家从八个减少到四个，导致准确率仅下降了 0.35 个点，这一差异微小到在统计学上与原始的、较慢的系统无法区分。

研究还测试了这种方法在规模大得多的 4000 亿参数模型上的表现，结果同样令人瞩目。使用标准方法将活跃专家减半会导致显著的性能损失，但使用这种新的权重方法将损失降低到了仅 0.55 个点。研究人员发现，这种新权重设置的最佳取值取决于具体的任务。例如，一个让系统在阅读文本时表现最佳的设置，并不总是能让它在逻辑谜题或知识测试中表现最佳。这一发现表明，仅仅通过测量压缩后的模型在阅读文本方面的表现，不足以保证它在其他任务中也能表现良好。研究人员得出结论，为了安全地减少这些模型的计算量，必须使用实际的性能测试来仔细调整这个权重设置，而不是仅仅依赖于文本的流畅度。

论文还探讨了为什么仅仅暂时减少使用的专家数量，而不是永久移除多余的专家，是非常困难的。他们发现，这些模型具有高度的专业化，不同的专家处理不同类型的内容，如代码或通用写作。由于专家如此专业化且系统平衡得如此之好，因此在不失去处理多样化话题的能力的情况下，几乎没有空间去永久删除它们。因此，最有效的途径不是丢弃模型的某些部分，而是简单地告诉它在处理时使用较少的部件，同时保持其处理的总信息量保持一致。这种方法提供了一种在不牺牲智能的前提下，通过纠正由于参与规则改变而产生的隐藏校准错误，使这些强大的系统变得更快、更高效的方法。

技术摘要：细粒度混合专家模型中激活专家数量的无训练减半方法

问题陈述

现代细粒度混合专家（MoE）模型（如 Qwen3 系列）在每一层利用数百个小型专家子网络，并将每个 token 路由至其中一小部分专家（ $k$ ）。虽然这种架构实现了参数量与单 token 计算量的解耦，但也造成了内存与计算的不对称性：所有专家都必须驻留在内存中，但只有一小部分是活跃的。

一种常见的降低推理计算量的方法是在运行时减少激活专家的数量（ $k$ ）。然而，标准的实现方式会隐式地对所选专家的路由概率进行重归一化，使其总和为 1。在细粒度路由中，前 $k$ 个概率之和通常仅占总概率质量的一小部分（例如，在 256 个专家中取前 8 个时，总和仅为 0.182）。因此，重归一化会对所选专家的输出应用显著的增益（放大因子）。

本文指出，在推理时减少 $k$ 而不调整这一重归一化过程，会将两种效应混淆：

容量损失（Capacity Loss）： 移除专家本身。
增益失校（Gain Miscalibration）： 剩余专家的权重被放大了，其放大倍数远高于模型训练时的水平，从而使专家分支对残差流的贡献超出了其校准范围。

这种失校会导致严重的性能下降（例如，在 35B 模型上将专家数从 8 个减半至 4 个时，MMLU 准确率下降了 4.65 个百分点），使得简单的 $k$ 值缩减看起来代价高昂。

方法论

作者提出了一种无需训练的方法，旨在将专家的**选择（Selection）与输出的归一化（Normalization，即增益校准）**解耦。

解耦重归一化

该方法不再通过前 $k_1$ 个所选专家的概率质量进行归一化，而是通过一个独立的参考集（前 $k_2$ 个专家）的概率质量进行归一化：

$w_i = \frac{p_i}{\sum_{j \in T_{k_2}} p_j}, \quad i \in T_{k_1}$

其中：

$k_1$ ：实际激活的专家数量（控制计算量）。
$k_2$ ：用于分母的参考集大小（控制增益）。
$T_{k_1}$ ：前 $k_1$ 个专家的索引集合。
$T_{k_2}$ ：前 $k_2$ 个专家的索引集合。

核心特性

零训练/零参数： 这仅需在推理时更改一个整数值（ $k_2$ ）。无需修改权重，也无需进行微调。
极低开销： 路由程序已经计算了所有 $E$ 个专家的概率。在已计算的 logits 上选择一个更宽的 $k_2$ 进行分母计算，其成本相对于评估专家 FFN 的成本而言可以忽略不计。
自适应缩放： 当 $k_2 > k_1$ 时，权重之和将小于 1，从而实现专家分支的输入自适应下调，有效地将增益锚定在训练分布上。

核心贡献与发现

1. 参考集是一个自由变量

论文证明了归一化分母并不一定要与激活数量相匹配。通过在减少 $k_1$ 的同时，将 $k_2$ 设置为模型的训练 $k$ 值（或处于 $[k, 2k]$ 范围内的值），可以保持增益不变。

结果： 在 Qwen3.6-35B-A3B 上，将激活专家从 8 个减至 4 个（ $k_1=4$ ），若使用标准重归一化（ $k_2=4$ ），MMLU 下降了 4.65 点。而使用所提方法（ $k_2=16$ ）时，下降仅为 0.35 点，这在统计学上与基线无异。
结果： 在规模大 11 倍的 Qwen3.5-397B-A17B 上，将专家数从 10 个减至 5 个（ $k_1=5$ ），使用 $k_2=10$ 时仅损失 0.55 点，而使用标准重归一化则损失 2.10 点。

2. 专家身份 vs. 权重分配

研究分析了模型是对“选择哪些专家”更敏感，还是对“如何分配权重”更敏感。

发现： 专家身份（Expert Identity）的重要性显著高于权重分配。将路由权重替换为均匀权重（保持相同的 top-8 选择）会导致困惑度（Perplexity）上升 49.7%。而随机选择专家则会导致困惑度上升 1667%。
启示： 这验证了所提方法的有效性：只要选择了正确的专家（ $k_1$ ），模型就可以容忍其权重大小的显著扭曲（通过 $k_2$ 校正）。

3. 困惑度 vs. 下游任务准确率

论文警告不要仅凭困惑度来选择压缩超参数。

发现： 在 35B 模型上，当 $k_2=8$ （训练时的 $k$ ）时困惑度最小，但当 $k_2=16$ 时 MMLU 准确率最高。困惑度最优的设置与准确率最优的设置相比，会导致 MMLU 出现 1.10 点的显著下降。
启示： 基于无标签文本（困惑度）来选择 $k_2$ 可能会导致次优配置。应当通过下游任务进行配对显著性检验来进行验证。

4. 专家剪枝的局限性

作者分析了完全移除专家（剪枝）与仅减少激活数量之间的可行性差异。

发现： 路由器的分布非常均衡，几乎没有“死亡”专家。此外，专家的专业化具有高度的领域依赖性（例如，WikiText 与 Code 的专家重叠度很低）。
启示： 对于通用模型而言，直接剪枝专家提供的提升空间很小，因为领域特定专家的并集几乎覆盖了整个专家集。对于这些细粒度模型，通过计算侧的杠杆（即使用修正后的 $k_2$ 来减少 $k_1$ ）比结构化剪枝更有效。

重要性与主张

本文声称，在细粒度 MoE 模型中，观察到的计算量减少与准确率之间的权衡，很大程度上是由于标准重归一化导致的隐式增益失校所产生的假象。

无训练的高效性： 该方法能够在不进行任何训练、蒸馏或参数修改的情况下，以极小的下游准确率损失实现激活专家计算量减半。
对先前工作的重新评估： 作者认为，先前报告的在细粒度模型中减少 $k$ 会导致“骤降”的现象可能过于悲观，因为他们没有对参考集进行解耦。
方法论转向： 论文倡导扫描 $k_2 \in \{k_1, k, 2k\}$ ，并通过下游任务的配对测试进行验证，而不是依赖于困惑度或默认的重归一化设置。

该工作受限于特定的 Qwen 系列模型以及英文和 Python 领域，且作者指出该效应随路由器的平坦度（flatness）而变化，这意味着粗粒度 MoE（例如 8 个专家，top-2 激活）可能受益较少。