💬 NLP

Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks

该论文通过控制计算预算训练混合专家（MoE）模型族，揭示了在固定训练损失下增加活跃计算量可提升推理能力、而记忆与推理任务对“总 token 数与参数量之比（TPP）”存在不同依赖的规律，从而提出应结合活跃 FLOPs 与 TPP 共同确定 MoE 最优稀疏度的新原则。

原作者： Taishi Nakamura, Satoki Ishikawa, Masaki Kawamura, Takumi Okamoto, Daisuke Nohara, Jun Suzuki, Rio Yokota

发布于 2026-03-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Taishi Nakamura, Satoki Ishikawa, Masaki Kawamura, Takumi Okamoto, Daisuke Nohara, Jun Suzuki, Rio Yokota

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个非常有趣的问题：在构建像大语言模型（LLM）这样的“超级大脑”时，如何平衡“大脑的总容量”和“每次思考时实际动用的脑细胞”？

为了让你更容易理解，我们可以把训练一个 AI 模型比作组建一个庞大的“专家顾问团”。

1. 核心背景：两种不同的“大脑”架构

传统模型（Dense Models）： 就像一个全能型专家。每次遇到一个问题，这个专家必须调动他脑子里所有的知识储备来回答。无论问题多简单，他都要全神贯注，消耗大量精力。
混合专家模型（MoE）： 就像一个拥有成千上万名专家的超级智库。
- 总参数（Total Parameters）： 智库里所有专家的总和（比如 100 万人）。
- 活跃参数（Active Parameters）： 每次遇到具体问题，真正被叫出来干活的那几个人（比如每次只叫 2 个专家）。
- 稀疏性（Sparsity）： 智库里大部分专家平时都在“摸鱼”，只有少数几个在干活。

以前的观点认为： 只要智库的总人数（总参数量）够多，或者每次叫来干活的人（活跃参数量）够多，模型就越聪明。

但这篇论文发现： 事情没那么简单。对于**“死记硬背”和“逻辑推理”**这两种能力，最优的“专家配置”是完全不同的。

2. 两大发现：记忆 vs. 推理

论文通过实验发现，这两种能力对“专家配置”的需求截然不同：

🧠 能力一：死记硬背（记忆技能）

例子： triviaQA（常识问答）、HellaSwag（常识推理）。
比喻： 这就像**“背单词”或“查百科全书”**。
发现： 只要你的智库总人数（总参数量）够多，哪怕每次只叫 1 个专家出来干活，效果也越好。
结论： 记忆能力是**“参数饥渴型”的。专家越多，能存下的知识就越多，越不容易忘。这时候，“稀疏”（让大部分专家休息，只叫少数人）**是划算的，因为你可以用同样的算力构建一个巨大的知识库。

🧮 能力二：逻辑推理（推理技能）

例子： GSM8K（数学题）、代码生成。
比喻： 这就像**“解一道复杂的数学题”或“写一段复杂的代码”。这需要深度思考，需要多个专家同时**协作，甚至需要反复推敲。
发现： 如果智库总人数太多，但每次只叫 1-2 个专家出来，效果反而会变差！
- 原因 1（算力不足）： 推理需要“动脑子”，也就是需要更多的活跃计算量（Active FLOPs）。如果每次只叫 2 个专家，哪怕总人数有 100 万，他们也会因为“人手不够”而算不过来。
- 原因 2（数据饥饿）： 论文提出了一个关键概念叫 TPP（每个参数分到的训练数据量）。
  - 如果总人数太多，但训练数据（Token）没变，那么每个专家分到的“练习题”就变少了。
  - 这就好比：你雇了 1000 个数学老师，但只给他们每人发 1 道题让他们练。结果就是，虽然老师多，但每个老师都没练熟，遇到难题就卡壳。
结论： 推理能力是**“数据饥渴型”的。它需要“每个专家都能分到足够的练习题”**。如果总人数太多导致每个专家分到的数据太少，推理能力就会下降。

3. 关键比喻：餐厅与厨师

为了更形象地说明，我们可以把模型想象成一家餐厅：

总参数量 = 餐厅里所有厨师的总数。
活跃参数 = 每道菜实际下厨的厨师人数。
训练数据 = 餐厅里提供的食材总量。

场景 A：做“预制菜”（记忆任务）

如果你要做的是**“背诵菜单”（记忆任务），你希望餐厅里厨师总数越多越好**。
哪怕每道菜只让1 个厨师去背，只要总厨师库够大，就能记住成千上万道菜。
策略： 搞一个超级大的厨师库，但每次只派 1 个人干活（高稀疏度）。

场景 B：做“满汉全席”（推理任务）

如果你要做的是**“解构复杂菜谱”（推理任务），你需要厨师们深度协作**。
如果你雇了 1000 个厨师，但只给餐厅准备了 100 份食材。
- 结果：每个厨师只能分到 0.1 份食材，根本练不出手艺。
- 即使你派 10 个厨师一起干，他们也没东西可练，做出来的菜（推理结果）还是很难吃。
策略： 厨师总数不能太多，要确保每个厨师都能分到足够的食材（数据），并且每次做菜时，要派足够多的厨师（增加活跃参数，即 Top-k）一起协作，才能把菜做好。

4. 为什么“事后补救”没用？

论文还测试了两种常见的“补救”方法：

强化学习（GRPO）： 就像在模型训练完后，再给它搞个“特训营”，让它多做题。
测试时计算（TTC）： 就像在考试时，允许模型“多思考一会儿”或者“多试几种答案”。

结果令人惊讶： 这两种方法虽然能提升一点分数，但无法改变上述的根本规律。

如果模型在“预训练”阶段（打基础）时，因为“专家太多、数据太少”导致推理能力没练好，后面的特训和考试技巧都救不回来。
核心教训： 想要模型擅长推理，必须在一开始训练时就调整好“专家总数”和“活跃专家数”的比例，不能指望后期修补。

5. 总结：什么是“最优配置”？

这篇论文告诉我们，以前那种“越大越好”的简单思维行不通了。对于混合专家模型（MoE），我们需要寻找一个平衡点：

如果你想要模型“博闻强记”： 可以大胆增加总参数量，保持稀疏（每次少叫点人），让知识库无限大。
如果你想要模型“逻辑推理”强：
- 不要盲目堆总人数，否则每个专家分到的数据太少，练不熟。
- 增加“活跃人数”（每次叫更多专家出来干活），确保推理时的算力足够。
- 保持合适的“人均数据量”（TPP），确保每个专家都练得足够多。

一句话总结：
做记忆的模型，要**“人多势众，各管一摊”；做推理的模型，要“精兵强将，全员上阵，且每人都有足够的练习”**。这就是这篇论文发现的“最优稀疏度”秘密。

这篇论文《OPTIMAL SPARSITY OF MIXTURE-OF-EXPERTS LANGUAGE MODELS FOR REASONING TASKS》（混合专家语言模型在推理任务中的最优稀疏性）深入探讨了在固定计算预算下，混合专家（MoE）架构的稀疏性如何影响大语言模型（LLM）的记忆能力与推理能力。

以下是该论文的详细技术总结：

1. 研究背景与问题 (Problem)

背景：现有的大模型扩展定律（Scaling Laws）主要基于稠密模型（Dense Models），强调参数量、数据量和计算量之间的幂律关系。混合专家（MoE）模型通过稀疏激活（即每个 token 只激活部分专家）实现了在固定计算量下增加参数量的目标，已成为当前 SOTA 模型（如 Gemini, DeepSeek-V3, Qwen3）的标准架构。
问题：
- 现有的扩展定律系数并非通用，当架构改变（如引入 MoE）时，最优的超参数配置会发生变化。
- 目前尚不清楚 MoE 的稀疏性（即总参数量与激活参数量之比，或 Top-k 路由策略）如何差异化地影响记忆任务（如常识问答）和推理任务（如数学解题）。
- 传统的观点认为，只要训练损失（Pre-training Loss）降低，下游性能就会提升。但本文发现，对于推理任务，单纯降低训练损失并不一定能提升推理准确率，甚至可能出现性能下降。

2. 方法论 (Methodology)

作者构建了一系列基于 Mixtral 架构的 MoE 模型家族，在固定计算预算（Fixed Compute Budget）和固定训练数据量（125B tokens）的前提下，系统地扫描了以下架构超参数：

模型宽度 ( $d$ )：512, 1024, 2048。
每层专家数量 ( $E$ )：8 到 256 不等。
Top-k 路由 ( $k$ )：2, 4, 8, 16。
稀疏性定义： $Sparsity = 1 - \frac{k}{E}$ 。

实验设置：

训练数据：125B tokens 的高质量混合数据（包含网页文本、STEM 文献、数学语料和代码）。
评估任务：
- 记忆/常识类：TriviaQA, HellaSwag。
- 推理类：GSM8K, GSM-Plus (数学), HumanEval, MBPP (代码)。
后训练与测试时计算：为了验证结论的鲁棒性，作者还进行了强化学习后训练（GRPO）和测试时计算（Test-Time Compute, TTC，如自一致性采样）实验。

3. 核心发现与结果 (Key Results)

A. 训练损失与下游性能的解耦

记忆任务：随着总参数量的增加（即稀疏度增加），训练损失单调下降，下游任务（TriviaQA, HellaSwag）的 Loss 和准确率也单调提升。这表明记忆能力是“参数饥渴”的（Parameter-hungry），更多的专家容量直接转化为更好的记忆效果。
推理任务：出现了非单调现象。当总参数量增加到一定程度（训练损失降低到某阈值后），GSM8K 和 GSM-Plus 的任务 Loss 和准确率反而开始下降。即：在固定计算预算下，过度增加专家数量（增加稀疏度）会损害推理能力。

B. 两个关键原则 (Two Principles)

作者提出了决定 MoE 最优稀疏性的两个核心维度：

活跃 FLOPs (Active FLOPs)：
- 推理性能不仅仅取决于训练损失，更取决于训练和推理时的活跃计算量。
- 在训练损失相同的情况下，Top-k 值更大（即每次激活更多专家，活跃 FLOPs 更高）的模型，其推理准确率显著高于 Top-k 值较小的模型。
- 这意味着推理需要更高的“实时”计算强度。
每参数总 Token 数 (Total Tokens per Parameter, TPP)：
- 记忆任务：受益于更低的 TPP（即更多的参数，数据相对较少），表现为参数饥渴。
- 推理任务：受益于最优的 TPP（约 20 tokens/parameter）。
  - 如果 TPP 过低（参数太多，数据相对不足），专家变得“数据匮乏”（Data-starved），导致推理能力下降。
  - 如果 TPP 过高（参数太少），模型容量不足。
- 推理能力在 TPP $\approx$ 20 时达到峰值，偏离此值性能均会下降。

C. 后训练与测试时计算的局限性

作者验证了GRPO（强化学习后训练）和TTC（测试时增加计算，如自一致性采样）是否能修复稀疏模型在推理上的性能下降。
结果：两者虽然能提升整体性能，但无法消除由稀疏性引起的记忆与推理性能之间的权衡（Trade-off）。即：如果预训练阶段的稀疏性配置不当（过于稀疏导致数据不足），后训练和测试时计算无法根本性扭转推理能力的衰退。

D. 代码任务的验证

在 HumanEval 和 MBPP 等代码生成任务上观察到了与数学推理相同的趋势：在活跃参数量较大时，过高的稀疏度会导致性能下降，最优配置倾向于更稠密的模型。

4. 主要贡献 (Key Contributions)

揭示了 MoE 稀疏性的双重影响：首次明确区分了 MoE 稀疏性对“记忆”和“推理”能力的不同影响机制。记忆能力随稀疏度增加而提升，而推理能力存在一个最优稀疏度（或最优 TPP），过高的稀疏度会损害推理。
修正了计算最优扩展定律：提出了在 MoE 架构下，计算最优性不能仅由总参数量或训练损失决定，必须联合考虑活跃 FLOPs和TPP。
实证了预训练架构的决定性作用：证明了推理能力的瓶颈主要在于预训练阶段的架构选择（稀疏度与数据量的平衡），后训练和测试时计算无法弥补预训练阶段因稀疏度过高导致的“数据饥饿”问题。
开源资源：公开了模型检查点、代码和实验日志，为社区复现和进一步研究提供了基础。

5. 意义与启示 (Significance)

架构设计指导：对于旨在提升推理能力的 MoE 模型，不应盲目追求极致的稀疏度（即极多的专家数量）。在固定计算预算下，应适当降低稀疏度（增加 Top-k 或减少专家总数），以确保每个专家获得足够的训练数据（维持合理的 TPP），并保证推理时有足够的活跃计算量。
扩展定律的修正：传统的 Chinchilla 定律（7 tokens/parameter）主要针对稠密模型。本文指出，对于推理任务，MoE 模型可能需要更高的 TPP（约 20 tokens/parameter），且需要平衡总参数与激活参数。
资源分配策略：在计算资源有限的情况下，为了获得最强的推理能力，应优先保证活跃计算量和数据 - 参数比，而不是单纯堆砌总参数量。

总结：该论文挑战了“更多参数（更稀疏）总是更好”的直觉，指出在 MoE 模型中，推理能力需要“数据”而非单纯的“容量”。最优的 MoE 稀疏性是在活跃计算量（Active FLOPs）和数据 - 参数比（TPP）之间寻找平衡，而非一味追求稀疏。