📊 statistics

Expert Merging in Sparse Mixture of Experts with Nash Bargaining

本文介绍了 NAMEx，一种用于稀疏混合专家模型（Sparse Mixture of Experts）的新型专家合并框架，该框架利用纳什议价（Nash Bargaining）和复动量（complex momentum）来实现平衡协作与加速收敛，并在各种任务和大规模模型上展示了卓越的性能。

原作者： Dung V. Nguyen, Anh T. Nguyen, Minh H. Nguyen, Luc Q. Nguyen, Shiqi Jiang, Ethan Fetaya, Linh Duy Tran, Gal Chechik, Tan M. Nguyen

发布于 2026-06-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dung V. Nguyen, Anh T. Nguyen, Minh H. Nguyen, Luc Q. Nguyen, Shiqi Jiang, Ethan Fetaya, Linh Duy Tran, Gal Chechik, Tan M. Nguyen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你建立了一个由专家组成的庞大、超级聪明的团队（称为“专家”），用来解决困难的问题。在现代人工智能中，这些团队通常被组织为稀疏混合专家模型 (Sparse Mixture of Experts, SMoE)。你可以把它想象成一家巨大的医院，对于每一位患者，只有几位特定的医生会被叫来帮忙，而其他医生则在休息。这节省了能源和资金，但也创造了一个新问题：当我们需要部署这个模型时，如何将所有这些医生的知识结合成一个单一的、超级医生？

目前，大多数 AI 团队只是采用一种“简单平均”的方法来整合专家的建议。这就像是请十位厨师写下他们的秘密食谱，然后把所有的食材混合在一个大锅里，并寄希望于最后做出的味道不错。通常，结果并不理想。有些厨师可能擅长做汤但极其不擅长做甜点，而将他们平均化之后，汤和甜点都毁了。

这篇论文介绍了一种新的专家混合方式，称为 NAMEx（纳什专家合并法）。以下是它的工作原理，使用简单的类比进行说明：

1. 问题所在：“平均值”是一个糟糕的折中方案

作者认为，简单地对专家进行平均就像是一场糟糕的谈判。如果一位专家说“加盐”，而另一位说“加糖”，简单的平均可能会给你“两者都加一点点”，结果就是一锅咸甜口的汤。没有人会赢。

2. 解决方案：一场“公平谈判”的游戏

与其进行平均，作者将专家视为一场游戏（具体来说是“纳什谈判”游戏）中的玩家。

玩家： 每位专家都是一个拥有自己独特“效用”（即其所擅长之处）的玩家。
目标： 他们需要就一套统一的指令（合并后的模型）达成一致，使每个人都尽可能满意，同时又不至于让任何人觉得自己在被迫做自己极其不擅长的事情。
结果： 系统找到了一个“帕累托最优”点。想象一群朋友在决定去哪里吃饭。简单的平均可能会选择一个对每个人来说都“还可以”但对任何人来说都不够好的地方。纳什谈判解法则能找到一家让每个人都真心感到开心的餐厅，因为每个人的特定需求都得到了尊重。

在论文中，他们从数学上证明了这种“公平谈判”比单纯的平均法能带来更好的最终模型。

3. 速度提升：“复数动量”

之前有一种方法（称为 EP-CAMEx）试图做类似的事情，但它学习起来很慢，就像一个一直在重复阅读同一页却始终无法理解的学生。

作者在 NAMEx 中加入了复数动量 (Complex Momentum)。

类比： 想象你在推一个沉重的购物车。
- 标准动量： 你向前推它，它会继续滚动一段距离。
- 复数动量： 想象这个车是在一条轨道上运行的，它不仅可以前后移动，还可以以一种复杂的、螺旋式的方式“侧向”移动。这有助于小车更快、更平稳地通过棘手的弯道（即专家之间的冲突），而不会卡住。
主张： 这种数学技巧帮助专家们更快、更稳定地在最终模型上达成“共识”，尤其是在专家们持有非常不同甚至相互冲突的观点时。

4. 测试内容（结果）

团队在几个现实世界的任务上测试了这个新的“谈判团队”：

语言： 让 AI 写出更好的文本（WikiText-103）。
理解： 回答问题并理解句子（GLUE 基准测试）。
视觉： 识别图片中的物体（ImageNet），即使图片是模糊的、艺术化的或奇怪的（受损数据）。
大模型： 他们在像 DeepSeek-MoE 和 Qwen1.5-MoE（拥有数十亿参数的模型）这样大规模、现实世界的 AI 系统上进行了测试。

结果：
在几乎所有的测试中，“谈判团队”（NAMEx）都击败了“简单平均团队”和“旧的缓慢团队”。它在写作、理解和图像识别方面表现得更好。即使图片很杂乱或者问题很难，NAMEx 也能比其他方法更好地保持稳健。

总结

该论文提出，我们不应该盲目地将 AI 专家混合在一起，而应该利用博弈论让他们进行谈判。通过将合并过程视为一场公平的谈判游戏，并加入特殊的“复数动量”来加速进程，他们创造了一种能够构建出更强大、更稳健的 AI 模型的方法，这些模型在语言、视觉和大规模任务中表现更佳。

注：本论文完全侧重于合并这些 AI 模型的方法及其在标准基准测试中的性能表现。它并未声称具有任何医疗应用、临床用途或除改进这些 AI 系统构建与合并方式之外的特定未来意义。

技术摘要：基于纳什谈判的稀疏混合专家模型中的专家合并

问题陈述

稀疏混合专家（SMoE）架构已成为通过为每个输入仅激活一部分专家模块来高效扩展神经网络规模的基石。虽然大量研究集中在改进路由机制（例如负载均衡、稳定性）上，但互补的问题——专家合并（即将所有专家参数组合成一个统一的模型用于部署或推理）——仍未得到充分探索。

现有的合并策略通常依赖于启发式权重方案，例如简单的输入无关平均或前 $k$ 个聚合。这些方法往往忽略了专家之间复杂的合作与竞争动态。此外，最近的方法如曲率感知专家合并（CAMEx）及其动态变体（EP-CAMEx）利用自然梯度来对齐专家，但表现出了局限性。具体而言，EP-CAMEx 的表现往往不如其静态对应版本，这可能是由于专家贡献之间的协调不足以及传播过程中的收敛缓慢导致的。核心挑战在于，不应仅仅将专家合并视为线性平均，而应将其视为一种平衡多样化专家独特贡献的结构化交互。

方法论：NAMEx

作者提出了 NAMEx（纳什专家合并），这是一个通过**纳什谈判解（Nash Bargaining Solution, NBS）**的视角重新诠释专家合并的框架。

1. 将专家合并视为一场谈判博弈

作者将合并过程建模为专家之间的合作-竞争博弈。

参与者： SMoE 层中的每个专家 $i$ 。
效用函数： 定义为 $u_i(\Delta E) = \tau_i^\top \Delta E$ ，其中 $\tau_i = E_i - E_m$ 是“领域向量”，代表第 $i$ 个专家相对于基础专家 $E_m$ 的偏差。该向量捕捉了专家的独特贡献。
不一致点（Disagreement Point）： 设置为 0，对应于不对基础专家进行更新。
目标： 在球体 $B_\epsilon$ 内寻找更新方向 $\Delta E$ ，使得个体增益相对于不一致点的乘积最大化：
$\Delta E^* = \arg\max_{\Delta E \in B_\epsilon} \prod_{i=1}^N (\Delta E^\top \tau_i)$
在领域向量线性独立的假设下，解被推导为领域向量的加权和：
$\Delta E = \sum_{i=1}^N \alpha_i \tau_i$
其中权重 $\alpha$ 满足纳什谈判方程： $G^\top G \alpha = 1/\alpha$ ，其中 $G$ 是领域向量矩阵， $1/\alpha$ 表示逐元素倒数。

2. 与专家传播的集成

NAMEx 被集成到 EP-CAMEx 框架中。NAMEx 不再使用固定的梯度下降步长进行基础专家传播，而是在每一层 $l$ 使用纳什解计算最优更新方向 $\Delta E^{(l)}$ 。基础专家 $E_m$ 的更新方式为：
$E_m^{(l+1)} = E_m^{(l)} + \gamma \sum_{i=1}^N \alpha_i^{(l)} \tau_i^{(l)}$
其中 $\gamma$ 是步长。

3. 复数动量

为了解决 EP-CAMEx 中观察到的收敛缓慢问题，作者在 NAMEx 框架中集成了复数动量（Complex Momentum）（即 NAMEx-Momentum）。

复数动量缓冲器 $\mu^{(j)} \in \mathbb{C}^d$ 累积方向性更新。
更新规则涉及复数动量系数 $\beta \in \mathbb{C}$ ：
$\mu^{(j+1)} = \beta \mu^{(j)} + \Delta E^{(j)}$
$E_m^{(j+1)} = E_m^{(j)} + \Re(\gamma \mu^{(j+1)})$
理论分析（命题 3.5 和定理 C.3）提供了收敛保证，表明在温和条件下，系统矩阵的谱半径可以保持小于 1，从而确保线性收敛。

核心贡献

NAMEx 框架： 一种新型的专家合并方法，它将纳什谈判优化框架集成到专家传播中，将专家领域向量视为效用函数，以导出公平且高效的合并系数。
复数动量集成： 将复数动量引入 NAMEx，以加速收敛并增强稳定性，特别是在存在对抗性或冲突专家动态的场景下。作者为 NAMEx-Momentum 的收敛速率提供了理论证明。
可扩展性与实证验证： 展示了 NAMEx 在多种任务（语言建模、文本分类、图像分类）中的有效性，以及其在大规模系统（Qwen1.5-MoE 14B, DeepSeek-MoE 16B）上的可扩展性。

实验结果

作者在多个基准测试中将 NAMEx 与基线模型（SMoE, CAMEx, EP-CAMEx）进行了对比评估：

语言建模 (WikiText-103)： 对于中小规模预训练，NAMEx-Full-Mom 实现了最低的验证集和测试集困惑度（Perplexity），优于所有基线模型。
文本分类 (GLUE)： 在使用 T5-Base 的 GLUE 基准测试中，NAMEx-Full-Mom 在所有任务（SST-2, MRPC, CoLA 等）上均取得了最佳结果，显示出相对于 SMoE 和曲率感知方法的持续改进。
图像分类 (ImageNet-1k & 鲁棒性)： 在 Swin-MoE 上，NAMEx-Mom 在 Top-1 准确率方面优于所有基线。至关重要的是，它在损坏数据集（ImageNet-A, ImageNet-O, ImageNet-R）上展示了卓越的鲁棒性，其中动量变体表现出最强的增益。
大规模模型： 当应用于 DeepSeek-MoE (16B) 和 Qwen1.5-MoE (14B) 时，NAMEx-Full 在 MMLU、GSM8K 和 ARC 基准测试的零样本（Zero-shot）和微调（SmolTalk）设置下，均一致优于基线和 EP-CAMEx。
消融研究：
- 动量： 与实数动量相比，复数动量显著提高了收敛速度和性能。
- 迭代次数： 研究发现，每层进行 2 次迭代来求解纳什系统是高效且有效的，更高迭代次数带来的收益递减。
- 不一致点： 使用 0 作为不一致点被发现比使用均值更加稳健和稳定。

意义与主张

本文声称 NAMEx 为启发式专家合并提供了一种原则性的替代方案。通过将专家交互建模为谈判博弈，NAMEx 确保了一个帕累托高效（Pareto-efficient）的合并过程，该过程兼顾了专家之间的合作与竞争。复数动量的集成解决了动态合并场景中的收敛瓶颈。

作者强调，NAMEx：

提升性能： 在视觉和语言任务中一致优于现有的合并策略。
增强鲁棒性： 在数据损坏和分布偏移下展示了卓越的泛化能力。
有效扩展： 证明了其在大型 MoE 架构（高达 16B 参数）中的可行性，且不会显著增加计算成本，因为推理成本保持不变，且训练开销在可控范围内。
具备理论支撑： 为增强动量的变体提供了收敛保证，超越了纯粹的经验主义启发式方法。

这项工作表明，通过博弈论视角看待专家合并，为优化模块化深度学习系统开辟了新途径，在联邦学习和迁移学习等对公平专家组合至关重要的领域具有潜在的应用价值。