🤖 machine learning

Router Sensitivity Under Lightweight Fine-Tuning Identifies Prunable Experts in Mixture-of-Experts Models

本文证明了利用参数高效适配器进行轻量化微调可以有效地识别并剪枝混合专家模型中的低敏感度专家，在保持多种任务下具有竞争力的准确度的同时，实现显著的内存和延迟降低。

原作者： Ali Janati, Kaoutar El Maghraoui, Xinyi Luo, Wenyuan Shen, Owen Zou, Yankai Mao

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Ali Janati, Kaoutar El Maghraoui, Xinyi Luo, Wenyuan Shen, Owen Zou, Yankai Mao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：为什么我们需要更聪明的 AI 大脑

想象一下，你拥有一个巨大的知识图书馆，但每次你提问时，管理员都必须把书架上的每一本书都取出来才能找到答案。那会极其缓慢，并且占用巨大的空间。这正是目前最强大的新型人工智能模型所面临的问题。这些被称为“混合专家”（Mixture-of-Experts，简称 MoE）的模型，其设计理念就像是一个专家团队。与其让一个巨大的大脑承担所有工作，不如由许多个较小的“专家”大脑来协作。当你提出问题时，一个聪明的“路由”（router）会决定哪些特定的专家是完成该任务所必需的，并忽略其余部分。这使得 AI 的“思考”速度极快，但这里有一个陷阱：为了运行这个 AI，你仍然必须在计算机内存中保留所有的专家，即使是那些当前没被使用的专家。这就像雇佣了一个 100 人的厨师团队，但每次只允许两人同时烹饪，然而你仍然要为所有 100 人支付房租并提供围裙。

科学家们提出的核心问题是：我们能否在不让 AI “忘记如何烹饪”的前提下，解雇那些不需要的专家，从而节省空间和成本？通常情况下，判断该解雇谁是一场噩梦。如果你只是凭直觉猜测，AI 可能会失去做数学题或写故事的能力。如果你试图训练整个 AI 来学习该解雇谁，其成本之高、耗时之长，会让节省资源的初衷失去意义。这篇论文正是在这个空白点切入，探讨是否存在一种廉价、快速的方法，来确定哪些专家是真正不可或缺的，而哪些专家只是在占用空间。

发现：通过快速“压力测试”寻找利用率低的专家

本论文的研究人员发现了一个聪明且低成本的技巧，可以识别出这些 AI 团队中“利用率低”的专家。他们并没有对整个 AI 进行训练（这就像让整个团队进行为期一个月的练习以观察谁表现出色），而是使用了一个微小的、高效的“适配器（adapter）”——你可以把它想象成一本轻量级的训练手册，它只会在极短的时间内改变极少数的东西。他们将这本手册应用于 AI 的“路由”（决策者），并观察路由器的偏好发生了多少变化。

其中的奥秘在于：在这次快速测试期间，路由器的偏好变化最小的专家，就是 AI 并不真正需要的专家。而那些偏好变化很大的专家，则是 AI 重度依赖的专家。通过解雇这些“保持不变”的专家，他们可以将 AI 的内存占用量削减近一半（49%），并使其速度提升 37%，同时还能保持 AI 处理复杂问题时几乎不减的水平。

他们是如何做的以及发现了什么：
团队在著名的 AI 模型 Mixtral-8×7B 上进行了测试。他们使用了一种称为 LoRA（低秩自适应）的方法，但仅将其应用于路由器的权重，仅训练了模型 0.002% 的参数。这就像是给团队进行了一次 5 分钟的简短动员，而不是长达一个月的魔鬼训练。

结果： 当他们根据这种“路由敏感度”测试移除一半的专家后，该 AI 在一项困难的推理测试（MMLU-Pro）中仍保持了 27.54% 的准确率。
对比： 如果他们只是随机解雇专家，准确率会跌至约 16%；如果他们解雇了“权重”最小的专家（一种常见的猜测），准确率同样会崩塌。但他们的方法保住了 AI 的智能。
成本： 内存从 24.2 GB 降至 12.3 GB，且生成每个单词所需的时间显著下降。

他们排除了什么：
论文明确指出，你不需要训练整个 AI 来寻找这些专家。事实上，针对这项特定任务训练整个模型是一种浪费时间。他们还发现，如果将训练手册分散应用到整个 AI 中（即同时训练路由器、注意力机制部分和专家大脑），实际上会使信号变得更差。这就像是通过让整个厨房同时开工来找出谁是最好的厨师；噪音会淹没信号。效果最好的方法是将微小的训练精力仅集中在路由器上。

他们有多确定？
作者对这些测量结果非常有信心。他们在不同的模型（包括 Qwen1.5-MoE）和不同的任务（如数学）上测试了他们的方法。在每种情况下，“路由敏感度”法都经受住了考验，而随机剪枝则会导致 AI 的准确率崩塌至个位数。他们多次测量了结果，并发现趋势是一致的：随着移除的专家增多，性能呈现出稳定且可预测的下降，而非突然崩溃。这表明该方法对于实际应用是可靠的。

总结：
这篇论文证明了你可以让庞大的 AI 模型变得更小、更快，且不会使其损坏。你只需要给“决策者”一个微小的、快速的提示，观察哪些专家醒来了，哪些专家还在沉睡。那些保持沉睡的，就是你可以安全解雇的对象。这是一种实用、廉价且出人意料有效的手段，用于修剪掉世界上最聪明计算机中的“赘肉”。

技术摘要：轻量化微调下的路由敏感度识别 MoE 模型中可剪枝的专家

问题陈述

混合专家（Mixture-of-Experts, MoE）模型将参数量与单 Token 计算量解耦，使得拥有海量参数（例如拥有 46.7B 参数的 Mixtral-8×7B）的前沿语言模型能够实现高效推理。然而，部署仍受限于内存成本，因为即使每个 Token 只激活一部分专家，所有专家都必须驻留在内存中。专家剪枝（即移除整个专家）为减少内存和延迟提供了直接的解决方案。

核心挑战在于如何识别哪些专家可以被移除，而不导致灾难性的性能下降。现有的启发式方法（如权重幅度、激活频率）往往会失效，因为它们忽略了功能角色或贡献度大小。Chowdhury 等人 [3] 最近提出的理论工作提出了一个具有证明有效性的准则：在微调过程中路由器权重变化最小的专家，其剪枝能保持测试准确度。然而，这一保证依赖于全参数微调（full fine-tuning），这对于大规模 MoE 模型而言计算成本过高（其成本甚至超过了它所实现的部署节省）。本文研究了是否可以通过**参数高效微调（PEFT）**来诱导这种“路由敏感度”信号，从而使该准则在大规模应用中变得可行。

方法论

作者提出了一种“单次（one-shot）”剪枝框架，其中 PEFT 方法不作为产生最终模型的训练技术，而是作为一种测量工具来识别可剪枝的专家。

适配即测量： 模型使用参数高效适配器进行短暂的微调运行。其目标仅在于诱导出相对于任务的、可测量的路由器行为变化。
敏感度评分：
- 基于权重（路由器未冻结）： 对于更新路由器权重的算法（例如在路由器上应用 LoRA），得分 $s_e$ 是专家门控向量 $\ell_2$ 范数变化的幅度： $s_e = |\|w_e^{(T)}\|_2 - \|w_e^{(0)}\|_2|$ 。变化最小的专家将被剪枝。
- 基于 Logit（路由器冻结）： 对于保持路由器权重冻结的方法（例如 IA3、Houlsby 适配器），得分是该专家在留出批次（held-out batch）上的路由器 Logit 的均方根偏移量： $s_e^{logit} = \frac{1}{\sqrt{N}} \|\Delta L_{:,e}\|_2$ 。
剪枝程序： 专家按层独立进行排序并移除。剪枝是结构性的（从检查点中删除参数）且是单次的（之后不进行任何重训练或蒸馏）。适配器在排序后被丢弃。
实验变量： 研究系统地改变了：
- 目标模块： 仅将适配器连接到路由器，还是连接到路由器 + 注意力机制 + 专家权重。
- 适配器秩（Rank）： 改变 LoRA 的秩（ $r \in \{2, 4, 8, 16\}$ ）。
- 扰动几何结构： 比较加性低秩更新（LoRA）、乘性重缩放（IA3）和无约束加性残差（Houlsby）。
模型与基准测试： 主要评估在 Mixtral-8×7B-Instruct 上使用 MMLU-Pro（一个侧重推理的基准测试）进行。通过 Qwen1.5-MoE（数学推理）测试迁移性，并在其他基准测试（GSM8K, ARC-Challenge, BIG-Bench Hard, BoolQ）上进行测试。

核心贡献

在大规模模型上验证了路由敏感度： 本研究首次在大规模 MoE 语言模型上验证了 Chowdhury 等人 [3] 的路由器范数变化准则，将其从视觉分类扩展到了在推理基准测试上评估的指令微调模型。
脱离对全参数微调的依赖： 本文证明了剪枝信号不需要全参数微调。仅针对路由器的 LoRA（训练约 0.002% 的参数，具体在秩为 8 时为 0.0022%）即可成功恢复该信号。将适配器扩展到其他模块会降低信号质量。
刻画了适配几何结构： 研究隔离了“几何结构”如何影响信号保真度：
- 受限 vs 无约束： 受限的扰动（路由器上的 LoRA、IA3）比无约束的加性扰动（Houlsby）产生更好的排序结果。
- 直接 vs 间接： 从不直接写入路由器权重的方法（IA3）与那些会写入的方法（LoRA）表现相当，前提是扰动是受限的。
秩敏感性： 剪枝信号的保真度随 LoRA 秩的增加而单调增加，但存在收益递减现象。秩为 8 时已能捕捉到大部分可用信号。
任务条件化： 信号受适配语料库的影响。在通用语料库上进行适配可以保留广泛的能力，而在特定领域（如数学）进行适配则能保护特定领域的专家。
经验基准： 本文提供了首次针对经过专家剪枝的 Mixtral 的 MMLU-Pro 和 BIG-Bench Hard 评估，建立了由路由器引导剪枝的准线性衰减曲线，这与基于幅度或随机剪枝导致的灾难性崩溃形成了鲜明对比。

结果

信号质量： 在 Mixtral-8×7B-Instruct 上，将 LoRA 限制在路由器（在秩为 8 时训练 0.0022% 的参数）后，移除 50% 的专家后仍能达到 27.54% 的 MMLU-Pro 准确率。这显著优于适配所有模块（24.42%），并远超基于幅度（15.88%）或随机（16.31%）的剪枝。
衰减特性： 路由器引导的剪枝在移除专家时表现出准线性衰减，使得压缩成本是可预测的。相比之下，基于幅度或随机的剪枝在移除一两个专家后就会发生骤降。
迁移性： 在 Qwen1.5-MoE（在数学领域进行了全参数微调）上，路由器敏感度在 50% 剪枝后，在 11 个数学基准测试中的平均准确率仍保持在 49.7%，而随机剪枝则崩塌至个位数（4.4%）。
部署效率： 在 A100 GPU 上，剪掉 4 个专家（减少 50%）可减少 49% 的内存使用量和 37% 的单 Token 延迟。延迟和内存的节省随移除专家的数量近乎线性地缩放。
与 SOTA 对比： 在 25% 压缩率下，尽管训练的参数量低了几个数量级，但路由器敏感度的方法与使用全激活统计或可微搜索的方法（如 REAP, DiEP）相比仍具有竞争力。

意义与主张

本文认为，通过轻量化微调来测量路由敏感度，使得具有理论证明支持的专家剪枝变得在大规模应用中具有实际意义。

经济可行性： 该方法将剪枝信号从昂贵的全参数微调的副产品，转变为廉价 PEFT 的副产品。如果从业者已经在进行用于部署的 PEFT，那么剪枝排序将以零边际成本获得。
PEFT 的工具化视角： 这项工作将 PEFT 方法重新定义为测量内部模型动态的工具，而非仅仅是训练技术。它确立了“最佳”训练配置（广泛适配）往往是“最差”剪枝信号测量配置（信号稀释）的观点，反之亦然。
可预测性： 不同于会导致不可预测性能悬崖的随机或基于幅度的剪枝，路由器敏感度提供了一种可预测的、准线性的压缩与准确率之间的权衡，允许从业者提前为压缩目标“定价”。
谦逊态度： 作者承认，在所有场景下，该信号与无需训练的准则相比是具有竞争力的而非占绝对优势的。他们指出，当适配任务与部署领域匹配时，该准则最为有效，并且目前的结论是“单次（one-shot）”且“未校准”的，这为未来通过蒸馏或重训练进行性能恢复留下了空间，特别是在细粒度架构方面。

文章总结道，通过将适配集中在路由器并使用受限的扰动几何结构，从业者可以可靠地识别并移除冗余专家，从而在不需要全参数微调的情况下，显著降低 MoE 模型的内存和延迟占用。