EvoESAP: Non-Uniform Expert Pruning for Sparse MoE

本文提出了 EvoESAP 框架，通过引入基于推测解码的 ESAP 指标并结合进化搜索算法，实现了稀疏混合专家模型的非均匀层间剪枝预算分配，从而在固定全局剪枝比例下显著提升了生成任务性能。

要点

这篇论文介绍了一种名为 EvoESAP 的新方法，旨在让大型人工智能模型（特别是“稀疏混合专家”模型，简称 SMoE）变得更小、更省钱，同时还能保持它们“说话”和“思考”的聪明程度。

为了让你更容易理解，我们可以把整个大模型想象成一家超级繁忙的“全能咨询公司”。

1. 背景：为什么需要“裁员”？

想象这家咨询公司（大模型）有100 位专家（Expert），他们各自擅长不同的领域（有的懂数学，有的懂写代码，有的懂讲故事）。

• 平时工作模式：每当客户（用户输入的问题）来咨询时，公司不会让 100 位专家都出来开会（那样太慢太贵了），而是由一位“调度员”（Router）根据问题，只叫其中 4 位最合适的专家来回答。这就是“稀疏”的意思——虽然人多，但每次只用一小部分。
• 痛点：虽然每次只用 4 个人，但为了随时能叫到任何人，公司必须把 100 位专家的资料库全部存在服务器上。这就像你为了偶尔用一次的工具，必须租下整个巨大的仓库来存放所有工具，导致内存（Memory）占用太大，运行成本太高，很多小公司根本用不起。

现有的解决办法（“一刀切”式裁员）：
以前的做法是：既然要省钱，那就把每层楼的专家都平均砍掉一半。比如每层楼原本有 10 个专家，现在每层都只留 5 个。

• 问题：这就像不管哪个部门重要，都强行裁员 50%。结果可能是：重要的“数学部”被砍光了，导致模型算数变笨；而不太重要的“闲聊部”却还留着很多人，浪费了空间。这种“平均主义”往往会让模型在写代码、做数学题等创造性任务上表现大幅下降。

2. 核心创新：EvoESAP 是怎么做的？

这篇论文提出了一个更聪明的策略：“非均匀裁员” + “进化搜索”。

第一步：把“谁该走”和“走多少”分开

以前的方法是混在一起决定的。EvoESAP 把它拆成两步：

1. 谁该走？（层内排序）：先根据某种标准（比如谁平时干活少、谁贡献小），给每个楼层的专家排个队，决定谁先被裁。
2. 每层裁多少？（跨层分配）：这是关键！它不再平均分配裁员名额，而是问：“在总裁员人数固定的情况下，怎么分配名额，能让公司整体能力损失最小？”

第二步：用“进化算法”找最佳方案

怎么知道哪层该多裁、哪层该少裁呢？

• 比喻：想象你在玩一个“资源分配游戏”。你手里有固定的“裁员预算”（比如总共要裁掉 50% 的专家）。
• 进化搜索：EvoESAP 就像一个不断试错的教练。它生成几百种不同的“裁员方案”（比如：数学部只裁 10%，闲聊部裁 90%；或者反过来），然后快速测试哪种方案最好。
• 突变与选择：它像生物进化一样，保留表现好的方案，把表现差的方案“突变”一下（调整一下各层的裁员比例），经过几十代的“优胜劣汰”，最终找到那个最完美的非均匀分配方案。

第三步：用“预期接受度”当裁判（ESAP）

在进化过程中，怎么判断哪个方案好？

• 传统方法：让新模型和旧模型分别回答成千上万个问题，看谁回答得准。这太慢了，就像要等所有专家重新培训一遍才能知道谁该留，成本太高。
• EvoESAP 的妙招（ESAP）：它发明了一个**“快速模拟裁判”**。
  • 比喻：它不真的让模型去“写”答案，而是让模型“猜”答案。它看新模型（被裁后的）和旧模型（全能的）在预测下一个字时，想法有多像。
  • 如果新模型猜的下一个字，旧模型也觉得“嗯，这词儿不错，我也可能会选”，那就说明新模型很靠谱。
  • 这个方法不需要真的生成完整的文章，计算速度极快，而且非常稳定，能迅速筛选出最好的“裁员方案”。

3. 结果：效果如何？

论文在几个大模型（70 亿到 300 亿参数）上做了实验，发现：

• 创意写作和数学题变强了：在同样的裁员比例下（比如都裁掉 50% 的专家），使用 EvoESAP 找到的“非均匀方案”，在写代码、做数学题（MATH-500 数据集）上的表现，比“平均裁员”的方法提升了近 20%！
• 选择题没变差：在回答简单的选择题时，表现依然保持竞争力。
• 结论：原来，“哪里该留人，哪里该裁人”比“裁掉谁”更重要。通过智能地分配裁员名额，我们可以在不花钱（不微调）的情况下，让模型变得更聪明、更省钱。

总结

这就好比一家公司要缩减 50% 的预算：

• 旧方法：每个部门都砍掉一半人头，结果核心业务部门瘫痪了。
• EvoESAP 方法：先给每个人打分，然后由一个智能系统计算，发现“后勤部”可以砍掉 90%，“研发部”只砍掉 10% 就能达到同样的省钱效果，而且公司核心业务反而更强了。

一句话总结：EvoESAP 用一种聪明的“进化搜索”方法，帮大模型找到了最划算的“裁员”方案，让模型在变小、变便宜的同时，依然能写出好代码、解出难题。

技术摘要

这篇论文提出了一种名为 EvoESAP 的新框架，旨在解决稀疏混合专家（Sparse Mixture-of-Experts, SMoE）大语言模型在部署时面临的内存和吞吐量瓶颈问题。传统的专家剪枝方法通常假设每一层的剪枝比例是均匀的（Uniform），而本文指出这种假设并非最优，并提出了一种非均匀层间稀疏度分配（Non-Uniform Layer-wise Sparsity Allocation）的优化策略。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

• SMoE 模型的部署挑战：SMoE 模型通过条件计算实现了参数量扩展与低推理成本的平衡。然而，部署时仍需存储所有专家（Full Expert Pool），导致显存占用高且推理吞吐量受限。
• 现有剪枝方法的局限性：
  • 任务导向偏差：大多数现有研究主要关注多项选择题（MCQ）的性能，往往忽略了开放生成（Open-ended Generation）能力的保持。
  • 均匀分配假设：现有的专家剪枝方法通常将“层内专家选择”（Within-layer Selection）和“层间预算分配”（Across-layer Allocation）耦合在一起，或者默认每一层保留相同比例的专家（Uniform Sparsity）。
  • 关键发现：论文指出，在相同的剪枝指标（如专家重要性评分）和全局稀疏度预算下，非均匀的层间分配策略对模型性能（尤其是生成能力）有决定性影响。简单的启发式分配（如基于频率的全局排序）甚至可能损害整体性能。

2. 核心方法论 (Methodology)

EvoESAP 将剪枝过程解耦为两个步骤，并引入了一种新的评估指标和进化搜索框架：

2.1 问题解耦

1. 层内专家排序（Fixed）：首先使用现有的专家重要性指标（如 Frequency, EAN, SEER, REAP）对每一层内的专家进行排序，确定剪枝顺序。
2. 层间预算分配（Optimized）：在固定层内排序的前提下，优化每一层保留多少专家（即非均匀的稀疏度分布），以在固定的全局剪枝预算下最大化模型性能。

2.2 核心组件：ESAP (Expected Speculative Acceptance Proxy)

为了高效评估不同剪枝配置的性能，论文提出了 ESAP 指标：

• 灵感来源：基于推测解码（Speculative Decoding）中的接受率概念。如果剪枝后的模型（Draft Model）能很好地模拟原始模型（Target Model），则推测接受率应较高。
• 设计动机：直接计算推测接受率需要自回归生成和运行两个模型，计算成本极高，无法在进化搜索的循环中频繁使用。
• 实现原理：
  • 采用Teacher-Forced（教师强制）模式，在固定的校准数据集上评估。
  • 计算原始模型分布 $p$ 和剪枝模型分布 $q$ 在词汇表上的重叠度。
  • 数学定义：$ESAP(x) = \sum_{v \in V} \min(p(v|x), q(v|x))$。
  • 性质：ESAP 等价于 $1 - TV(p, q)$（总变差距离的补集）。它是一个有界、稳定且计算高效的指标，无需自回归生成即可衡量两个模型分布的相似度。

2.3 进化搜索框架 (EvoESAP)

利用 ESAP 作为适应度函数，通过进化算法搜索最优的非均匀分配方案：

• 搜索空间：整数向量 $r = (r_1, ..., r_L)$，表示每一层剪掉的专家数量，满足全局预算约束 $\sum r_\ell = B$。
• 变异操作（Level-Switch Mutation）：
  • 为了保持全局预算不变，算法在两层之间转移剪枝预算（例如：从第 $a$ 层多剪 $k$ 个，从第 $b$ 层少剪 $k$ 个）。
  • 这种操作允许算法在保持总剪枝量不变的情况下，探索不同层间容量分布的优劣。
• 流程：初始化种群（包含均匀分配、特定模式分配和随机分配） -> 计算 ESAP 适应度 -> 选择精英 -> 变异 -> 迭代直至收敛。

3. 主要贡献 (Key Contributions)

1. 提出 ESAP 指标：一种受推测解码启发的、基于教师强制的代理适应度函数。它能够在无需昂贵自回归生成的情况下，高效、稳定地评估剪枝候选模型对原始模型行为的保持程度。
2. 揭示非均匀分配的重要性：首次系统性地指出，在 SMoE 剪枝中，层间预算分配是一个被低估的关键决策。非均匀分配能显著提升生成能力，而简单的均匀分配或启发式分配可能导致性能下降。
3. EvoESAP 框架：提出了一种即插即用的进化搜索框架，可与任何现有的层内剪枝指标（Frequency, SEER, EAN, REAP）结合，自动搜索最优的非均匀稀疏度分布。

4. 实验结果 (Results)

论文在 7B 到 30B 规模的多个 SMoE 模型（OLMoE, ERNIE-4.5, Qwen3）上进行了验证，稀疏度设置为 25% 和 50%。

• 开放生成能力显著提升：
  • 在 MATH-500 基准上，对于 ERNIE-4.5-21B 模型，在 50% 全局稀疏度下，EvoESAP 搜索到的非均匀分配方案相比均匀剪枝（Uniform Pruning）带来了 +19.6% 的准确率提升。
  • 在代码生成（Code）和数学推理（Math）任务上，EvoESAP consistently 优于均匀分配，且随着稀疏度增加，提升幅度越大。
• 多项选择题（MCQ）性能保持：
  • 在保持开放生成能力大幅提升的同时，EvoESAP 在多项选择题基准（如 MMLU, ARC 等）上的性能与均匀剪枝相当，甚至在某些情况下略有提升，证明了其不会牺牲基础推理能力。
• 通用性与鲁棒性：
  • 无论使用哪种层内剪枝指标（Frequency, SEER, EAN, REAP），EvoESAP 都能进一步优化分配策略。
  • 消融实验表明，ESAP 作为适应度函数优于 KL 散度、NLL 和 SAP 等其他指标；且仅需少量校准样本（64 个）即可达到最佳效果。

5. 意义与影响 (Significance)

• 降低部署成本：通过更智能的剪枝策略，在大幅减少模型显存占用（通过移除专家）的同时，最大程度保留了模型的复杂推理和生成能力，使得大模型在资源受限环境下的部署更加可行。
• 重新定义剪枝范式：打破了“均匀剪枝”的默认假设，为未来的模型压缩研究提供了一个新的优化维度（层间分配）。
• 无需微调（Finetuning-free）：该方法完全基于后训练剪枝，不需要昂贵的微调过程，即可实现性能优化。
• 安全与效率：虽然压缩可能带来风险，但该方法通过保留原始模型的核心行为分布（通过 ESAP 约束），有助于维持模型的安全性和鲁棒性。

总结：EvoESAP 通过引入高效的分布相似度指标（ESAP）和进化搜索策略，成功解决了 SMoE 模型剪枝中层间资源分配的非凸优化问题，证明了非均匀的层间稀疏度分配是提升剪枝后模型生成能力的关键，为高效大模型部署提供了新的技术路径。