💬 NLP

DarwinLM: Evolutionary Structured Pruning of Large Language Models

DarwinLM 是一种训练感知型结构化剪枝方法，它通过结合轻量级多步训练的进化搜索过程来识别最优的非均匀模型子结构，在多种大型语言模型上实现了最先进的性能，同时显著降低了压缩后的训练数据需求。

原作者： Shengkun Tang, Oliver Sieberling, Eldar Kurtic, Zhiqiang Shen, Dan Alistarh

发布于 2026-07-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Shengkun Tang, Oliver Sieberling, Eldar Kurtic, Zhiqiang Shen, Dan Alistarh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的、超级聪明的机器人大脑，它能写故事、解数学题，还能像人类一样聊天。这就是科学家所说的“大语言模型”（LLM）。这些大脑非常了不起，但它们也极其沉重且极其渴望电力，就像一条需要一整座城堡的黄金才能苏醒的巨龙一样。因为它们规模庞大，所以很难随身携带或在普通计算机上运行。为了解决这个问题，研究人员一直试图“缩小”这些大脑。一种流行的方法叫做“剪枝”（pruning）。把剪枝想象成修剪盆栽：你剪掉不需要的枝干，让树变得更小、更快，同时希望它看起来和表现起来依然如故。但棘手的地方在于，并非所有的枝干都是一样的。有些枝干对树的形状至关重要，而有些则只是多余的叶子。如果你剪错了，树就会枯死；如果你剪对了，你就能得到一棵既小巧又快速，且依然能结果的树。大问题在于：你如何确切知道该剪掉哪些枝干，而不至于意外地抹杀了内在的天才？

于是，DarwinLM 登场了，它像是一位数字自然学家，试图通过进化来创造完美的微型大脑。它不是靠猜测该剪掉哪些部分，而是让模型通过一种受自然界自然选择机制启发的“进化”过程来进行演变。他们从一个大模型开始，创造出许多略有不同的“后代”版本，每个版本都有独特的剪枝模式。然后，他们让这些后代进行一次快速、轻量级的训练测试——就像一场短跑冲刺——来看看哪些后代依然能跑得快且思考清晰。胜出者会进入下一代，而失败者则会被淘汰。这个循环不断重复，直到慢慢精炼出模型，找到大小与智能之间的完美平衡。论文表明，这种进化方法比仅仅均匀地切割（比如从每一层都剪掉同样数量的部分）要好得多。事实上，DarwinLM 可以将像 Llama-2 和 Llama-3.1 这样的模型缩小到一半大小，同时几乎保持其智能水平不变，而且它使用的训练数据比以往的方法还要少。例如，虽然另一种著名的方法需要 500 亿个单词来训练其小型模型，但 DarwinLM 仅用 100 亿个单词就取得了更好的结果。它甚至可以应用于复杂的“混合专家”（Mixture of Experts）模型，证明了你可以在不损失肌肉的情况下减掉脂肪，让强大的 AI 在日常设备上也能触手可及。

技术摘要：DarwinLM

问题陈述
大语言模型（LLMs）已取得显著成功，但面临着巨大的计算成本，这阻碍了其部署，尤其是在实时应用场景中。虽然结构化剪枝通过压缩模型为主流硬件提供端到端的速度提升提供了一种解决方案，但现有方法往往忽略了两个关键因素：

非均匀敏感性： 不同的模型组件（层、注意力头、MLP 维度）对剪枝的敏感程度各不相同。均匀压缩往往会导致性能崩溃。
压缩后训练： 一种剪枝方法不仅要能识别出具有能力的子结构，还要确保该结构能够通过压缩后的微调进行恢复。先前的研究（如 ZipLM）通常优化局部层级误差或单次（one-shot）性能，但这与下游任务的表现或微调恢复能力并不完全相关。

方法论
作者提出了 DarwinLM，一种利用进化搜索过程来寻找最优非均匀稀疏分配的训练感知型结构化剪枝方法。该流水线由两个主要阶段组成：

结合训练感知的进化搜索：
- 初始化： 搜索始于一个通过使用二阶信息（最优布雷恩手术/Optimal Brain Surgeon 公式化）的一步法结构化剪枝生成的“父”模型。
- 变异： 在每一代中，算法通过复制父模型并应用“水平切换（level switch）”变异来生成“后代”模型。这涉及在子块之间转移稀疏水平（例如，增加某一层的稀疏度，同时降低另一层的稀疏度），以保持全局目标稀疏度或加速约束。
- 训练感知选择： 核心创新在于将轻量级微调集成到选择过程中。该方法并非仅基于单次指标（如在小型校准集上的 KL 散度）来选择后代，而是采用了一个多步选择过程。后代模型会在逐渐增加的 Token 预算下进行训练（例如，10K $\to$ 50K $\to$ 200K tokens）。表现较差的模型会在每个阶段被淘汰。这确保了所选出的“最适”模型不仅在静态状态下准确，而且在持续训练后具有鲁棒性和可恢复性。
- 终止： 一旦搜索收敛，最终候选模型将在进行最终评估前经历更广泛的微调阶段（例如，10B tokens）。
剪枝层数据库：
- 为了实现高效搜索，该方法预先计算了一个包含不同离散稀疏水平下的稀疏子块（MLP 和 Attention 模块）的数据库。
- 对于注意力模块，剪枝是按头（per-head）进行的。对于 MLP，维度剪枝以 32 的倍数进行。
- 对于使用分组查询注意力（GQA）的模型，K 和 V 矩阵不会被直接剪枝；相反，在正向传播过程中会移除相应的头，以保持计算兼容性。
向 MoE 架构的扩展：
- 该方法被扩展到了混合专家（MoE）模型（如 Qwen3-30B-A3B）。在此设置下，搜索在专家 MLP 内部优化稀疏度，同时在 MoE 块之间保持均匀的稀疏度。注意力模块通常保持不剪枝，因为专家包含了绝大部分参数。

核心贡献

训练感知进化搜索： DarwinLM 引入了一种全新的进化框架，该框架明确考虑了模型在微调期间恢复性能的能力，而非仅仅优化单次准确性。
非均匀结构化剪枝： 该方法实现了对 LLM 进行细粒度的非均匀压缩，利用不同层对剪枝的不同敏感性，在不损失准确性的情况下实现更高的压缩率。
MoE 适配： 本工作代表了对 MoE 架构进行非均匀结构化剪枝的首次探索，证明了结构化稀疏性即使在复杂的基于专家的模型中也是有效的。
效率： 搜索过程非常高效，在 4 个消费级 GPU 上大约耗时 8 小时，而最终的微调阶段在标准集群上大约需要半天时间。

实验结果
作者在 Llama-2-7B、Llama-3.1-8B、Qwen-2.5-14B-Instruct 和 Qwen3-30B-A3B (MoE) 上验证了 DarwinLM。

性能： DarwinLM 在单次结构化剪枝方面达到了最先进的性能。例如，在将 Llama-3.1-8B 剪枝至其一半大小时，其平均零样本准确度比最佳的前序方法（ZipLM）高出 5.9%。
数据效率： 该方法显著降低了恢复所需的训练预算。DarwinLM 在仅需 10B tokens 的情况下，就超越了使用 50B tokens 进行微调的 ShearedLlama。在相同的 10B token 设置下，DarwinLM 的表现优于 ShearedLlama。
MoE 结果： 在 Qwen3-30B-A3B 模型上，DarwinLM 生成的 16B-A2B 版本在 10B token 微调后，仍能保留原模型 $\ge$ 90% 的准确度。
硬件效率： 剪枝后的模型展示了直接的加速和显存减少。例如，在 L40s GPU 上，2.7B 的 DarwinLM 模型实现了 1.98 $\times$ 的吞吐量，并比 7B 稠密基准模型减少了 2.43 $\times$ 的显存占用。
对比： 该方法在各种稀疏水平下均优于均匀剪枝基准和其他结构化剪枝方法（包括 ShortGPT、Shortened-Llama 和 EvoPress），特别是在其他方法性能迅速下降的高压缩率阶段。

意义
论文声称，DarwinLM 通过弥合结构化搜索与训练后恢复之间的差距，代表了 LLM 压缩领域的重大进展。通过证明非均匀结构化剪枝可以有效地应用于包括稠密和 MoE 架构在内的模型，且仅需极少的训练数据，这项工作挑战了“高性能压缩需要大规模重训预算”的观点。作者将 DarwinLM 定位为一种实用的、与硬件无关的解决方案，能够在不牺牲准确性的情况下实现高效 LLM 的部署。

技术摘要：DarwinLM

类似论文