💬 NLP

From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models

本文介绍了 GISP，一种全局迭代结构化剪枝方法，该方法聚合基于一阶损失的重要性评分以高效移除注意力头和 MLP 通道，从而在保持高稀疏度下稳定准确率并支持无需中间微调的特定任务优化，以此超越传统的局部范式。

原作者： Ziyan Wang, Enmao Diao, Qi Le, Pu Wang, Minwoo Lee, Shu-ping Yeh, Evgeny Stupachenko, Hao Feng, Li Yang

发布于 2026-04-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Ziyan Wang, Enmao Diao, Qi Le, Pu Wang, Minwoo Lee, Shu-ping Yeh, Evgeny Stupachenko, Hao Feng, Li Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一座庞大且极其聪明的图书馆（即大型语言模型），里面藏有数十亿本书。它几乎无所不知，但因其过于巨大，查找特定事实需要耗费漫长时间，且需要一座巨大而昂贵的建筑来存放。你希望将这座图书馆缩小到能装进背包，同时不丧失正确回答问题能力。

这正是本文要解决的问题。作者提出了一种名为GISP（全局迭代结构化剪枝）的新方法。以下通过简单的类比来解释其工作原理：

问题所在：“局部”方法 vs. “全局”视角

旧方法（局部剪枝）：
想象你试图通过逐个查看每个房间来缩小图书馆。你决定：“这个房间书太多了；让我们扔掉其中 20%。”你独立地对每个房间执行此操作。

缺陷： 你可能会在“历史”房间里扔掉一本看似无用的书，但后来却发现它是理解某个复杂故事的关键。因为你一次只看一个房间，所以错过了全局图景。最终，你得到的图书馆仍然感觉“沉重”，并且可能在特定任务上表现不佳，比如解决数学问题或回答棘手的谜题，即使它在一般测试中看起来还不错。

新方法（GISP - 全局迭代剪枝）：
作者建议不要逐个查看房间，而是一次性审视整座图书馆，并问道：“如果我移除这本特定的书，会对图书馆回答这个特定问题的能力造成多大损害？”

GISP 如何运作：三个魔法步骤

1. “一次性”错误（试图一次性完成所有工作）
如果你试图一次性移除 50% 的书，可能会不小心扔掉最重要的那些。这就像试图一天内减掉 50 磅；你会崩溃并失败。论文表明，这种“一次性”操作会导致图书馆崩溃并失去意义。

2. “迭代”解决方案（缓慢修剪）
GISP 通过采取小步来解决这个问题。想象你在雕刻一座雕像。你不是砍掉一大块石头，而是敲掉一点点，检查形状，再敲掉一点点，再次检查。

过程： GISP 移除模型的一小部分，检查其是否仍有效，然后再移除一小部分。它重复此过程多次。
优势： 这使得模型在缩小过程中能够“调整”。即使你将模型缩小到非常小的尺寸（高稀疏度），也能防止图书馆崩溃。

3. “嵌套”图书馆（剪枝一次，多次部署）
这是一个巧妙的技巧。由于 GISP 缓慢而谨慎地移除书籍，过程的每个阶段都会产生一个可运行的图书馆。

类比： 想象你有一套俄罗斯套娃。你不需要分别制作一个小娃娃、一个中号娃娃和一个大号娃娃。你只需制作那个大娃娃，随着你一层层剥开，自然会揭示出内部完美的小版本。
结果： 你只需进行一次艰难的“剪枝”工作。从这一单一过程中，你就能得到一整套模型家族：一个缩小 20% 的，一个缩小 40% 的，以及一个缩小 50% 的。你可以选择最适合你背包的那一个，而无需额外工作。

秘密武器：针对特定任务进行训练

论文强调，大多数旧方法是“任务无关”的。它们试图让图书馆在所有方面总体上保持良好。但如果你只需要图书馆在医学考试或数学方面表现出色呢？

旧方法： 剪枝方法查看一份通用的“重要书籍”清单，而忽略这些书籍是否有助于数学。
GISP 方法： GISP 可以被告知：“我们只关心数学问题。”然后它会查看书籍并说：“这本书对数学无用，但这一本至关重要。”它使用基于你关心的特定任务的特殊“评分”。
结果： 当作者在数学和推理任务上测试时，GISP 使模型保持了比旧方法更聪明，尤其是在模型被显著缩小时。

结果大白话版

作者在几个著名的 AI 模型（如 Llama 和 Mistral）上测试了这种方法。他们发现：

效果更好： 在高程度缩小（移除 40-50% 的模型）时，GISP 使 AI 比之前的最佳方法更聪明。
灵活： 你可以从一次单一的剪枝运行中获得一系列不同大小的模型。
稳健： 即使你没有大量数据来“教导”剪枝过程，它仍然运作良好。

总结

将GISP想象成一位园艺大师。他们不是随机砍掉树枝（旧方法），而是仔细地将树木一寸一寸地修剪（迭代），始终检查树木是否仍能结果（性能）。他们还根据你想要的具体果实来定制修剪（特定任务导向），并且由于他们如此谨慎，他们可以从同一株原始植物中为你提供一个小盆景、一棵中等大小的树或一棵大树，而无需重新种植任何东西。

以下是论文《从局部到全局：重新审视大语言模型的结构化剪枝范式》（介绍 GISP）的详细技术总结。

1. 问题陈述

大语言模型（LLMs）计算成本高昂，亟需高效的部署策略。结构化剪枝（移除完整的注意力头或 MLP 通道）因具备硬件兼容性而优于非结构化剪枝。然而，当前主导范式是局部剪枝（例如 SparseGPT、Wanda），其优化的是逐层重建误差。

局部剪枝的关键局限性：

任务无关性：它最小化剪枝层与稠密层输出之间的差异，虽能保持通用的困惑度，但无法针对特定下游任务进行优化。
校准能力有限：即使使用特定任务的校准数据，局部方法也无法有效利用任务信号，因为其目标函数（逐层均方误差）与最终模型损失解耦。
高稀疏度下的不稳定性：局部方法在高剪枝比例（40–50%）下往往难以维持精度。
多稀疏度效率低下：为了获得不同稀疏度水平的模型，局部方法需要针对每个目标比例进行独立且分离的剪枝运行。

2. 方法论：GISP（全局迭代结构化剪枝）

作者提出了GISP，这是一种后训练结构化剪枝框架，将重心从局部重建转向全局、损失对齐的优化。

核心组件：

全局重要性度量：
- 不同于逐层重建，GISP 基于全局模型损失（ $L$ ）对权重扰动的一阶泰勒展开来定义重要性。
- 权重 $W_{ij}$ 的重要性得分： $I_{W_{ij}} = |\frac{\partial L}{\partial W_{ij}} W_{ij}|$ 。
- 任务对齐：损失函数 $L$ 可互换。对于语言建模，使用困惑度（交叉熵）；对于决策类任务（如问答），使用**基于边界的损失（Margin-based Loss）**以保留正确答案与错误答案之间的决策边界。
迭代剪枝调度：
- 问题：朴素的“一次性”全局剪枝（一次性移除所有权重）不稳定，会导致高稀疏度下的精度崩溃。
- 解决方案：GISP 采用迭代方式剪枝。它在 $n$ 次迭代中的每一步 $k$ 应用较小的剪枝比例（ $\rho_k$ ），逐步将总稀疏度增加至目标值 $\rho$ 。
- 归一化：为了解决注意力块（Attention blocks）的重要性得分通常高于 MLP 块的不平衡问题，GISP 在 Attention 和 MLP 结构内部先分别对得分进行归一化，然后再进行全局排名。
“一次剪枝，多次部署”工作流：
- 由于 GISP 是迭代的，它自然生成了嵌套子网络结构。剪枝至 20% 稀疏度的模型是剪枝至 30% 模型的子集，而后者又是 50% 模型的子集。
- 这使得单次剪枝运行即可生成不同稀疏度水平的帕累托前沿模型，消除了对多次独立剪枝运行的需求。

3. 主要贡献

重新审视全局剪枝：证明了当全局剪枝被设计为迭代式且应用于后训练时，其在困惑度和下游精度方面均优于局部剪枝，尤其是在高稀疏度（40–50%）下。
任务特定剪枝：引入了一种机制，通过特定任务的损失函数（例如用于问答的边界损失）直接定义重要性，弥合了通用压缩与任务感知优化之间的差距。
通过嵌套子网络提升效率：建立了一种“一次完成所有”的工作流，其中一次迭代剪枝过程可产出多个不同稀疏度水平的可用模型，从而分摊了迭代的计算成本。
鲁棒性：表明即使校准预算大幅减少（降至标准 token 数量的 1%），GISP 依然有效。

4. 实验结果

作者在 Llama2-7B/13B、Llama3-8B、Mistral-0.3-7B、DeepSeek-R1-Distill-Llama-3-8B 和 Qwen3-8B 上评估了 GISP。

困惑度（WikiText-2）：GISP 始终比局部基线（Wanda、LLM-Pruner、FLAP、OWL）实现更低的困惑度。在 50% 稀疏度下，局部方法常遭受“困惑度崩溃”（PPL > 100），而 GISP 保持具有竞争力的 PPL（例如 Llama2-7B 约为 64，而 Wanda 约为 81）。
下游精度（CMQA）：
- GISP 在所有模型和所有稀疏度水平上均优于所有基线。
- 任务特定增益：使用 CMQA 数据进行校准并结合基于边界的损失，相比使用通用 C4 数据显著提升了精度。例如，在 Llama2-13B 40% 稀疏度下，GISP（边界）达到 63.34% 的精度，而 Wanda 为 59.11%。
推理任务（GSM8K）：
- 在 DeepSeek-R1 和 Qwen3 上，任务对齐校准（使用 GSM8K 数据）大幅提升了性能。在使用通用校准的情况下，Wanda 剪枝版在 DeepSeek-R1 20% 稀疏度下精度崩溃至 0%，而使用任务校准的 GISP 达到 67.93%。
效率：
- 虽然 GISP 因迭代导致总运行时间更长，但其每个可用模型的分摊时间低于局部方法，因为它在一次运行中产生了 112 个以上的可用子网络，而局部方法每次运行仅产生一个。
- 剪枝后的模型显示出显著的推理加速（预填充速度最高提升 1.7 倍）和内存减少（50% 稀疏度下最高减少 45%）。

5. 意义与影响

范式转变：该论文挑战了基于局部重建的剪枝的主导地位，证明了当迭代实施时，全局、损失对齐的剪枝对大语言模型更为优越。
实际部署：“一次剪枝，多次部署”的能力对于边缘部署极具价值，允许单个模型文件在不重新剪枝的情况下动态适应不同的硬件约束。
任务适配：它提供了一个稳健的框架，用于将大语言模型适配到特定领域（如医疗、数学），无需全量微调，仅需在剪枝阶段更改校准数据和损失目标。
资源效率：通过证明在极少校准数据下依然具有鲁棒性，GISP 降低了在资源受限环境中将结构化剪枝应用于大型模型的门槛。

总之，GISP 为当前的剪枝方法提供了一种简单而强大的替代方案，提供了更高的精度、高稀疏度下更好的稳定性以及针对特定任务部署的更大灵活性。