💬 NLP

GradPruner: Gradient-Guided Layer Pruning Enabling Efficient Fine-Tuning and Inference for LLMs

GradPruner 是一种梯度引导的层剪枝方法，它通过在早期微调阶段利用初始梯度信息累积矩阵来评估层的重要性，从而高效地增强了大型语言模型的训练与推理，实现了 40% 的参数减少且几乎没有精度损失。

原作者： Wei Huang, Anda Cheng, Yinggui Wang

发布于 2026-01-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Wei Huang, Anda Cheng, Yinggui Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于 GradPruner 论文的通俗易懂的解释，通过类比让概念变得清晰。

核心问题：“过度设计”的大厨

想象你拥有一位世界级的厨师（一个大语言模型，或 LLM），他精通从法式甜点到日式寿司的一切料理。这位厨师才华横溢，但规模也极其庞大。他拥有一个巨大的厨房，里面有 32 个不同的工作站，还有 100 名员工，以及一个装满了各种香料的储藏室。

现在，你想让这位厨师专门负责制作意大利面。

传统做法： 你雇佣整个团队，教他们做意大利面，然后让他们开始工作。这既耗时，又极其昂贵（消耗大量的 GPU 显存），而且厨房里依然堆满了那 30 个永远用不到的工作站，显得杂乱无章。
剪枝问题（Pruning Problem）： 其他方法试图通过解雇部分员工或关闭一些工作站来节省开支。但他们经常会解雇错误的人，或者不得不花费数周时间重新培训剩余的员工以弥补失去的才华，这反而违背了节省时间的初衷。

解决方案：GradPruner（“智能裁员”策略）

这篇论文的作者创造了一种名为 GradPruner 的方法。你可以把它想象成一位超级聪明的经理，他只需观察厨师制作意大利面的前几分钟，就能立刻判断出哪些工作站和员工是必不可少的，哪些只是“累赘”。

以下是 GradPruner 的工作步骤：

1. “前 1%”测试（梯度累积）

与其等待厨师做完一整周的意大利面来观察谁表现出色，GradPruner 只观察他们最初 1% 的时间。

类比： 想象厨师开始烹饪。在最初的几秒钟内，他们伸手去拿面粉、水和擀面杖。他们忽略了寿司刀和甜点烤箱。
科学原理： 论文中称之为 IGIA 矩阵。它在这些早期步骤中追踪“梯度”（即变化的方向和力度）。如果一个参数（模型的组成部分）变动很大，说明它对新任务很重要；如果它纹丝不动，则说明它是不需要的。
优势： 你不需要等待整个训练过程结束。几乎在开始阶段，你就能得到一份“成绩单”。

2. “切割”（层剪枝）

根据那份快速生成的成绩单，GradPruner 会识别出模型中最不重要的“工作站”（层）。

类比： 经理查看报告后说：“好吧，我们不需要寿司站或甜点站了。把它们关掉吧。”
结果： 他们移除了大约 40% 的模型层。这使得模型变得更小，运行速度更快。

3. “合并”（保留精华）

这是最棘手的部分。如果你直接解雇 40% 的员工，制作意大利面的质量可能会下降。因此，GradPruner 做了一件聪明的事：它不仅仅是把被解雇的人员直接扔掉，而是将他们合并到剩余的团队中。

类比： 想象“寿司站”有一些非常好用的刀具，而“意大利面站”可以用得上。经理并没有把这些刀丢掉，而是从关闭的站点中取出好刀，并交给意大利面厨师。
“符号”规则： 论文提到了一个特定的规则：只合并意见一致的东西。
- 假设意大利面站想要增加更多盐（正号）。
- 如果寿司站也想要增加更多盐（正号），那么他们就合并盐罐。
- 但如果寿司站想要减少更少盐（负号），他们就不会进行合并。因为将“加盐”与“减盐”合并会导致互相抵消，从而毁掉这道菜。
优势： 这使得他们可以在不损失准确性的情况下，剪掉更多的层。

结果：更快、更小、效果依旧出色

作者在两个著名模型（Llama 3.1 和 Mistral）上针对八个不同任务（如医学问题、金融摘要和通用推理）进行了测试。

结论： 他们成功地将模型大小缩减了 40%。
代价： 准确率仅下降了微乎其微的 0.99%。
对比： 他们的剪枝模型（体积更小）表现甚至优于另一个完全不同的、从头开始训练的小型模型（Llama 3.2-3B）。
效率： 在训练和运行模型时，他们节省了约 36-39% 的时间和计算资源。

总结

GradPruner 就像一个智能过滤器，在大型 AI 模型学习新工作的最初几步中对其进行筛选。它能迅速识别出哪些部分是在真正干活，哪些部分只是在占地方。随后，它会切掉无用的部分，并将剩余部分的精华部分小心地合并到剩下的“大脑”中，确保模型在变得更轻量、更便宜的同时，依然保持敏锐。

核心要点： 你不需要训练整个模型才能知道该剪掉哪里。仅仅通过开头的快速观察，就足以构建出一个精简、高效的机器。

技术摘要：GradPruner

问题陈述

在下游数据上对大语言模型（LLMs）进行微调通常计算成本高昂且耗时。虽然存在结构化剪枝方法可以提高推理效率，但它们通常需要额外的训练、知识蒸馏或复杂的结构搜索，这削弱了高效微调的目标。此外，现有的剪枝方法通常依赖校准数据来评估参数重要性；然而，LLMs 在特定领域数据上的表现往往并非最优，从而导致偏差的重要性评估。

作者确定了三个关键挑战：

开发一种能够针对特定下游数据衡量参数重要性的方法，且不增加内存或训练时间。
在尽可能保留原始模型结构的同时，最大化参数剪枝。
同时支持全量微调（FFT）和参数高效微调（PEFT）方法（如 LoRA）。

方法论：GradPruner

GradPruner 是一种梯度引导的层剪枝框架，旨在提升训练和推理效率。该方法分为三个主要阶段：

1. 参数重要性评估（IGIA-矩阵）

受“损失函数在微调初始阶段下降剧烈（表明正在快速学习下游任务）”这一观察结果的启发，GradPruner 利用了初始梯度信息累积矩阵（IGIA-Matrix）。

过程： 模型无需进行完整训练，而是经历一个短暂的 LoRA 微调阶段（约为总训练步数的 1%）。
梯度模拟： 对于具有权重 $W$ 和 LoRA 适配器 $W_A$ 及 $W_B$ 的线性层，该方法通过计算 LoRA 梯度的乘积来模拟 $W$ 的梯度： $\nabla W_{sim} = \nabla W_B \cdot \nabla W_A$ 。
累积： IGIA-矩阵（ $F_W$ ）通过在初始 $t$ 步内对平方模拟梯度求平均值来计算：
$F_W = \frac{1}{t} \sum_{i=1}^{t} (\nabla W_{sim}^{(i)})^2$
层评分： 特定层 $j$ 的重要性得分是通过对该块内所有线性层的 IGIA-矩阵值求和得出的。

2. 层剪枝

基于计算出的重要性得分，该方法识别并移除最不重要的层。作者指出，剪枝高达 30% 的层对准确率的影响极小，但超过此比例的激进剪枝会导致显著的性能下降。

3. 层合并

为了实现超过 30% 的剪枝率且不损失准确率，GradPreller 引入了**层合并（Layer Merging）**策略。与其完全丢弃被剪枝的层，不如将其与剩余层进行合并。

稀疏化： 被剪枝的层首先使用 IGIA-矩阵进行稀疏化，仅保留前 $p\%$ 的参数（基于幅度），并将其余部分置零。
基于符号的合并： 为了防止由冲突参数符号（即正值和负值相互抵消）引起的干扰，该方法仅合并具有相同符号的元素。具体而言，只有当被剪枝层的参数与保留层的对应参数符号一致时，才会进行合并。如果符号不同，则丢弃该被剪枝参数。

核心贡献

GradPruner 框架： 提出了一种利用 LoRA 微调初始梯度计算 IGIA-矩阵的方法来评估参数重要性，消除了对大规模校准或完整重训练的需求。
符号感知层合并： 一种新型合并技术，通过基于符号一致性的稀疏化处理将剪枝层与保留层结合，从而在保持准确率的同时实现更高的剪枝率（高达 40%）。
实证验证： 大量实验证明，GradPruner 在医疗、金融和通用基准测试中实现了 40% 的参数缩减，而下游任务准确率仅下降了 0.99%。

实验结果

作者在两个 LLM（Llama3.1-8B 和 Mistral-7B）以及八个下游数据集（包括 PubMedQA、MedMCQA、BillSum、FinGPT、HellaSwag、WinoGrande、ARC 和 PIQA）上评估了 GradPruner。

准确率： 与稠密模型相比，GradPruner 实现了平均 40% 的参数缩减，准确率下降仅为微不足道的 0.99%。在某些情况下，经过剪枝的 Llama3.1-8B 表现优于规模较小的未剪枝 Llama3.2-3B。
效率： 与稠密模型相比，GradPruner 将训练时间减少了约 36%，训练内存减少了 34%。推理时间和推理内存分别减少了约 39% 和 39%。
对比： GradPruner 在准确率和效率指标上始终优于其他结构化剪枝基准方法（LLMPruner、LaCo、MINITRON、SAT、APT）。
消融研究：
- 去除层合并步骤会导致剪枝超过 30% 的层时准确率大幅下降。
- 使用加权平均代替基于符号的合并会导致较低的准确率，证实了符号一致性的重要性。
- 该方法即使在训练数据减少到原始大小的 10% 时仍保持稳健，尽管在极低数据量（1%）下性能会有轻微波动。

意义与主张

论文声称 GradPruner 解决了微调效率与模型性能之间的权衡问题。通过利用微调早期阶段的快速学习动态，它可以在没有完整训练或复杂蒸馏开销的情况下识别关键参数。作者断言，其基于符号的合并策略有效地减轻了与激进剪枝相关的典型干扰，从而在保持模型在专业下游任务能力的同时，实现了实质性的参数缩减（40%）。这项工作表明，层级剪枝结合智能合并是部署高效领域适配 LLM 的可行路径。