🤖 machine learning

Efficient LLMs with AMP: Attention Heads and MLP Pruning

本文介绍了 AMP，一种新颖的结构化剪枝方法，通过移除不太重要的注意力头（Attention Heads）和 MLP 结构来高效压缩大语言模型，在实现高达 30% 参数缩减的同时，仅造成极小的性能损失，并在各种模型族中提升了推理速度。

原作者： Leandro Giusti Mugnaini, Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Victor Zacarias, Edson Bollis, Lucas Pellicer, Anna Helena Reali Costa, Artur Jordao

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Leandro Giusti Mugnaini, Bruno Lopes Yamamoto, Lucas Lauton de Alcantara, Victor Zacarias, Edson Bollis, Lucas Pellicer, Anna Helena Reali Costa, Artur Jordao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个计算机可以写诗、解谜并像人类一样聊天的世界。这就是大语言模型（LLMs）的领域，它们是当今最先进人工智能背后的数字大脑。可以将这些模型想象成包含人类写过的每一本书的海量图书馆，但它们不仅仅是在阅读，还能即兴创作新的故事。然而，这里有一个问题：这些图书馆规模如此庞大，以至于需要巨大的、耗电量极高的服务器来运行，这使得它们使用起来既慢又贵。为了解决这个问题，科学家们一直试图在不损失智能的前提下缩小这些模型的规模。一种流行的方法叫做“剪枝”（pruning）。想象一下园丁修剪灌木丛；他们不是随机剪掉叶子，而是仔细修剪掉那些没什么作用的分支，留下一个更小、生长更快且依然开得灿烂的植物。研究人员提出的重大问题是：我们如何找到剪掉正确分支的方法，让植物既保持健康，又能生长得更快？

这正是这篇论文的作者所解决的问题，他们提出了一种名为 AMP 的新方法，全称是 注意力头与 MLP 剪枝（Attention Heads and MLP Prforming）。他们意识到，虽然其他方法也试图修剪这些数字灌木丛，但它们往往剪得太多，或者使用了需要特殊、昂贵硬件的复杂工具。AMP 就像一把聪明且轻便的剪刀，可以快速识别出模型的哪些部分是在真正出力，而哪些部分只是在凑数。

论文介绍了一个用于判断剪掉什么的巧妙技巧。AMP 不仅仅观察静态权重（模型的内部“肌肉记忆”），它还将实际的输入数据（例如一个句子）投影到这些权重上，以观察模型究竟在多大程度上使用了它们。这就像是检查工具箱里的哪些工具实际上正被用来盖房子，而不是仅仅根据工具的重量来猜测。如果某个特定的“注意力头”（模型中负责关注不同单词的部分）或中间层的某个“神经元”对最终答案的贡献不大，AMP 就会将其标记为待删除。

结果非常令人振奋。作者在包括 LLaMA 和 Phi 在内的几种流行模型上测试了 AMP。他们发现，通过移除约 30% 不重要的部分，模型变得显著更快——在某些情况下甚至快了 1.25 倍——且不需要任何特殊的计算机芯片。在准确度方面，AMP 的表现优于目前的最佳“结构化剪枝”（structured pruning）方法。例如，在 LLaMA 7B 模型上，它在平均任务准确度上超过了现有的结构化剪枝技术高达 4.81 个百分点。更令人印象深刻的是，在 LLaMA-2 7B 模型上，它比这些相同的结构化基准高出了多达 9.52 个百分点。

研究人员还通过实验谨慎地证明了他们的方法确实有效。他们进行了一项“连贯性检查”，这就像是一个反向实验：他们故意剪掉了模型中最重要的部分，而不是最不重要的部分。正如预期的那样，模型崩溃了，表现极差。这证实了 AMP 确实擅长分辨本质部分与非本质部分。他们还发现，仅剪掉一种类型的部件（比如只剪掉注意力头）是不够的；你需要同时修剪注意力头和中间层神经元才能获得最佳效果。

最令人兴奋的发现之一是整个过程的高效性。整个剪枝和微调过程在标准的消费级显卡（NVIDIA RTX 3090）上仅耗时约 4 小时，而实际的剪枝步骤仅需几分钟。这使得该方法非常易于获取，并符合“绿色 AI”的原则，因为它能减少模型运行所需的能量近 20%，从而节省了资金并减少了碳排放。

简而言之，论文表明 AMP 是一种高效、灵活且快速的方法，可以让大型 AI 模型变得更小、更快。它不需要昂贵的硬件或复杂的重新训练，并且在保持模型智能的同时，在速度提升方面始终优于现有的“结构化剪枝”方法。虽然作者指出较小的模型（如 Phi-1.5）对剪枝更为敏感，但整体信息是明确的：通过正确的剪枝策略，我们可以让强大的 AI 在日常使用中变得更加实用。

技术摘要：基于 AMP 的高效 LLM：注意力头与 MLP 剪枝

问题陈述

大语言模型（LLMs）已在认知任务中达到了人类水平的表现，但其庞大的参数量导致了高昂的计算成本和缓慢的推理速度。这些因素阻碍了其在资源受限环境中的部署。虽然剪枝是一种极具前景的策略，但现有方法面临着显著的权衡：

结构化剪枝（Structured Pruning）： 移除整个组件（如层、头），但通常需要高昂的微调成本，或者如果移除了关键组件，会导致性能下降。
半结构化剪枝（Semi-Structured Pruning）： 需要专门的硬件（例如特定的 GPU 稀疏模式如 2:4）来实现加速，这限制了其在消费级硬件上的部署。
非结构化剪枝（Unstructured Pruning）： 创建不规则的稀疏矩阵，在没有专门软件优化的通用硬件上无法实现推理加速。
普遍局限性： 许多现有技术依赖于基于损失的指标、泰勒展开或复杂的启发式算法，这些方法计算成本高、缺乏灵活性，或需要专门的硬件。目前需要一种硬件无关、高效的方法，能够在保持极小性能损失的同时压缩 LLM 并实现切实的推理加速。

方法论：AMP（注意力头与 MLP 剪枝）

作者提出了 AMP，一种结构化剪枝方法，旨在移除多头注意力机制（MHA）中不太重要的注意力头，以及多层感知器（MLP）中的神经元。与仅依赖权重大小或损失变化的传统方法不同，AMP 通过将输入数据投影到权重上，来评估每个组件对残差流（residual stream）的贡献，从而评估结构重要性。

核心机制

该方法基于信息通过残差流流动的原理。AMP 根据每个组件对层最终输出的激活贡献幅度来计算其重要性得分。

MHA 组件：
- MHA 输出被分解为各个注意力头贡献之和（ $O = \sum h_n W_n$ ）。
- 第 $n$ 个头（ $n$ -th head）的重要性 ( $I_n$ ) 定义为单个头输出 ( $h_n$ ) 与其对应的输出投影矩阵 ( $W_n$ ) 之乘积的 $\ell_1$ 范数：
  $I_n = \|h_n W_n\|_1$
- 这种方法考虑了权重与输入之间的非线性交互，不同于简单的权重范数剪枝。
MLP 组件：
- 该方法针对 LLaMA 等模型中使用的 SwiGLU 机制，特别是 Up 和 Gate 投影。
- 由于 SwiGLU 使用逐元素乘法，神经元必须成对地从两个投影中进行剪枝，以保持架构完整性。
- 第 $m$ 对神经元的重要性 ( $I_m$ ) 计算为在样本输入 Token 上，Gate 投影输出与 Up 投影输出的逐元素乘积的平均 $\ell_1$ 范数：
  $I_m = \frac{1}{S} \sum_{s=1}^{S} | \text{SiLU}((x_s W_{\text{Gate}})_m) \cdot (x_s W_{\text{Up}})_m |$
剪枝过程：
- 使用一小组校准集（例如来自 Alpaca 的 50 个随机样本）来提取平均激活值。
- 跨所有层对组件（头和神经元）进行重要性排序。
- 为了达到目标压缩率 $c$ ，在所有层中均匀地移除排名末尾的 $c\%$ 的注意力头和 $c\%$ 的 MLP 神经元。
- 训练后处理： 剪枝后的模型通过低秩自适应（LoRA）进行轻量级微调，以恢复性能。

核心贡献

新颖的重要性指标： AMP 引入了一种数据驱动的指标，通过将输入激活投影到权重上以评估组件重要性，这区别于传统的仅基于权重或基于损失的启发式方法。
硬件无关的加速： 该方法实现了实际的推理加速（高达 1.25 $\times$ ），且不需要专门的硬件或稀疏张量核心，使其适用于消费级 GPU。
高效性： 剪枝决策过程在消费级 GPU 上仅需数分钟，且随后的微调所需的资源极少。
一致性验证： 作者提出了“一致性检查”实验，证明了移除由 AMP 识别出的“最重要”组件会导致灾难性的性能下降，从而验证了该指标区分关键与非关键结构的能力。
灵活性： 该方法适用于不同的 LLM 系列（如 LLaMA, Phi），并允许灵活的压缩率，而不受固定稀疏模式（如 2:4）的限制。

实验结果

作者在 LLaMA 7B、LLaMA-2 7B、Phi-1.5 和 Phi-2 模型上使用零样本基准测试（WinoGrande, HellaSwag, ARC-e/c, PIQA）和困惑度（WikiText2）对 AMP 进行了评估。

性能：
- LLaMA 7B： 在 20% 剪枝率下，AMP 实现了 64.52% 的平均准确率，超过了 LLM-Pruner (59.71%) 和 Shortened LLaMA (63.46%) 等先进方法。
- LLaMA-2 7B： 在 30% 剪枝率下，AMP 实现了 61.02% 的平均准确率，超越了 SliceGPT (51.50%) 和 LLM Surgeon (59.03%)。
- 提升： AMP 在平均任务准确率上比现有的结构化剪枝技术高出多达 1.49 个百分点。
推理速度：
- AMP 为 LLaMA 7B 带来了 1.25 $\times$ 的加速，为 LLaMA-2 7B 带来了 1.19 $\times$ 的加速。
- 这优于 Shortened LLaMA (1.13 $\times$ )，并足以媲美无需专门硬件的半结构化方法（如 Wanda, 1.24 $\times$ ）。
困惑度： 与非微调版本相比，微调后的剪枝模型在 WikiText2 上的困惑度明显更低，且随着剪枝率的提高，这一差距进一步扩大。
消融研究：
- 一致性检查： 反转剪枝顺序（移除最重要的组件）导致准确率下降超过 25 个百分点，证实了该指标的有效性。
- 组件隔离： 仅剪枝 MHA 头或仅剪枝 MLP 神经元的效果明显差于同时剪枝两者，这表明采用平衡方法的必要性。

重要性与主张

论文声称 AMP 通过提供以下特性解决了模型压缩中的关键权衡问题：

有效性： 它在保持高压缩率的同时，在准确率方面优于目前的先进结构化剪枝方法。
高效性： 无论是剪枝决策（仅需数分钟）还是性能恢复（轻量级 LoRA 微调），它都只需要极少的计算资源。
实用性： 它能在标准硬件上实现切实的推理加速，促进了在资源受限环境下的部署。
可持续性： 符合 绿色 AI（Green AI） 原则，由于降低了推理延迟和参数量，该方法可减少约 17.39% 的运营成本和约 19.97% 的碳排放。

作者强调，他们的方法成功识别并移除了非必要的结构，从而能够部署高度优化的 LLM，而无需专门的硬件基础设施。他们还强调了训练后处理（微调）在恢复剪枝后模型性能方面的关键作用。