💬 NLP

High-Layer Attention Pruning with Rescaling

本文介绍了高层注意力剪枝与重缩放（High-Layer Attention Pruning with Rescaling, HARP），这是一种新颖的无需训练的方法，它通过策略性地移除大语言模型高层中的注意力头，并应用自适应重缩放以保持表示幅度，从而在各种生成和判别任务中实现了比现有结构化剪枝技术更优越的性能。

原作者： Songtao Liu, Peng Liu

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Songtao Liu, Peng Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你拥有一个超级聪明的机器人大脑，一个“大语言模型”（LLM），它能写故事、解数学题，还能像人类一样聊天。这些大脑极其强大，但也极其庞大——就像试图把一整个图书馆装进你的背包里。因为它们太大了，运行起来很慢且占用大量空间，这使得它们很难在普通的手机或笔记本电脑上使用。为了解决这个问题，科学家们使用了“剪枝”（pruning）技术。把剪枝想象成修剪盆栽：你仔细地剪掉那些没做什么工作的枝条，让树木保持健康的同时变得更小、更快速。

通常，当人们修剪这些机器人大脑时，他们会观察“注意力头”（attention heads）——这些是模型大脑中帮助决定哪些词语彼此重要的微小部分。想象一下，这些注意力头就像是在房间里的侦探小组，每个侦探都在观察不同的线索。旧的剪枝方法只是从每一个房间里随机挑选几个侦达并把他们踢出去，希望团队仍能正常运作。但这篇文章表明，这并不是最聪明的做法。事实证明，在建筑物的最高层（模型的更高层），侦探们往往只是在重复下面的人已经说过的话。他们并没有增加多少新的价值。作者 Songtao Liu 和 Peng Liu（来自宾夕法尼亚州立大学）想要研究，如果我们只修剪高层楼的侦探，而留下那些在底层辛苦工作的侦探，是否能获得更好的结果。他们还想出了一个聪明的窍门，以确保在移除这些高层侦探时，大脑不会感到混乱。

核心理念：从顶端切除，而非从中间

研究人员提出了一种名为 HARP（高层注意力重缩放剪枝，High-layer Attention Rescaled Pruning）的新方法。他们的主要发现是，大语言模型的“高层”实际上比低层更不重要。要理解这一点，请想象一场接力赛。起跑阶段的选手（底层）正在进行繁重的体力活，理清单词和句子的基本形态。随着接力棒向赛道上方移动到高层，选手们只是在传递接力棒。当接力棒到达最顶端时，选手们已经如此同步，以至于他们都在做完全相同的事情。如果你从赛道的顶端移除一名选手，比赛其实不会发生改变，因为他们无论如何都只是在模仿下面的人。

作者发现，如果你在这些高层中进行剪枝（切除）注意力头，模型的效果实际上比随机从各处切除要好。他们在 LLaMA3.1-8B、Mistral-7B、Qwen2-7B 和 Gemma2-9B 等几个著名模型上进行了测试。在实验中，他们从模型最高的 8 层中移除了特定的注意力头。

“音量旋钮”窍门

不过，这里有一个问题。当你移除那些高层侦探时，大脑发出的信号会变得比以前稍弱或稍强。这就像如果你从音响系统中移除了一个扬声器；音乐可能仍在播放，但音量不对，声音可能会失真。为了修复这个问题，作者引入了一个“重缩放参数”。把它想象成一个音量旋钮或调光开关。在切除那些高层之后，你旋转这个旋钮来调整信号的大小，确保剩余的部分仍然能清晰地听到彼此的声音。他们并没有靠猜来确定正确的设置；而是使用了一种智能搜索方法来找到完美的音量水平，通过测试不同的数字，直到模型听起来效果最好为止。

他们的发现

结果非常令人印象深刻。当他们在 27 个不同的任务（从回答常识问题到解决复杂的数学问题以及总结长文档）上测试 HARP 方法时，它始终优于其他流行的剪枝方法。

生成任务（Generation Tasks）： 这是模型需要创造新内容的任务，比如逐步解决数学问题。在这里，HARP 表现得最为出色。例如，在 LLaMA3.1-8B 模型上，HARP 在生成任务上的平均得分达到了 31.10%，而次优的方法仅为 20.58%。这是一个巨大的飞跃！
长文本处理（Long Context）： 论文还研究了模型处理超长故事或文档（高达 65,536 个 token）的能力。由于注意力机制是处理长文本时变慢的部分，修剪高层使模型显著变快。他们发现，对于 65,536 个 token 的序列，他们的剪枝模型比原始未剪枝的模型快了 16.7%，同时保持了高质量。
判别任务（Discriminative Tasks）： 这些是模型只需从列表中选出正确答案的任务（比如多选题）。在这里，提升虽然较小但依然是正向的。HARP 的表现与其它方法持平或更好，这表明切除高层并没有破坏模型理解事实的能力。

为什么这很重要

作者认为，这种方法是让 AI 运行得更快、更便宜，且无需从头开始重新训练整个模型的游戏规则改变者。通过意识到 AI 大厦的高层是最“冗余”（做最少独特工作）的部分，我们可以“去脂而不伤肌肉”。“重缩放”窍门确保了当你移除这些部分时，模型不会感到晕眩。

简而言之，本文认为我们不应该把 AI 的所有部分都同等对待。就像摩天大楼一样，顶层对结构的贡献可能不如底层。通过仔细修剪顶端并调节音量，我们可以让这些庞大的 AI 大脑变得更小、更快，并准备好用于日常使用。该方法的代码已开放供任何人尝试，作者希望这能让长文本 AI（比如在几秒钟内阅读整本书）在现实世界中变得更加实用。

技术摘要：高层注意力剪枝与重缩放 (HARP)

问题陈述

大语言模型（LLMs）实现了最先进的性能，但在推理延迟和内存成本方面面临挑战，尤其是在长文本场景下。虽然结构化剪枝提供了一种无需训练的减少参数的方法，但现有方法通常采用启发式指标，不加区分地移除所有网络层中的注意力头。这些方法未能考虑到架构中注意力头的层级冗余性。具体而言，当前的方法无法区分低层网络中的注意力头（处理多样化的标记表示）是否比高层网络中的注意力头（其中表示可能已高度对齐）更为关键。此外，移除注意力头会改变标记表示的幅度，因为聚合步骤（加权平均）被跳过了，这可能会导致模型输出规模的不稳定。

方法论

作者提出了 HARP（高层注意力重缩放剪枝），这是一种通过两个核心机制解决上述问题的无需训练的结构化剪枝算法：

1. 高层注意力剪枝

HARP 的运作基于一个理论和经验前提，即 LLM 高层的注意力头比低层更不重要。

理论基础： 随着标记在网络中传播，其隐藏表示趋于变得越来越相似（过度平滑）。当标记表示的平均成对余弦相似度趋近于 1 时，查询（Query）和键（Key）变得近乎平行。因此，softmax 注意力权重变得均匀，导致注意力头退化为简单的平均算子，无法区分不同的标记。
经验基础： 诸如块重要性（Block Importance, BI）得分等指标表明，低层参数通常比高层参数对模型性能的影响更大。
实现： HARP 有选择性地剪除模型最高层中注意力头的查询（ $Q$ ）和键（ $K$ ）参数。通过移除 $Q$ 和 $K$ ，这些层的自注意力机制被有效地绕过。该层随后仅应用数值（Value, $V$ ）和输出（Output, $O$ ）投影，从而将计算复杂度从被剪枝层的 $O(N^2d)$ 降低到 $O(Nd)$。

2. 自适应重缩放

剪枝注意力聚合步骤会改变隐藏状态表示的规模（幅度），因为加权平均操作被移除了。

问题： 如果没有聚合步骤，隐藏状态的 Frobenius 范数会发生变化，可能导致性能下降。
解决方案： HARP 在被剪枝层的残差连接中引入了一个不可微的重缩放参数 $\alpha$ 。输出公式化为 $H = H + \alpha H W_V W_O$ 。
优化： 由于 $\alpha$ 是一个非可微的超参数而非可训练参数，作者采用了贪婪的自顶向下搜索策略。从最顶层的被剪枝层开始，通过最小化在留存语料库上的困惑度（Perplexity, PPL）来寻找最优的 $\alpha$ 值（取自离散集合 $\{0, 0.1, \dots, 1.0\}$ ）。此过程在整个网络中逐层向下重复进行。

核心贡献

新颖的剪枝策略： 引入了 HARP，它基于注意力头因表示过度平滑而信息量减少的观察，专门针对 LLM 高层的注意力头进行剪枝。
重缩放机制： 提出了一个自适应重缩放参数，用于校准剪枝后标记表示的幅度，以抵消因绕过注意力聚合步骤而导致的规模偏移。
全面的评估： 在四种不同的 LLM 架构（LLaMA3.1-8B, Mistral-7B-v0.3, Qwen2-7B, Gemma2-9B）和 27 个下游任务（涵盖生成和判别基准）上进行了广泛实验。
效率提升： 通过减少被剪枝层中注意力机制的二次方复杂度，显著提升了推理速度，特别是在长文本任务中。

实验结果

作者将 HARP 与包括幅度剪枝（Mag-sp）、LLM-Pruner、FLAP 和 Wanda 在内的最先进基准方法进行了对比。

生成任务： HARP 一致地优于所有基准方法。在 LLaMA3.1-8B 上，HARP 在生成任务（TriviaQA, NaturalQuestions, GSM8K, MATH-hard, BBH）上的平均得分达到 31.10%，显著超过了 FLAP (15.05%) 和 Wanda-sp (12.61%)。这种改进在需要长响应的任务（如 GSM8K）中尤为显著，因为这类任务中错误传播是剪枝模型面临的主要挑战。
判别任务： HARP 在 LLaMA3.1-8B、Mistral-7B-v0.3 和 Qwen2-7B 上取得了最高的平均性能，并在 Gemma2-9B 上表现与最佳基准方法持平。
长文本建模： 在 LongBench 基准测试中，HARP 在多文档问答和摘要任务中展示了卓越的鲁棒性，比其他方法更好地保留了长程依赖关系。
消融研究：
- 层选择： 剪枝顶层 8 层（Top-8）的效果显著优于剪枝底层 8 层（Bottom-8）或使用基于 Hessian/相似性的指标来选择层。
- 重缩放： 加入搜索出的 $\alpha$ 参数后，性能得到了实质性的提升，尤其是在生成任务上，这证实了幅度校准的必要性。
效率： 对于 65,536 个标记的序列，HARP 在仅减少 3.3% 参数的情况下，实现了 16.7% 的推理时间加速，突显了在长文本场景下针对注意力头进行处理的高效性。

意义与主张

本文声称 HARP 提供了一种实用的、无需训练的方法来压缩 LLM，而无需改变架构或从头开始重新训练。通过战略性地针对高层的冗余并修正由此产生的规模偏移，HARP 促进了 LLM 在资源受限环境中的部署，并为交互式应用提供了更快的服务。作者强调，他们的方法使得长文本推理在现实世界的系统中变得更加经济高效。

研究承认了局限性，指出其主要关注高层注意力头的剪枝，而对其他组件的探索尚不充分。作者建议未来的工作是将 HARP 扩展到更大的模型和多模态模型，并将其与量化或 KV 缓存压缩技术相结合。