💬 NLP

Entropy Meets Importance: A Unified Head Importance-Entropy Score for Stable and Efficient Transformer Pruning

本文介绍了 HIES，这是一种将注意力头重要性评分（Head Importance Scores）与注意力熵（attention entropy）相结合的统一剪枝准则，旨在克服基于梯度的方法的局限性，从而在高效 Transformer 压缩方面实现模型质量和稳定性的显著提升。

原作者： Minsik Choi, Hyegang Son, Changhoon Kim, Young Geun Kim

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Minsik Choi, Hyegang Son, Changhoon Kim, Young Geun Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下 Transformer 模型（现代 AI 背后的“大脑”）是一支规模宏大、动力强劲的交响乐团。这支乐团拥有许多层，在每一层中，都有数十名被称为**“注意力头”（attention heads）**的乐手。每个注意力头都会倾听输入内容（比如一个句子），并决定应该将注意力集中在哪些词上。

本论文的目标是让这支乐团变得更小、更快（这个过程被称为剪枝/pruning），同时又不破坏音乐的质量。挑战在于：哪些乐手可以被解雇，而哪些必须保留？

旧方法：“音量旋钮”法 (HIS)

此前，研究人员使用了一种被称为**注意力头重要性得分（Head Importance Score, HIS）**的方法。你可以把它想象成一个“音量旋钮”或“灵敏度计”。

其工作原理是： 测量如果某个特定乐手停止演奏，音乐会变得多么“大声”（即变差）。如果一个乐手的缺席对总音量影响不大，他们就会被解雇。
问题所在： 这种方法只衡量了一个注意力头对最终得分贡献了“多少”，而没有衡量它如何贡献。
- 类比： 想象一位乐手正在演奏一段非常具体且关键的单音独奏（高度聚焦）；另一位乐手则在演奏一种模糊、嘈杂的背景嗡嗡声，覆盖了整个房间（弥散）。“音量旋钮”可能会认为两者同样重要，因为它们都影响了总音量。但如果你解雇了那位专注的独奏者，乐曲就会崩塌；如果你解雇了那个制造噪音的嗡嗡声，音乐依然完好如初。旧方法无法区分这两者，导致在移除过多注意力头时会出现“性能骤降”。

新方法：“专注度与多样性”法 (HIES)

作者提出了一种新的得分方法——HIES（注意力头重要性-熵得分）。这相当于给了指挥家第二个工具：一个**“专注度计”（熵/Entropy）**。

结合两种工具：
1. 重要性 (HIS)： 这个注意力头对最终答案有多重要？（即“音量”）。
2. 熵 (AE)： 这个注意力头的“专注度”如何？它是精准锁定特定的关键词，还是将注意力分散到各处？（即“专注度”）。
类比：
- 低熵（高专注度）： 狙击手。他们瞄准一个特定的、关键的目标（句子中的关键词）。即使他们的“音量”不是很大，但他们至关重要，因为他们能击中靶心。
- 高熵（弥散）： 洒水器。他们向四处喷洒水滴。他们可能覆盖了很大的面积，但并没有击中任何特定的目标。

HIES 认为：“不要仅仅解雇那些声音小的乐手。如果那些‘弥散型’乐手（洒水器）没有提供独特的价值，就解雇他们；但要保留那些‘专注型’乐手（狙击手），即使他们看起来很安静，因为他们维持了整体结构的完整。”

为什么这很重要：稳定性

论文声称，通过使用这种新的“专注度 + 音量”组合，AI 模型会变得更加稳定。

“性能骤降”问题： 使用旧方法时，如果你试图将乐团规模缩减 50%，音乐会突然变得非常糟糕（出现性能骤降）。
HIES 的解决方案： 使用新方法，你可以将乐团规模缩减 50%，而音乐依然优美。
- 结果： 论文表明，与旧方法相比，HIES 将模型的质量提升了高达 15.2%，并使模型变得更加稳定（在输入发生轻微变化时，不太容易崩溃或给出奇怪的答案）。

核心总结

问题： 旧的剪枝方法解雇了错误的乐手，因为它们只测量“响度”，忽略了“专注度”的重要性。
解决方法： 新方法 (HIES) 同时测量“响度”和“专注度”。
结果： 你可以显著缩小 AI 模型的规模（使其运行更快、成本更低），而不会损失准确性或导致不稳定。这就像是在修剪树木时，既修剪了枝干，又没有切掉承载果实的树枝。

技术摘要：熵与重要性的结合 (HIES)

1. 问题陈述

基于 Transformer 的模型，特别是大语言模型 (LLMs)，虽然取得了最先进的性能，但由于其深层结构和众多的注意力头，在推理过程中面临着显著的计算和内存成本。虽然结构化剪枝方法（特别是注意力头剪枝）为移除冗余注意力头提供了一种解决方案，但现有方法面临着关键的局限性：

对基于梯度的评分 (HIS) 的依赖： 当前的方法主要使用注意力头重要性得分 (HIS)，该得分通过梯度敏感度来量化一个头对损失函数的贡献。虽然在适度稀疏时有效，但在剪枝比例变得激进时，基于 HIS 的方法会出现准确率的“骤降”现象。
不稳定性和缺乏多样性： HIS 无法捕捉注意力模式的多样性。如果两个头的梯度量级相当，它会将一个具有集中注意力（关注决定性 token）的头与一个具有弥散注意力的头视为同等对待。这会导致功能性关键头的移除，这些头对于维持模型的稳定性至关重要，从而导致模型对输入扰动和分布偏移的鲁棒性变差。
层无关性的局限： 现有的准则通常在所有层中应用统一的剪枝规则，忽略了不同层需要不同注意力行为的证据，这导致了剪枝不平衡和性能波动。

2. 方法论：注意力头重要性-熵得分 (HIES)

作者提出了 HIES (Head Importance–Entropy Score)，这是一个统一的剪枝准则，它将基于梯度的重要性与注意力的结构分布相结合。

核心组件

注意力头重要性得分 (HIS)：
- 衡量掩码掉一个头后损失函数增加的程度。
- 公式： $HIS_h = \mathbb{E}_{x \sim \mathcal{D}} \left| \frac{\partial L(x)}{\partial m_h} \right|$ ，其中 $m_h$ 是头 $h$ 的掩码变量。
- 捕捉了头对损失贡献的量级，但忽略了注意力分布模式。
注意力熵 (AE)：
- 衡量一个头的注意力权重在输入 token 上的集中或分散程度。
- 公式： $AE_h = -\sum_{i=1}^n p_i^{(h)} \log p_i^{(h)}$ 。
- 低熵表示注意力集中（通常在决定性 token 上），而高熵表示注意力弥散。作者假设低熵头对于稳定性和防止“熵崩溃”至关重要。
HIES 指标：
- HIES 将归一化的 HIS 和 AE 组合成一个单一得分：
  $HIES_h = \alpha \cdot \widehat{HIS}_h + (1 - \alpha) \cdot (1 - \widehat{AE}_h)$
- 归一化： HIS 和 AE 都经过 Min-Max 归一化到 $[0, 1]$ ，以确保跨不同尺度的可比性。
- 权重分配： $\alpha$ 是一个可调超参数。 $(1 - \widehat{AE}_h)$ 项确保了具有较低熵（更集中）的头获得更高的得分，从而优先保留它们。

理论依据

论文通过风险分解分析表明：

HIS 控制了损失增加项（最小化即时的准确率下降）。
AE 限制了泛化差距（最小化不稳定性和对分布偏移的敏感性）。
正交性： 研究表明 HIS 和 AE 的梯度在期望上是正交的，这意味着它们捕捉到了互补的信号：贡献的量级 vs. 注意力的弥散程度。通过 HIES 最小化复合风险界，在理论上保证了更好的稳定性和准确率保持。

3. 主要贡献

新型剪枝准则： 引入了 HIES，它将基于梯度的重要性与注意力熵统一起来，以解决激进剪枝时的“骤降”现象。
关注稳定性： 明确地将注意力熵作为推理时稳定性和鲁棒性的代理指标，认为保留低熵头可以防止结构多样性的崩溃。
理论框架： 提供了一个正式的风险界，将头剪枝与损失增加和泛化差距联系起来，证明了 HIS 和 AE 的正交性和互补性。
层自适应剪枝： 证明了与通常在仅使用 HIS 时看到的自底向上模式相比，HIES 能够实现更平衡的跨层剪枝。

4. 实验结果

作者在 BERT-base、LLaMA-2-7B、ViT-Large 和 LLaVA-1.5-7B 上针对各种 NLP、视觉和多模态任务（如 GLUE、HellaSwag、ImageNet、VizWiz-VQA）评估了 HIES。

模型质量：
- 在 BERT-base 上，在各种剪枝比例下，HIES 比 HIS 提高了 8.21% 的平均模型质量。
- 在 50% 的剪枝比例下，HIES 比表现最好的基准方法实现了高达 15.2% 的质量提升。
- 在 LLaMA-2-7B 上，HIES 比 HIS 提高了高达 +10.54% 的准确率。
- 在 ViT-Large 上，在 20% 稀疏度下，HIES 比 HIS 实现了 49.82% 的准确率提升，防止了在仅使用梯度方法时观察到的准确率崩溃。
稳定性：
- 与仅使用 HIS 的方法相比，HIES 展示了高达 2.04 倍的稳定性提升（相对于未剪枝模型测量）。
- 在 BERT 的 50% 剪枝下，HIES 比 HIS 展现了 8.65% 的稳定性增益。
泛化能力：
- 该方法在 NLP、视觉和复杂多模态推理任务中一致地优于基准方法（Random, L2-Norm, HIS, Attention Deficit, LLM-Pruner, SliceGPT）。
- HIES 成功地将“骤降”区间推迟到了更激进的稀疏水平，在 HIS 失效的地方维持了性能。

5. 意义与主张

论文声称 HIES 为在资源受限的环境中部署 Transformer 模型提供了一个更实用且更稳健的解决方案。通过即使在激进压缩下也能保持准确性和稳定性，HIES 解决了现实世界部署中性能波动难以预测的关键障碍。

作者强调，他们的工作为稳定的高效剪枝提供了一个原则性的方向，超越了简单的梯度敏感度，将结构多样性（熵）纳入作为模型压缩的核心组成部分。他们断言，这种方法广泛适用于不同的架构（BERT、LLaMA、ViT）和模态，为部署高效且不牺牲鲁棒性的 LLM 提供了一条可靠的路径。