High-Fidelity Pruning for Large Language Models

本文提出了一种基于输出分布信息熵的高保真剪枝方法，旨在克服传统泰勒展开剪枝仅依赖单 token 预测的局限性并避免自蒸馏带来的额外计算开销，从而在无需教师模型的情况下更高效地保留大语言模型的全局预测能力，并在 LLaMA 和 Qwen 系列模型上取得了优于现有方法的零样本基准测试性能。

要点

这篇文章介绍了一种名为 HFPrune 的新方法，用来给大型语言模型（LLM）“瘦身”。

想象一下，现在的 AI 模型（比如 LLaMA 或 Qwen）就像是一个超级博学但极其臃肿的图书馆。这个图书馆里有几十亿本书（参数），虽然知识渊博，但搬运它、阅读它需要巨大的仓库（内存）和很多搬运工（算力），普通的小房间根本放不下，普通人也请不起这么多搬运工。

为了让大家都能用上这个图书馆，我们需要把一些不重要的书扔掉（剪枝），但关键问题是：扔哪本书？扔错了，图书馆可能就变傻了。

这篇论文就是为了解决“如何聪明地扔书”这个问题。

1. 以前的做法：只盯着“标准答案”

以前的剪枝方法（比如基于泰勒展开的方法）就像是一个死板的阅卷老师。

• 它的逻辑：老师手里只有一张“标准答案”（比如题目问“天空是什么颜色？”，答案只有“蓝色”）。
• 它的做法：它只关心模型预测“蓝色”这个答案准不准。如果模型预测“蓝色”的能力没变，它就认为这个“知识点”（神经元）很重要，不能扔；如果预测“蓝色”的能力变差了，它就认为这个知识点不重要，可以扔。
• 缺点：这就像只盯着一个答案看。其实模型脑子里可能还藏着“天空可能是灰色的”、“天空可能是粉色的（晚霞）”等其他可能性。如果只盯着“蓝色”，模型就会忽略这些丰富的细节，导致它变得死板，甚至失去原本丰富的知识。

2. 以前的另一种尝试：请个“私教”

还有一种方法叫“自蒸馏”，就像给模型请了一个私教（老师）。

• 做法：让大模型（老师）教小模型（学生），看小模型能不能模仿大模型的所有反应。
• 缺点：这需要额外的计算资源，而且刚开始时，因为小模型太笨，老师教不动（梯度为零），导致一开始就不知道该怎么教，效率很低。

3. 这篇论文的妙招：看“整体氛围” (信息熵)

这篇论文提出的 HFPrune 方法，换了一种更聪明的视角。它不再盯着单一的“标准答案”，而是看模型回答时的整体氛围（信息熵）。

• 核心比喻：交响乐团 vs. 独奏

  • 以前的方法：只关心乐团里有没有人把“哆”这个音唱准了。
  • HFPrune 的方法：它关心的是整个乐团的和谐度。它看的是模型在回答时，所有可能的声音（所有可能的词汇）是如何分布的。
  • 怎么做：它计算模型输出分布的信息熵（可以理解为“不确定性”或“丰富度”）。
    • 如果模型说：“天空是蓝色的”，同时心里也隐约觉得“可能是灰的”，这种丰富的可能性分布就是高保真的。
    • 如果模型只死板地输出“蓝色”，其他可能性全没了，那就是分布变了，知识丢了。

• 它的优势：

  1. 不用请私教：它不需要额外的老师，直接看模型自己的输出分布就能判断。
  2. 保护“知识全貌”：它确保在扔掉一些神经元（书）后，模型依然能保持那种“既能说蓝色，也能想到灰色”的丰富思维模式，而不仅仅是死记硬背一个答案。

4. 实验结果：瘦身不减智

研究人员在 LLaMA 和 Qwen 等热门模型上做了实验，结果非常惊人：

• 瘦身效果：他们剪掉了模型 20% 到 30% 的“书”（参数）。
• 速度提升：因为书少了，图书馆的搬运速度（推理速度）提升了 1.3 到 1.5 倍。
• 智商不降反升：最神奇的是，经过简单的“复习”（微调）后，这些被剪过的模型，在回答各种难题（零样本测试）时，表现甚至比原来的大模型还要好！

总结

简单来说，这篇论文发明了一种**“看整体、不看局部”**的剪枝技术。

• 以前：像是一个只会做选择题的机器，只在乎选对那个选项。
• 现在：像是一个懂得权衡利弊的智者，它知道保留哪些“思维路径”能让整个思考过程最自然、最丰富。

通过这种方法，我们可以在不损失（甚至提升）AI 智商的前提下，把它变得更小巧、更快速、更便宜，让它在手机或普通电脑上也能流畅运行。

技术摘要

论文技术总结：面向大语言模型的高保真剪枝 (High-Fidelity Pruning for Large Language Models)

1. 研究背景与问题定义 (Problem)

大型语言模型（LLMs）虽然在各项任务中表现卓越，但其巨大的计算和内存开销严重阻碍了其在资源受限环境中的部署。为了压缩模型，剪枝（Pruning） 是一种主流方法，特别是针对参数量占比最大的 多层感知机（MLP） 模块进行剪枝。

现有的基于泰勒展开（Taylor-based）的剪枝方法存在以下核心局限性：

• 评估指标单一（One-hot Cross Entropy）： 传统方法依赖交叉熵损失来评估神经元的重要性，该指标仅关注模型对单一真实标签（Ground-truth token） 的预测概率。
• 忽略全局分布： 这种“标签导向”的评估忽略了模型输出的其他潜在预测（即忽略了模型的全局预测分布）。这导致剪枝过程仅最小化了标签相关预测的变化，而破坏了模型编码的丰富知识，导致模型在剪枝后性能大幅下降。
• 自蒸馏方法的缺陷： 虽然使用自蒸馏（Self-distillation）准则可以评估全局分布，但这需要额外的教师模型（Teacher Model），带来巨大的计算开销。此外，自蒸馏在初始阶段存在梯度为零的问题，导致初始重要性评分缺乏指导。

2. 核心方法论 (Methodology)

作者提出了 HFPrune，一种基于信息熵（Information Entropy） 的高保真剪枝方法。该方法旨在无需额外教师模型的情况下，通过最小化全局预测分布的变化来保留模型性能。

2.1 核心创新：信息熵重要性评估准则

不同于传统的交叉熵损失，HFPrune 将模型输出分布的信息熵作为评估神经元重要性的核心准则。

• 定义： 对于输入 $x$，定义准则 $C_H(x)$ 为模型在词汇表 $V$ 上预测分布 $P = \{p_1, ..., p_V\}$ 的信息熵：
  $$C_H(x) = -\sum_{j=1}^{V} p_j(x) \log_2 p_j(x)$$
• 优势： 该指标捕捉了模型在整个词汇表上的预测置信度，考虑了所有潜在预测，而非仅关注单一标签。它是一个无标签（Label-free） 的准则。

2.2 基于泰勒展开的重要性评分

利用一阶泰勒展开，估算移除第 $i$ 个神经元（将其激活值 $h_i$ 置零）对信息熵准则的影响，从而计算该神经元的重要性得分 $I_i$：
$$I_i(x) = \left| \frac{\partial C_H(x)}{\partial h_i(x)} h_i(x) \right|$$
最终得分通过对校准数据集 $D_{calib}$ 上的样本取平均得到：
$$I_i = \frac{1}{|D_{calib}|} \sum_{x \in D_{calib}} \left| \frac{\partial C_H(x)}{\partial h_i(x)} h_i(x) \right|$$
得分越高，表示该神经元对维持模型全局预测分布的保真度越关键。

2.3 剪枝流程

1. 重要性评分： 在校准集上计算所有 MLP 层隐藏神经元的信息熵重要性得分。
2. 结构剪枝： 根据得分对神经元排序，移除每个 MLP 层中得分最低的固定比例（$\rho_{mlp}$）的神经元。
3. 微调恢复： 剪枝后，使用 LoRA 策略在指令数据集上进行简短的微调（Fine-tuning），以恢复模型性能。

3. 主要贡献 (Key Contributions)

1. 提出新型无标签剪枝准则： 首次将信息熵引入基于泰勒展开的神经元重要性评估中，替代了传统的交叉熵损失。该准则能够建模“整体预测（Holistic Predictions）”，而非仅关注单一标签。
2. 全局分布保真度： 通过最小化剪枝前后全局预测分布的变化，而非仅关注标签预测，该方法更有效地保留了模型编码的内在知识。
3. 高效且无需教师模型： 相比自蒸馏方法，HFPrune 无需额外的教师模型，避免了计算开销和初始梯度为零的问题，显著提升了剪枝过程的效率。
4. 广泛的实验验证： 在 LLaMA 和 Qwen 系列多个模型上进行了验证，证明了该方法在零样本（Zero-shot）基准测试中的优越性。

4. 实验结果 (Experimental Results)

实验在 LLaMA-2-7B, LLaMA-3.2 (1.2B/3.2B), 以及 Qwen2.5/3 系列模型上进行，对比了 LLM-Pruner, LoRAPrune, SDMPrune 等现有方法。

• 性能表现（LLaMA-2-7B）：
  • 在 20% 剪枝率下，HFPrune 的平均零样本准确率达到了 59.0%，不仅超越了次优方法 SDMPrune (58.2%)，甚至超过了原始稠密模型 (58.3%)。
  • 在 30% 剪枝率下，HFPrune 依然保持领先（56.3% vs SDMPrune 55.6%）。
• 通用性： 在较小的模型（LLaMA-3.2-1.2B/3.2B）和 Qwen 系列模型上，HFPrune 均表现出一致的性能优势，有效缩小了剪枝模型与原始模型的性能差距。
• 分布保真度分析：
  • JS 距离（Jensen-Shannon Divergence）： 在 30% 高压缩率下，HFPrune 的 JS 距离显著低于交叉熵准则，表明其更好地保留了原始模型的输出分布形状。
  • Top-15 Jaccard 相似度： HFPrune 在保留原始模型最可能的下一个 token 方面表现更佳。
• 效率分析：
  • 推理加速： 剪枝 30% 的 MLP 层后，Prefill 延迟降低了，实现了 1.47 倍 的加速。
  • 剪枝过程效率： 相比 SDMPrune，HFPrune 在剪枝过程中速度快约 3 倍，且 GPU 峰值内存占用减少了 31%。
• 消融实验：
  • 无微调对比： 在不进行微调的情况下，基于信息熵（IE）的准则直接剪枝后的性能已优于基于交叉熵（CE）和自蒸馏（SD）的准则，证明了其评估指标的内在优越性。
  • 剪枝对象选择： 仅剪枝 MLP 模块比同时剪枝 Attention 和 MLP 模块效果更好，证明了 MLP 是更安全的剪枝目标。

5. 意义与总结 (Significance)

HFPrune 解决了现有泰勒剪枝方法因过度依赖单一标签而导致的“知识丢失”问题。通过引入信息熵作为无标签的重要性评估指标，该方法在不增加额外计算负担的前提下，实现了对大语言模型高保真的压缩。

• 理论意义： 证明了在模型压缩中，维护模型输出的全局概率分布比维护单一标签预测更为关键。
• 应用价值： 为在资源受限设备上部署高性能 LLM 提供了高效、低成本的解决方案。该方法不仅适用于剪枝，其基于熵的重要性度量思路未来也可扩展至量化（Quantization）等其他压缩技术中。

总结： HFPrune 通过“全局视角”替代“局部标签视角”，在大幅降低模型参数量和计算量的同时，甚至实现了超越原始模型的性能，是大语言模型高效部署的重要进展。