💻 computer science

F-WANDA: Fisher-Reweighted Post-Training Pruning for Sustainable Deployment of Large Language Models

F-WANDA 是一种高效能、单次训练后剪枝方法，它通过基于经验费舍尔信息（empirical Fisher information）重新分配神经元保留预算来改进 WANDA，在实现优于 SPARSEGPT 的语言模型性能的同时，显著降低了计算成本。

原作者： Himanshu Mishra (University of British Columbia)

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Himanshu Mishra (University of British Columbia)

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大的、极其聪明的机器人，它能写故事、解数学题，还能像人类一样聊天。这个机器人就是一个“大语言模型”（LLM）。但问题在于：这个机器人太庞大了。运行它需要庞大的计算机和大量的电力，就像试图用一块电池来为一座城市供电一样。科学家们一直在寻找方法，试图把这些机器人缩小，让它们能在更小的设备上运行，同时又不丢失聪明才智。

缩小它们的一种流行方法叫做“剪枝”（Pruning）。把剪枝想象成去整理机器人的大脑——那是一个由神经元连接组成的巨大图书馆。剪枝就像是走进这个图书馆，把那些看起来不太重要的书扔掉。目标是让图书馆小到可以装进背包，但仍然足够聪明，能够回答问题。然而，这其中有一个棘手的平衡：如果你不小心扔掉了太多“重要”的书，机器人就会开始犯错或听起来像个机器人。如果你试图过于小心地挑选要留下的书，那么分类的过程就会耗时极长，并消耗掉你所有的能量。这篇论文解决的正是一个这样的问题：如何快速、廉价且不损失机器人的天才智慧地进行分类。

问题所在：“一刀切”的错误

研究人员首先观察了一种流行的算法，叫做 WANDA。想象一下，WANDA 是一个图书管理员，负责决定扔掉哪些书。WADA 会观察两件事：一本书有多“响亮”（它的权重），以及人们阅读它的频率（输入激活值）。如果一本书很安静且很少被阅读，WANDA 就会把它扔掉。

问题在于，WANDA 采用的是一种统一的方法。它对待图书馆里的每一个书架都完全一样。它会决定：“好吧，我要把每一架上 50% 的书都扔掉。”但问题是：有些书架上装满了机器人最关键的事实（比如“巴黎是法国的首都”），而另一些书架上则装满了无聊、重复的内容。仅仅因为它是某个书架，WANDA 就扔掉了“巴黎”书架上 50% 的书，这无意中删除了机器人的知识。

另一种方法叫做 SPARSEGPT，它试图做得非常小心。它会观察每一本书，精确计算如果移除这本书会对机器人的大脑造成多大的伤害，然后仔细修改剩余的书籍以修复损伤。这种方法在保持机器人聪明方面效果很好，但就像雇佣了一支博士团队来整理图书馆一样。它需要耗费大量的时间和能量——多到往往得不偿失。

解决方案：F-WANDA（聪明的图书管理员）

本文作者介绍了一种名为 F-WANDA 的巧妙升级版。他们意识到，与其仅仅观察一本书有多“响亮”，不如还要问一句：“机器人对这个特定书架有多‘在意’？”

为了找出答案，F-WANDA 进行了一次额外的快速检查。它让机器人的大脑通过一个小测试（“反向传播”过程），以观察哪些书架实际上在驱动机器人的答案。如果一个书架对于得到正确答案至关重要，机器人的大脑就会显示出强烈的信号（称为 费舍尔信息量/Fisher information）。如果一个书架只是噪音，信号就会很弱。

这就是神奇之处：F-WANDA 利用这个信号来改变规则。

在“巴黎”书架上（高信号）： 机器人非常在意。F-WANDA 会说：“不要扔掉这些书里的 50%！只扔掉 20%。我们需要保留大部分书籍。”
在“无聊”书架上（低信号）： 机器人并不在意。F-WADA 会说：“尽管把这些书扔掉 80% 吧。我们不需要它们。”

通过这种方式，机器人既保护了最重要的事实，又变得更小了。而且最棒的是？F-WANDA 不需要重新训练机器人或更新任何权重。它只需要进行一次快速检查，然后就开始剪枝。

研究发现

团队在 LLAMA-2 上进行了测试，这是一个著名的超大规模语言模型家族（具体包括 70 亿和 130 亿参数的版本）。他们想看看 F-WANDA 是否能击败竞争对手。

智力： 当他们将模型缩减至 50% 非结构化稀疏度（即一半的连接被移除）时，F-WANDA 让机器人比原始的 WANDA 聪明得多。在一项衡量通用知识的测试 MMLU 中，F-WANDA 在 7B 模型上比 WANDA 提高了 1.6 个百分点，在 13B 模型上提高了 1.4 个百分点。它甚至击败了极其谨慎的 SPARSEGPT 方法。
流畅度： 机器人听起来依然自然。在一项名为 WikiText-2 的测试中，F-WANDA 对 7B 模型的困惑度（perplexity）得分为 6.85，与原始的 WANDA 几乎完全相同。这意味着机器人并没有开始变得机械化或语无伦次。
能量与速度： 这是 F-WANDA 真正闪耀的地方。极其谨慎的 SPARSEGPT 方法在剪枝模型时耗时很长且使用了大量能量。F-WANDA 则快得多，也更便宜。事实上，F-WANDA 使用的能量和时间仅为 SPARSEGPT 的 三分之一。在强大的 H100 GPU 上，剪枝 7B 模型大约耗时 12 分钟，消耗 4.3 kJ 的能量，而 SPARSEGPT 则需要 35 分钟 和 12.6 kJ。

权衡与限制

作者谨慎地指出，F-WANDA 并非适用于所有情况的“万灵药”。

硬件规则： 如果计算机芯片要求严格的连接保留与移除模式（例如在每个块中精确保留 2 个出 4 个连接），F-WANDA 就无法进行其智能预算。在这些特定情况下，它表现得就像原始的 WANDA 一样。
内存： 由于 F-WANDA 需要进行那次额外的检查，它在工作期间需要更多的计算机内存（大约是 WANDA 的两倍）。对于非常巨大的模型（如 700 亿参数的模型），这可能需要特殊的技巧才能放入内存。
泛化能力： 他们仅在 LLAMA-2 家族上进行了测试。他们目前还不确定这是否以同样的方式适用于其他类型的机器人大脑（如 LLaMA-3 或 Mistral），尽管他们怀疑是可以的。

为什么这很重要

核心结论是，F-WANDA 处于“帕累托前沿”（Pareto frontier）。这是一个高级说法，意思是它提供了你能获得的最好交易：你以最低的成本（最少的能量和时间）获得了最高的质量（最聪明的机器人）。

通过仅仅增加一次快速检查，以查看哪些部分正在努力工作，研究人员成功地节省了大量的能量，同时让机器人变得更聪明。这提醒我们，有时你不需要重建整个图书馆来使其变得更好；你只需要更聪明地决定哪些书该扔掉。这使得在现实世界中运行这些强大的 AI 模型变得更加容易且更便宜，有助于让 AI 变得更可持续，造福每个人。

技术摘要：F-WANDA

问题陈述
大语言模型（LLMs）的部署正日益受到推理端计算和能耗成本的限制。虽然单次后训练剪枝（one-shot post-training pruning）是一种避免重新训练或标注数据的节能压缩策略，但现有方法面临着质量与计算成本之间的权衡。

WANDA (Sun et al., 2024) 高度高效，仅需一次前向传播，但它在输出神经元之间均匀地分配稀疏预算。这种均匀性未能考虑到某些神经元承载着不成比例的知识量，从而导致在知识密集型任务上的表现不佳。
SPARSEGPT (Frantar and Alistarh, 2023) 通过执行基于 Hessian 逆矩阵和权重更新的 Optimal Brain Surgeon 式列扫描，实现了更高的质量。然而，这种方法在计算和能量方面的成本高出一个数量级，且实现过程较为复杂。

识别出的核心瓶颈是 WANDA 无法在分配剪枝预算时，区分“知识承载型”神经元（持续驱动损失）与“置信型”神经元（梯度接近于零）。

方法论：F-WANDA
F-WANDA 引入了对 WANDA 的一种即插即用式修改，该修改根据预激活值的经验费舍尔信息（empirical Fisher information）重新分配每行的稀疏预算，且无需更新任何权重。

费舍尔信号采集：该方法在 WADA 使用的相同校准语料库上执行一次额外的反向传播。对于每一层中的每个输出神经元 $i$ ，它计算经验费舍尔标量 $\bar{\omega}_i$ ，定义为损失对预激活值的均方梯度：
$\bar{\omega}_i = \frac{1}{N} \sum_{t=1}^{N} \left( \frac{\partial L_t}{\partial y_{t,i}} \right)^2$
预算重分配：F-WANDA 并非使用费舍尔信号直接重新加权显著性得分（这在 WANDA 的每行 top- $k$ $k$ 选择下会失效），而是使用 $\bar{\omega}_i$ $\overset{ω}{ˉ}_{i}$ 来确定每一行 $i$ $i$ 保留的权重数量 ( $k_i$ $k_{i}$ )。
- 具有高费舍尔值（对损失敏感）的神经元获得更大的预算。
- 具有低费舍尔值（已饱和）的神经元被更激进地剪枝。
- 预算分配受全局稀疏目标约束，并通过带有最大余数舍入法的迭代注水算法（water-filling algorithm）进行强制执行，以确保精确的整数计数。
剪枝执行：对于每一行，算法根据原始 WANDA 显著性得分（ $|W_{ij}| \cdot \|X_j\|^2$ ）保留前 $k_i$ 个权重，并将其余权重置零。
计算效率：该方法在校准集（128 个序列，每个序列 2048 个 token）上仅需一次前向和一次反向传播。它避免了层级 Hessian 逆矩阵运算和权重更新，其渐近成本为 $O(N \cdot |\theta|)$ ，显著低于 SPARSEGPT 的 $O(\sum d_{in}^3)$ 。

核心贡献

算法创新：对 WANDA 进行了一种改进，利用经验费舍尔信息来重新分配每行的稀疏预算，在无需权重更新或额外数据的情况下，提高了对知识密集型神经元的保留能力。
高效实现：使用注水算法实现了一个精确的预算分配器，在适应费舍尔信号的同时，保持了层级范围内的稀疏目标。
可持续性核算：对剪枝成本（墙钟时间、峰值 GPU 显存和以 kJ 为单位的能量）进行了严格评估，证明了 F-WANDA 位于质量与剪枝能量之间的帕累托前沿（Pareto frontier）。
性能提升：通过实验证据表明，该方法在保持流畅性的同时，提升了在知识密集型基准测试中的表现。

实验结果
在 LLAMA-2-7B 和 LLAMA-2-13B 在 50% 非结构化稀疏度下的评估结果：

质量：F-WANDA 在剪枝方法中实现了最低的 WikiText-2 困惑度（7B 模型为 6.85，13B 模型为 5.93）。至关重要的是，与 WANDA 相比，它在 7B 模型上将 5-shot MMLU 准确率提高了 1.6 个百分点 (pp)，在 13B 模型上提高了 1.4 pp。它在 MMLU (7B) 上也优于 SPARSEGPT 1.1 pp。
效率：F-WANDA 的剪枝墙钟时间和能量成本仅为 SPARSEGPT 的 三分之一。虽然由于反向传播的存在，它的剪枝时间大约是 WANDA 的 2.4 倍，但仍显著低于 SPARSEGPT。
推理：在匹配的稀疏度下，各方法的每 token 推理能量消耗是相同的，因为最终的权重密度一致；节省的能量完全体现在压缩阶段。
消融实验：该方法对校准集大小具有鲁棒性（在 $N=128$ 以上保持稳定）。若将经验费舍尔替换为平方平均梯度，性能会退化到 WANDA 的水平，这证实了基于方差的费舍尔信号的必要性。

意义与主张
本文声称 F-WANDA 解决了剪枝质量与成本之间的权衡问题。通过利用单次反向传播来识别损失敏感型神经元，它将 WANDA 的均匀预算转化为受费舍尔信息启发的分配方案。这使得以下目标成为可能：

卓越的知识保留：无需微调即可在 MMLU 上获得显著增益。
可持续压缩：其剪枝过程比 SPARSEGPT 等基于 Hessian 的方法更具能效，使该方法处于可持续 LLM 部署的帕累托前沿。
方法论清晰度：论文强调了如何应用费舍尔信息的特定区别：将其作为一种预算信号而非权重级显著性修正因子，这使得该方法能与 WANDA 在单次传递中结合。

作者指出了一些局限性，特别是当存在严格的硬件固定 N:M 稀疏性（例如 2:4）时，该方法会退化为标准 WANDA，因为每块密度约束阻止了每行的预算重分配。此外，目前的评估仅限于 LLAMA-2 系列，其在其他架构或激活函数上的泛化能力仍是一个开放性问题。