🤖 machine learning

Compressing What Matters: Neuron Importance Meets Data-Aware Low Rank Approximation for Language Model Compression

本文提出了一种将神经元重要性与数据感知低秩近似相结合的新型语言模型压缩框架，并引入了一种用于动态压缩率分配的高效算法，在实现最先进性能的同时，尤其是在高压缩率条件下表现优异。

原作者： Athanasios Ntovas, Alexandros Doumanoglou, Petros Drakoulis, Dimitris Zarpalas

发布于 2026-07-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Athanasios Ntovas, Alexandros Doumanoglou, Petros Drakoulis, Dimitris Zarpalas

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，人工智能的世界就像一座巨大、繁忙的图书馆，书都是由巨大的、超级聪明的机器人编写的。这些被称为“大语言模型”（LLM）的机器人非常擅长理解人类语言、创作故事和解决问题。但有一个问题：为了变得如此聪明，这些机器人随身携带了数十亿条微小的笔记，这使得它们异常沉重。试图在小型设备（如智能手机或智能手表）上运行这些沉重的机器人，就像试图把一整座图书馆装进你的背包里一样；这负担太重了，电池会瞬间耗尽。科学家们一直试图研究如何在不让这些机器人忘记所学知识的前提下，将它们缩小。

为了实现这一目标，研究人员使用了一种叫做“奇异值分解”（SVD）的数学技巧。把 SVD 想象成一种方法，它可以将一大堆杂乱的笔记整理成一叠整齐、更小的笔记，同时仍能讲述同样的故事。这就像是将一部 500 页的小说总结成一份 50 页的大纲，同时保留所有重要的情节点。另一个想法是“神经元重要性”，这就像是在问：“在这堆笔记中，哪些笔记对故事真正重要，哪些我们可以扔掉？”最后，还有一个关于如何缩小机器人不同部分的问题。我们应该以相同的比例缩小每一个部分，还是应该更聪明一点，对那些不太重要的部分进行更激进的压缩？

本文介绍了一种名为 NIDA-SVD 的新方法，它试图成为那位终极图书管理员。它不仅仅是总结笔记，也不仅仅是扔掉那些“不重要”的部分，而是以一种巧妙的方式将这两个想法结合在一起。研究人员发现，简单地混合旧方法效果并不好；通过观察机器人的“脑细胞”（神经元）如何对故事做出反应，他们可以更有效地缩小模型。他们还发现，根据机器人在机器中的深度进行逐层缩小，比按功能对部分进行分组效果更好。

厚重的背包问题

大语言模型是现代人工智能的核心，能够与我们聊天并理解我们的世界。但为了变得如此聪明，它们的构建包含了数十亿个参数——你可以把这些参数想象成建造巨大墙壁时的每一块砖头。问题在于，这面墙太重了，无法装进手机或笔记本电脑等小型设备中。科学家们希望压缩这些模型，在减小体积和提高速度的同时，不丢失它们的智慧。

旧工具：总结与分类

为了缩小这些模型，研究人员使用了两种主要工具。第一种是 SIV，这是一种数学方法，充当了超高效的总结者。它将一个巨大的矩阵（数字网格）分解成一个更小的版本，同时保留最重要的信息，并丢弃其余部分。第二种工具是“神经元重要性”，它试图找出网格中哪些特定的数字是这场表演中的“明星”。如果一个数字对最终答案贡献不大，它就是一个可以被移除的候选对象。

此前，科学家们尝试分别使用这些工具。有些人专注于根据模型如何“看待”数据来进行数据感知（data-aware）的总结，而另一些人则专注于每个特定数字对最终结果的重要性（参数重要性）。然而，本文作者注意到，仅仅将这两种旧方法混合在一起效果并不理想；它实际上会让模型变得更笨。

新方案：NIDA-SVD

作者提出了一种名为 NIDA-SVD（神经元重要性驱动的数据感知 SVD）的新方法。与其通过观察单个数字来决定保留什么，不如观察神经元（数字的功能组），并询问：“这个神经元的输出对最终任务有多重要？”

想象你正在剪辑一部电影。旧的方法是观察每一帧画面并决定它是否重要。而新的方法是观察场景，并询问：“这个场景是否推动了情节的发展？”如果一个场景至关重要，你就保持它的细节；如果它只是填充物，你就把它删减。通过关注神经元输出的重要性而非仅仅是原始数字，这种新方法即使在规模大幅缩减时也能保持模型的高性能。

智能缩减：动态秩分配

论文还解决了第二个问题：如何决定每个部分的缩减程度。过去，人们通常以相同的比例缩小每个部分（均匀分配），或者按功能对部分进行分组（例如将所有的“注意力”部分放在一起）。作者认为这过于僵化。

他们发现，模型的不同层有不同的需求。有些层就像建筑的地基；如果缩减得太多，整个结构就会坍塌。而有些层就像墙上的油漆；即使简化一些，也不会毁掉房子。作者开发了一种动态秩分配算法，它根据模型的深度索引逐层观察模型，并为每一层分配一个特定的“缩减限制”。这确保了最敏感的层获得了更多的空间，而不太敏感的层则被压缩得更紧。

结果：更小、更快、更聪明

研究人员在包括 BERT、DistilBERT、MobileBERT 和 TinyBERT 在内的几种流行模型上测试了他们的这种方法。他们将 NIDA-SVD 与现有的最佳方法（如 SVD-LLMv2）在句子理解和回答问题等各种任务上进行了对比。

结果令人印象深刻。在针对标准 BERT 模型的测试中，有 87.5% 的测试显示 NIDA-SVD 的表现优于之前的最先进方法。在高压缩率（即模型被大幅度压缩）时，这种差异更为显著。例如，当压缩模型 50%（仅保留一半参数）时，在某些任务上，NIDA-SVD 比旧方法提高了高达 6.41% 的性能。

即使是在已经非常精简的模型（如 TinyBERT）上，新方法也表现稳健。虽然 TinyBERT 非常小，进一步压缩通常会导致其失效，但 NIDA-SVD 成功将其压缩了 30%（从 1430 万个参数减少到 1000 万个），同时仍保持了强大的性能。事实上，在 TinyBERT 的 94% 测试中，新方法都表现得更为优越。

无需代价的效率

人们可能会担心，变得如此聪明是否需要额外的计算能力。然而，作者表明，他们的方法与其他方法一样快。因为总参数量是相同的（因为他们的目标是达到相同的压缩率），所以计算成本（以 MFLOPS/token 衡量）几乎完全相同。“魔力”不在于做更多的工作，而在于更聪明地分配工作。

例如，在 DistilBERT 模型上，将规模压缩 50% 使计算成本从 86 MFLOPS/token 降低到了约 19 MFLOPS/token。在 TinyBERT 上，规模减少 30% 导致计算成本大幅下降了 90%，降至不到 1 MFLOP/token。

结论

简而言之，本文表明，要有效地缩小 AI 模型，我们不应仅仅观察原始数字，也不应将模型的每个部分同等对待。相反，我们应该了解哪些“脑细胞”正在承担重任，并根据每一层所能承受的程度进行逐层缩减。作者提出的新方法 NIDA-SVD 证明，这种方法可以让我们在不让机器人忘记教训的前提下，将这些巨大的、聪明的机器人装进更小的背包里，为在日常设备上运行强大的 AI 铺平了道路。

技术摘要：压缩核心要素 (NIDA-SVD)

问题陈述

大型语言模型（LLMs），特别是基于 Transformer 架构的模型，通过数十亿个参数实现了高性能，但这导致了极高的内存和计算需求。这限制了它们在边缘设备和智能手机等资源受限环境中的部署。虽然奇异值分解（SVD）一直是通过低秩近似进行矩阵压缩的基础工具，但现有方法面临两个主要局限性：

孤立的视角： 先前的研究要么侧重于参数重要性（例如 FWSVD，根据参数对任务损失的影响进行加权），要么侧重于数据感知的函数等价性（例如 SVD-LLMv2，使用校准数据最小化层输出误差）。这些视角被孤立地研究，且研究表明，简单地将它们结合起来会导致性能下降。
次优的秩分配： 在各层之间分配压缩率（秩）通常通过均匀分配或计算昂贵的启发式搜索来处理。现有的数据感知方法（如 SVD-LLMv2）按功能角色（例如将所有 Query 矩阵归为一组）对权重进行分组，这可能无法考虑到同一功能组内不同层之间变化的敏感度。

方法论：NIDA-SVD

作者提出了 NIDA-SVD（神经元重要性驱动的数据感知 SVD），这是一种后训练压缩流水线，它通过动态秩分配方案，将神经元重要性与数据感知低秩近似相结合。

1. 神经元重要性 (NI) 估计

该方法不是估计单个参数的重要性（如 FWSVD），而是估计神经元输出（前激活值）的重要性。

机制： 该方法计算关于神经元输出前激活值 ( $y_{ij}$ ) 而非权重 ( $w_{ij}$ ) 的 Fisher 信息。
计算： 对于数据集 $D$ ，第 $i$ 个神经元的重要性是通过聚合跨样本的任务损失 $L$ 对神经元输出的平方偏导数得出的：
$\hat{I}_i = \sqrt{\frac{1}{|D|} \sum_{k=1}^{|D|} \mathbb{E}_j \left[ \left( \frac{\partial L(y_{ij}(d_k))}{\partial y_{ij}} \right)^2 \right]}$
集成： 该重要性矩阵 $\hat{I}$ 被集成到低秩近似目标中。目标是最小化层输出的加权重建误差： $\min_{W'} \| \hat{I}WX - \hat{I}W'X \|_F$ 。
算法： 作者为最小化该加权损失的最优低秩因子 $A$ 和 $B$ 提供了一个闭式解（定理 1），这使 SVD-LLMv2 算法得到了泛化。

2. 数据感知低秩近似

该方法利用一个包含神经元重要性矩阵的二步 SVD 过程：

从输入激活 $X$ 构建协方差矩阵 $S = XX^T$ 。
对 $S$ 进行 SVD 以获得 $U_s, S_s, V_s$ 。
构建矩阵 $D = \hat{I} W U_s \sqrt{S_s}$ 。
对 $D$ 进行 SVD 并截断至目标秩 $R$ 。
重建压缩后的权重矩阵 $W' = AB$。

3. 动态秩分配（基于层索引）

论文引入了一种计算高效的算法，用于在网络中分配秩，从按功能角色分组（例如所有的 $W_Q$ 矩阵）转向按层索引分组。

分组策略： 将特定 Transformer 层内的所有权重矩阵（例如第 $l$ 层的 $W_Q, W_K, W_V, W_a, W_u, W_d$ ）视为一个单一组。
敏感度代理： 算法计算每个矩阵在均匀秩假设下的“理论损失”，以确定其对秩减少的敏感度。
分配： 秩根据归一化的理论损失进行比例分配。被认为更敏感的层会获得更高的秩。
精炼： 一个迭代精炼循环会调整整数秩，以确保总参数量严格符合全局压缩目标，而无需进行穷举搜索。

核心贡献

混合压缩框架： 本文解决了参数重要性与数据感知近似之间的鸿沟。研究表明，简单地将 FWSVD（参数重要性）与 SVD-LLMv2（数据感知近似）结合会降低性能，而使用神经元重要性（功能组）则能带来实质性的改进。
层索引秩分配： 作者提供了实验证据，证明按层深度分组比按功能角色分组更有效。这种策略能更好地捕捉网络中不同层之间内在的异质性。
计算效率： 所提出的秩分配算法计算高效，避免了优化分配所需的穷举搜索，同时优于之前的启发式方法。
侧重于后训练： 该方法旨在无需微调的情况下工作（零样本压缩），但在应用微调时仍保持稳健。

实验结果

该方法在 GLUE 基准测试上对 BERT、DistilBERT、MobileBERT 和 TinyBERT 进行了评估。

与最先进技术（SOTA）的对比：
- 在 BERT 上，在均匀分配条件下，NIDA-SVD 在 87.5% 的案例（35/40）中达到了 SVD、FWSVD 和 SVD-LLMv2 的最优性能。与直接对比使用其自身基于角色分配的 SVD-LLMv2 时，NIDA-SVD（使用基于索引的分配）在 85% 的案例中表现更好，在高压缩率下增益显著（例如，在 50% 压缩率下的 CoLA 任务中提升了 +4.41%）。
- 在 DistilBERT 上，NIDA-SVD 在 92% 的案例中优于 SVD-LLMv2。
- 在 MobileBERT 和 TinyBERT 上，NIDA-SVD 表现出稳健的优势，分别在 84% 和 94.4% 的案例中优于 SVD-LLMv2。
消融研究：
- 神经元 vs. 参数重要性： 使用神经元重要性 (NI) 在 95% 的案例中优于参数重要性 (PI)。使用 PI 往往会导致性能比基准 SVD-LLMv2 更差。
- 秩分配： 对于 SVD-LLMv2，基于索引的分配在 67.5% 的案例中优于基于角色的分配；对于 NIDA-SVD，这一比例为 70%。
效率：
- 压缩将 DistilBERT 的参数从 66.9M 减少到约 33.4M（减少 50%），将 MobileBERT 从 24.5M 减少到约 12.1M。
- 计算成本 (MFLOPS/token) 大幅下降（例如，DistilBERT 从约 86 降至约 19 MFLOPS/token，实现了约 4.5 倍的加速）。
- NIDA-SVD 和 SVD-LLMv2 实现了几乎相同的参数量和 MFLOPS/token 值，证实了性能提升来自于更智能的秩分布，而非增加了计算成本。

重要性与主张

论文声称 NIDA-SVD 为 LLM 建立了一个稳健且通用的压缩解决方案。其主要意义在于证明了神经元级重要性估计结合数据感知近似以及基于层索引的秩分配，可以显著优于现有的最先进方法，特别是在高压缩率下。

作者强调，这种方法允许在无需昂贵重训练或微调的情况下，在资源受限的设置中高效部署大规模语言模型，同时保持甚至提高其在下游任务中的性能，相比于之前的 SVD 技术。这项工作表明，当“函数等价性”视角由参数重要性而非神经元重要性进行加权时，是实现有效压缩的关键。