🤖 machine learning

Generalized Fisher-Weighted SVD: Scalable Kronecker-Factored Fisher Approximation for Compressing Large Language Models

本文提出了一种广义费舍尔加权奇异值分解（GFWSVD），这是一种针对大语言模型的可扩展训练后压缩方法，它利用全费舍尔信息矩阵的克罗内克因子近似来捕捉参数相关性，并显著优于现有的基于对角线的压缩技术。

原作者： Viktoriia Chekalina, Daniil Moskovskiy, Tatiana Matveeva, Andrey Kuznetsov, Evgeny Frolov

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Viktoriia Chekalina, Daniil Moskovskiy, Tatiana Matveeva, Andrey Kuznetsov, Evgeny Frolov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图将一座宏大且复杂的图书馆缩小到足以装进一个背包的大小，同时又不丢失其中的故事。这正是科学家在人工智能领域——特别是研究“神经网络”（旨在模仿大脑学习能力的计算机程序）时所面临的日常挑战。这些程序由数百万个被称为“参数”的小开关组成。为了让这些程序在更小的设备上运行得更快，研究人员试图剪掉那些没怎么干活的开关。但棘手之处在于，这些开关并不是孤立工作的。它们就像一个复杂的舞团；如果你拉走一名舞者，整个舞步可能会崩溃，因为那名舞者正与其他人手拉手。

多年来，决定剪掉哪些舞者的标准做法是观察每个舞者个体，而忽略了这种“手拉手”的关系。这就像是在检查一名舞者是否疲劳，却没注意到他正在支撑着搭档。这种方法很快，但往往会毁掉整场表演。你即将阅读的这篇论文通过引入一种新的方式来观察参数的“舞蹈”，解决了这个问题。它使用了一种名为“费雪信息矩阵”（Fisher Information Matrix）的数学工具，这个工具就像一张地图，展示了每个开关是如何与其他开关相互连接的。其目标是在保持“故事”（智能）完好无损的前提下，缩小（即压缩）这个“图书馆”（AI模型）。

核心理念：看见整体舞蹈，而非仅仅是舞者

论文的作者 Viktoriia Chekalina 及其团队意识到，旧的地图太模糊了。他们想要一张不仅能显示哪些舞者重要，还能显示他们如何相互关联的地图。为此，他们发明了一种名为**无矩阵费雪分解（Matrix-free Fisher Factorization, MFF）**的新算法。

把费雪信息矩阵想象成覆盖整个舞池的巨大、浓密的迷雾。过去，想要看穿这层迷雾以寻找连接是不可能的，因为迷雾太厚，舞池也太大了。旧的方法只是简单地猜测连接是简单的（比如一条直线），这忽略了真实舞蹈中复杂的曲线。

团队的新技巧 MFF 就像是一副特殊的眼镜，让你无需拨开整个迷雾，就能看到迷雾的结构。MFF 不尝试写下每一个单独的连接（这会消耗大量内存），而是实时计算连接，并专注于舞蹈的特定“层”。这是一种“无矩阵”方法，意味着它从不实际构建那个庞大、沉重的地图，而只是利用地图的形状来引导切割。

解决方案：一种缩减模型的新方法

利用这种观察连接的新方式，团队开发了一种名为 GFWSVD（广义费雪加权 SVD）的方法。如果你把 AI 模型想象成一块粘土，标准方法可能只是切掉边缘。然而，GFWSVD 理解粘土内部的纹理。它知道有些部分的粘土是紧密交织在一起的，必须以特定的方式进行切割才能保持形状。

论文证明，在特定的数学条件下（具体来说，如果连接遵循一种被称为“矩阵多元正态分布”的模式），他们的方法是缩减模型的唯一最优方式。这不仅仅是一个猜测；它是通过减少参数来最小化对模型性能损害的数学上的完美方式。

研究发现：削减一半的模型

团队在一些最著名的 AI 模型上测试了他们的新方法，包括用于编写代码或聊天等各种用途的巨型语言模型 Llama 2 和 Llama 3.1，同时也测试了用于理解文本的模型 BERT。

以下是他们的发现：

压缩能力： 他们能够将这些巨型模型缩小高达 50%。这意味着将参数数量减半。
性能表现： 即使体积减小了一半，这些模型的表现仍与原始版本一样出色，甚至有时甚至更好。在许多测试中，GFWSVD 在各项指标上都全面超越了当前最优秀的方法（如对角近似法和基于激活的方法）。
避免崩溃： 当他们尝试将模型压缩 40% 时，标准方法开始失效，导致 AI 失去推理或回答问题的能力。然而，GFWSVD 依然保持了稳健和可靠。
速度： 由于模型变小了，它们的运行速度也更快。在强大的计算芯片（NVIDIA A100）上，压缩后的模型处理文本的速度比未压缩的原始模型快了 1.34 倍。

为什么这很重要

作者表明，通过关注参数之间隐藏的连接（非对角线元素），你可以更激进地缩小 AI 模型而不使其损坏。他们证明，忽视这些连接（正如大多数其他方法所做的那样）会浪费大量的性能潜力。

他们还表明，这种方法可以作为其他训练过程的一个极佳“起点”。如果你先使用 GFWSVD 来缩小模型，然后让模型再进行少量的学习（微调），它比使用标准缩减方法能更好地保持准确性。

简而言之，这篇论文为裁剪巨型 AI 模型提供了一把全新的、具有数学依据的“剪刀”。它让我们在丢弃冗余体积的同时保留智能，使强大的 AI 能够在更小的设备上运行，并降低运行成本，且不会失去原始模型的魔力。

技术摘要：用于神经网络参数敏感性的可扩展 Kronecker 分解 Fisher 近似

1. 问题陈述

Fisher 信息矩阵（FIM）为理解神经网络的参数敏感性提供了一个原则性的几何框架，这对于训练后压缩等任务尤为重要。然而，由于高维深度学习模型的二次方缩放特性（ $O(d^2)$ ），计算或存储完整的 FIM 在计算上是不可行的。因此，现有方法通常依赖于对角近似（例如 Frankle & Carbin, 2019; Wu et al., 2024），这类方法假设参数是相互独立的。这种假设丢弃了参数之间关键的非对角相关结构，导致次优的压缩效果并可能引起精度下降，尤其是在像大语言模型（LLM）这样的密集架构中。

2. 方法论

无矩阵 Fisher 分解 (MFF)

作者提出了 无矩阵 Fisher 分解 (Matrix-free Fisher Factorization, MFF)，这是一种旨在近似 FIM 且无需显式构建完整矩阵的 GPU 可行算法。

Kronecker 结构： MFF 将经验 FIM ( $I_F$ ) 近似为两个较小矩阵 $A$ 和 $B$ 的 Kronecker 积，即 $I_F \approx A \otimes B$ 。这种结构捕捉了线性层权重矩阵内的行向和列向依赖关系。
无矩阵计算： 为了避免构建置换 Fisher 矩阵 $\tilde{I}_F$ 时产生的 $O(m^2n^2)$ 复杂度，MFF 利用了用于截断奇异值分解（SVD）的 Lanczos 方法。它仅依赖于矩阵-向量乘法（matvec）操作。
高效 Matvec： 通过利用性质 $(K \otimes L)\text{vec}(C) = \text{vec}(K^\top CL)$ ，该算法通过一系列涉及来自小批量梯度矩阵 ( $G_i$ ) 的紧凑矩阵乘法，来计算置换 Fisher 矩阵在向量上的作用。这将其时间复杂度降低至 $O(mn^2 + m^2n)$ ，使其对于大型 Transformer 层而言是可行的。

广义 Fisher 加权 SVD (GFWSVD)

基于 MFF，作者推导出了 GFWSVD，一种用于训练后压缩的闭式低秩层分解方法。

理论基础： 在假设层权重服从矩阵多元正态分布（MVN）且 FIM 具有 Kroneک 结构的前提下，作者证明了最小化期望二阶损失增量（参数敏感性）会产生唯一的最佳分解。
算法： 权重矩阵 $W^*$ 的最优秩- $r$ 近似由 $W_r = L_B^{-\top} \hat{W}_r L_A^{-1}$ 给出，其中 $\hat{W}_r$ 是辅助矩阵 $\hat{W} = L_B^\top W^* L_A$ 的秩- $r$ 截断 SVD。此处 $L_A$ 和 $L_B$ 是 Kronecker 分量 $A$ 和 $B$ 的 Cholesky 分解因子。
泛化性： 该方法推广了以往的方法：
- 标准 SVD 对应于恒等变换。
- Fisher 加权 SVD (FWSVD) 对应于单侧对角变换。
- GFWSVD 采用双侧全非对角变换，捕捉更丰富的相关结构。

3. 核心贡献

算法原语： 推导出了 MFF，一种可扩展、GPU 可行的 Kronecker 结构 FIM 近似算法，避免了显式的矩阵存储。
理论最优性： 证明了在 MVN 和 Kronecker 结构 FIM 的假设下，GFWSVD 提供了最小化期望二阶损失增量的唯一最优低秩压缩。
经验性能： 提出将 GFWSVD 作为一种压缩方法，在各种压缩阶段中，其表现一致优于对角 Fisher 近似（FWSVD）和基于激活值的基准方法（ASVD, SVD-LLM）。

4. 实验结果

作者在合成数据集、仅编码器模型（BERT）以及仅解码器 LLM（Llama 2 7B, Llama 3.1 8B）上评估了其方法。

合成基准测试： 在具有显式相关结构（各向同性、各向异性和 Toeplitz）的受控设置中，随着相关性的增加，GFWSVD 展示了相对于对角方法的显著优势，证实了捕捉非对角依赖性的重要性。
BERT 压缩： 在 GLUE 基准测试中，GFWSVD 取得了最先进的结果，尤其是在低秩（高压缩比）情况下。例如，在 40% 的压缩率下，GFWSVD 保持了 0.51 的 GLUE 平均宏得分，显著优于 SVD (0.37) 和 FWSVD (0.38)。
LLM 压缩：
- Llama 2 7B & Llama 3.1 8B： 在高达 50% 的压缩率下，GFWSVD 显著优于独立层分解方法（FWSVD, ASVD）和跨层方法（Basis Sharing）。
- 鲁棒性： 在 40% 参数削减时，GFWSVD 有效避免了标准方法在密集架构中出现的性能崩溃现象。
- 微调初始化： 当用于初始化如 Dobi-SVD 等优化流水线时，GFWSVD 比标准 SVD 初始化更好地保留了精度，在 40% 压缩时仅表现出轻微退化，而基准方法则出现了大幅下降。
效率： 在 GPU 上计算 Llama 3.1 8B 单层 Kronecker 因子的运行时间约为 249 秒，证明了即使对于大型模型也是可行的。在 50% 压缩时，观察到推理吞吐量提升高达 1.34 $\times$ 。

5. 重要性与主张

本文将 MFF 和 GFWSVD 定位为可扩展、具备二阶感知能力的神经网络近似的基础算法原语。

理论进展： 本研究建立了 Fisher 几何与最优低秩近似之间的直接联系，将以往的对角 Fisher 方法推广到了具有理论依据的全矩阵敏感性框架。
实际影响： 通过避免显式构建完整的 FIM，该方法使得利用二阶信息处理大型神经网络成为可能，为高效的模型压缩提供了一条实用的路径，而无需承担估计全曲率带来的高昂内存成本。
适用范围： 作者强调，虽然其评估侧重于训练后压缩，但其底层公式针对的是通过 Fisher 加权二次损失实现的参数敏感性，这表明其在其他敏感性驱动任务中的适用性。作者指出，该方法假设存在局部最优和 MVN 分布，这些是分析上的便利工具，在经验上表现良好，但可能无法完美反映随机训练的复杂动态。

作者声明不存在财务冲突，并指出所有评估的模型（BERT, Llama 2, Llama 3.1）均为公开可用。