💬 NLP

SigmaScale: LLM Compression with SVD-based Low-Rank Decomposition and Learned Scaling Matrices

SigmaScale 是一种新颖的大语言模型压缩方法，它通过激活感知奇异值分解（activation-aware SVD）来优化学习到的对角缩放矩阵，从而降低权重矩阵的有效内在秩，在 Llama 3.1 和 Qwen3 等模型上实现了与最先进技术相媲敌的性能。

原作者： Ernests Lavrinovics, Marco Letizia, Roy Janco, Shai Segal, Johannes Bjerva, Maurizio Pierini

发布于 2026-06-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ernests Lavrinovics, Marco Letizia, Roy Janco, Shai Segal, Johannes Bjerva, Maurizio Pierini

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：巨型模型过于沉重

想象一下，像 Llama 3.1 或 Qwen3 这样的超大规模语言模型（LLM）就像一座规模宏大、细节极其丰富的图书馆。这些图书馆包含了数十亿本书籍（参数），使 AI 变得聪明并能回答问题。然而，正因为它们如此庞大，导致它们搬运起来很重，运行起来很昂贵，且仅仅为了阅读一句话就需要功能强大且耗能巨大的计算机。

科学家们希望在不丢失“智能”部分的前提下，将这些图书馆缩小，使其能够适配较小的设备。这被称为压缩。

旧方法：“蒙眼编辑”

缩小这些模型的一种流行方法叫做 SVD（奇异值分解）。可以将模型的“大脑”想象成一张巨大的数字表格。

类比： 想象你有一份 100 页的文件，但你只能保留 10 页。旧的 SVD 方法就像一个蒙着眼睛的编辑。它看着文件说：“好吧，我会保留前 10 页墨水最多的页面，然后把剩下的全部扔掉。”
缺陷： 有时，最重要的信息并不在墨水最多的页面上。它可能隐藏在页边距里，或者以极小的字体书写。通过盲目地切掉“尾部”数据，模型会失去理解细微差别的能力，从而开始犯错。

新方案：SigmaScale（“聪明缩减器”）

该论文的作者提出了一种名为 SigmaScale 的新方法。SigmaScale 不再只是盲目地切掉底部的 90% 数据，而是扮演了一个拿着放大镜和荧光笔的聪明编辑的角色。

以下是它的工作步骤：

1. “拉伸与收缩”技巧

在编辑裁剪页面之前，SigmaScale 会对文档应用一种特殊的“拉伸与收缩”过滤器。

类比： 想象这份文档是由橡胶制成的。SigmaScale 拉伸重要的部分（让它们变得更大、更容易观察），并收缩不重要的部分（让它们变得更小）。
它是如何做到的： 它学习两组数字（向量），这两组数字就像行和列的尺子。它不仅仅是猜测在哪里进行裁剪；它通过学习精确地如何拉伸数据，从而使最关键的信息移动到列表的最顶端。

2. “激活感知型”损失函数

论文提到了这种方法是“激活感知”（activation-aware）的。

类比： 普通的编辑只是看着纸张。SigmaScale 则观察纸张是如何被实际使用的。它会询问：“当人类阅读这份文档时，他们究竟需要哪些词汇才能理解故事？”它根据模型实际处理信息的方式来优化拉伸过程，而不仅仅是看页面上的数字长什么样。

3. 结果：一个更小、更聪明的图书馆

在拉伸了重要部分之后，编辑（SVD）切掉了底部。由于 SigmaScale 先拉伸了重要的部分，因此“切割”发生在一个存储价值较低信息的位置。

结果： 最终得到的“缩减版”模型虽然体积变小了，但它比旧方法更好地保留了“内在秩”（即核心智能）。

实验展示了什么

研究人员在 Llama 3.1 (8B) 和 Qwen3-8B 上测试了该方法。他们将 SigmaScale 与其他顶尖方法（如 SVD-LLM 和 ASVD+）进行了对比。

轻度压缩（保留 90% 的体积）： SigmaScale 是明显的赢家。它保持的“困惑度”（衡量模型有多困惑的指标）比其他方法都要低得多。这就像是保留了 90% 的图书馆，却不知为何保留了 95% 的智能。
中度压缩（保留 75% 的体积）： SigmaScale 依然表现出色，通常在特定的逻辑和推理测试中击败了竞争对手。
极端压缩（保留 50% 的体积）： 在这里，SigmaScale 也遇到了困难，与其他方法一样。论文承认，如果你把图书馆缩减到一半大小，即使是聪明的编辑也无法阻止模型“丧失理智”。它并不是一种解决极端缩减问题的万能药。

“微调”步骤

在缩小模型后，它会变得有些摇晃不稳。研究人员还测试了两种使其恢复稳定的方法：

监督式微调（Supervised Fine-Tuning）： 用新的示例来教导缩减后的模型。
知识蒸馏（Knowledge Distillation, KD）： 让一个巨大的、未经过缩减的“教师”模型来引导这个小的“学生”模型。

发现： 令人惊讶的是，对于这种特定的方法，“教师”（KD）并没有比直接教导学生带来更多的帮助。两种方法的效果几乎相同。

总结

SigmaScale 是一种让缩小 AI 模型变得更聪明的新技术。它不再只是简单地砍掉数据底部，而是首先学习如何重新排列数据，从而保存最重要的部分。

最适用场景： 需要节省空间但又不能承受太多智能损失的情况（轻度到中度压缩）。
不适用场景： 试图将模型缩小到极小尺寸（极端压缩）的情况，在这种情况下该方法会失效。
核心要点： 它是一种灵活的、学习型的方案，能够适应模型大脑的具体形状，而不是使用一种一刀切的公式。

技术摘要：SigmaScale

问题陈述

大语言模型（LLMs）通过将参数规模扩展到数百亿甚至数千亿，实现了卓越的性能，但这种增长也因高推理功耗在技术可及性和环境影响方面造成了显著障碍。虽然存在量化、剪枝和知识蒸馏等模型压缩技术，但许多技术需要专门的硬件或复杂的重训练流程。低秩分解，特别是截断奇异值分解（Truncal SVD），提供了一种与硬件无关的替代方案，它通过将权重矩阵 $W$ 近似为低秩矩阵的乘积来实现压缩。

然而，标准 SVD 在 LLM 背景下面临两个主要局限性：

分析上的次优性： Eckart–Young–Mirsky 定理提供了最小化 Frobenius 范数 $||W - W'||_F$ 的最优解析解。然而，这种结构化最小化在神经网络权重上的表现往往不佳，因为它忽略了激活值的离群点（outliers）以及网络的函数行为。
优化挑战： 朴素 SVD 的计算开销巨大（ $O(n^3)$ ），且具有不稳定的导数，使其难以集成到基于梯度的优化程序中。此外，以往尝试通过缩放矩阵（例如吸收激活离群点）来改进 SVD 的方法依赖于解析推导（如激活协方差的 Cholesky 分解），而非直接学习这些变换。

方法论：SigmaScale

作者提出了 SigmaScale，这是一种通过学习辅助缩放矩阵 $S$ 来辅助截断 SVD 型压缩的方法。SigmaScale 不再通过解析方式推导缩放矩阵，而是通过在激活感知损失函数下利用梯度下降来优化它们。

该流水线包含三个主要阶段：

敏感度探测（Sensitivity Probing）： 在压缩之前，该方法确定每个层和模块（MLP 和注意力机制）的最佳截断秩，以实现全局目标压缩率并最小化困惑度（perplexity）的增加。这利用了一种类似于 ASVD 的二分查找算法。
学习型缩放矩阵：
- 对于权重矩阵 $W \in \mathbb{R}^{m \times n}$ ，通过缩放高斯分布初始化两个向量 $d_r \in \mathbb{R}^m$ 和 $d_c \in \mathbb{R}^n$ 。
- 这些向量通过指数运算定义正对角缩放矩阵： $S_r = \text{diag}(\exp(d_r))$ 和 $S_c = \text{diag}(\exp(d_c))$ 。
- 对权重矩阵进行缩放（ $S_r W S_c$ ），执行截断 SVD 以获得秩- $k$ 因子，然后应用逆缩放来重建压缩后的矩阵 $W'$ 。
- 优化参数 $d_r$ 和 $d_c$ ，以最小化激活感知损失函数：
  $L_F = \frac{1}{mn} ||WX - W'X||_F^2$
  其中 $X$ 代表来自校准集的激活值。这确保了压缩过程保留了模型的函数功能，而不仅仅是其结构。
- 注：为了处理 SVD 不稳定的导数，训练循环会跳过奇异值差异趋于零时的更新步骤，以防止出现 NaN 值。
压缩后微调： 压缩完成后，模型进行微调以重新对齐权重。作者对比了**监督微调（SFT）与使用未压缩教师模型的知识蒸馏（KD）**在恢复性能方面的表现。

核心贡献

学习缩放参数： 据作者所知，这是首个专门探索学习行向和列向缩放矩阵 $S$ 参数以提升 SVD 压缩性能的工作，从而摆脱了对解析推导的依赖。
性能恢复分析： 本文针对 SVD 型压缩背景下的性能恢复，提供了 KD 与 SFT 的对比分析，并使用了多样化的压缩后数据集。
自定义数据集： 作者引入了一个使用 Llama 3.1-8B 指令输出生成的自定义 Alpaca 数据集变体，旨在为权重重新对齐实验引入差异性。

结果与分析

实验在 Llama 3.1 8B Instruct 和 Qwen3-8B 模型上进行，涵盖了多种压缩率（0.90x, 0.75x, 0.50x 保留率）。

竞争力： SigmaScale 在各种压缩率下均具有与最先进的 SVD 类方法（SVD-LLM 和 ASVD+）竞争的实力。
- 在 0.90x 保留率下，SigmaScale 在两种模型上都显著改善了相对于 SVD-LLM 的困惑度，同时恢复了大部分零样本基准测试性能。
- 在 0.75x 保留率下，SigmaScale 通常能提升多个零样本基准测试的表现，尽管困惑度的增益较为微小。
- 在 0.50x 保留率下，性能大幅下降，尤其是对于 Llama 3.1。作者指出，该方法在保留子空间足够大、足以让学习到的缩放补偿被丢弃的奇异方向时最为有效；它并不是极端低秩压缩的终极解决方案。
KD vs. SFT： 与此前一些认为 KD 在恢复性能方面更优的文献观点相反，作者的结果并未显示出在特定设置下 KD 优于 SFT。
内在秩减少： 作者分析了优化过程中奇异值（ $\Sigma$ ）的“有效秩熵”。他们观察到，压缩损失的减少与有效秩熵的减少之间存在强相关性（约 0.81–0.92）。这表明，学习到的缩放降低了权重矩阵的有效内在秩，使其更好地符合压缩约束。

意义与局限性

论文将 SigmaScale 定位为适用于需要降低 LLM 推理成本的应用场景的有效选择，特别是在轻度到中度压缩的范畴内。通过通过学习到的、激活感知的变换来适应单个模型权重的结构，它提供了一条比解析方法更灵活的低秩压缩路径。

作者明确承认了以下几点局限性：

计算成本： 该方法在训练缩放矩阵期间仍需在每个更新步骤计算 SVD，保留了 $O(n^3)$ 的复杂度，且未探索更快的近似 SVD 替代方案。
极端压缩： 该方法在激进压缩（如 0.50x）下性能退化严重，表明它是一种在保留秩范围内提高截断质量的机制，而非极端压缩的解决方案。
评估范围： 评估仅限于困惑度和特定的零样本基准测试；尚未探索其对长文本生成或编程任务的影响。
校准数据： 未对不同校准分布的鲁棒性进行正式验证，且文中提到使用 Wikitext 是为了与之前的基准保持一致而做出的次优选择。