🤖 机器学习

SLiM: One-shot Quantization and Sparsity with Low-rank Approximation for LLM Weight Compression

SLIM 是一个针对大语言模型的单次（one-shot）压缩框架，它整体集成了硬件友好的均匀量化、半结构化稀疏性以及一种新型的基于显著性的低秩近似方法，在显著提高准确率和推理速度的同时，消除了对高昂计算成本的重训练的需求。

原作者： Mohammad Mozaffari, Amir Yazdanbakhsh, Maryam Mehri Dehnavi

发布于 2025-08-14✓ Author reviewed ⓘ

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohammad Mozaffari, Amir Yazdanbakhsh, Maryam Mehri Dehnavi

✨ 这是对下方论文的AI生成解释。它不是由作者撰写的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大语言模型是新一代人工智能背后的引擎，能够以卓越的流畅度编写故事、解决问题并进行对话。这些系统由数十亿个数学连接（即参数）构建而成，这些参数协同工作以处理信息。虽然这种庞大的规模使它们能够理解细微差别和上下文，但也带来了沉重的负担：这些模型需要大量的计算机内存和处理能力才能运行。这使得它们难以在智能手机或笔记本电脑等日常设备上使用，通常将其限制在昂贵的专用数据中心。多年来，研究人员一直试图缩小这些模型的规模以使其更易于获取，但这一过程始终是一种权衡。压缩模型的技术往往会降低其智能，迫使人们在更小、更快的程序与更智能、更准确的程序之间做出选择。

一组研究人员开发了一种名为 SLIM 的新方法，旨在打破这种权衡。他们的工作专注于一个特定的挑战：如何在无需昂贵重新训练的情况下，通过单步完成大语言模型的压缩，同时保持其性能与原始模型几乎一致。研究人员结合了三种不同的压缩技术——降低模型使用的数字精度、移除不必要的连接以及添加微小的、灵活的调整——从而创建了一个统一的过程。其结果是一个可以显著缩小模型规模，同时保持甚至在某些情况下提高其回答问题和生成文本能力的系统。

研究人员面临的核心困难在于，压缩模型通常会引入误差。想象一下，试图将一幅宏大且细节丰富的画作装进一个小画框里；如果你只是简单地切掉边缘或挤压图像，你就会丢失重要的细节。在数字世界中，当研究人员减少用于存储数字的位数，或者删除模型结构的部分时，就会发生这种情况。以往的方法试图通过在海量数据上重新训练模型来修复这些误差，但这个过程既缓慢又耗费计算资源。其他方法试图通过单步修复误差，但在尝试结合不同的压缩技术时往往会失败，导致质量大幅下降。

SLIM 框架通过将压缩过程视为一个协调的三个步骤的序列来处理这个问题。首先，研究人员简化了模型内部的数字。他们没有针对数据的不同部分使用复杂的、可变的尺度，而是开发了一种新方法，将单一、统一的尺度应用于整组数字。这使得标准计算机硬件处理该过程的速度更快、更加容易。然而，他们知道这种统一的方法仍会留下一些不准确之处，因此他们立即转向第二步：移除最不重要的连接。他们使用了一种经过验证的方法来识别模型中哪些部分贡献最小，并将其剪枝，从而创建一个处理速度更快的稀疏结构。

第三步是这项创新的真正闪光点。在简化数字和移除连接之后，模型不可避免地会丢失一部分原始精度。为了在不重新训练整个系统的情况下恢复丢失的准确性，研究人员添加了微小的、低秩的适配器（adapters）。可以将这些适配器想象成一组微调工具，可以附加到压缩后的模型上以纠正其错误。研究人员设计了一种独特的数学方法，根据模型各部分对误差的贡献程度，精确计算出这些工具应当具备的形态。通过使用一种衡量数据不同部分重要性的特定函数，他们可以在单次运行中通过数学推导得出这些适配器的完美设置。这使他们能够补偿前两步引入的误差，有效地恢复了模型的智能。

该方法的测试结果在包括 70 亿和 130 亿参数版本在内的多个大语言模型上进行了验证。当研究人员应用其方法时，他们发现压缩模型的表现显著优于以往的尝试。对于一个 70 亿参数的模型，与其他的单步压缩技术相比，新方法将准确度提高了高达 5.66%。在某些情况下，如果以相同的内存占用量来衡量，压缩模型的准确度甚至高于原始的未压缩模型。这表明该方法不仅保留了质量，而且在一定程度上优化了模型的效率，达到了原始臃肿版本在相同资源限制下无法实现的程度。

除了准确性之外，该方法还带来了显著的速度提升。由于模型变得更小，且其结构能够被现代显卡高效处理，因此运行速度更快。在标准的消费级显卡上，压缩模型的运行速度比原始稠密模型快了多达 4.3 倍。在更强大的专业硬件上，提速效果依然显著，达到了 3.8 倍。此外，运行这些模型所需的内存大幅下降，某些配置使用的内存不到原始稠密版本的四分之一。内存占用 footprint 的减少意味着，以前需要大型服务器才能运行的模型，现在有可能在更易获取的硬件上运行。

研究人员还探索了少量的额外训练是否能进一步提供帮助。他们发现，通过允许这些微小的适配器在极少量的数据上进行微调，模型的准确度可以再提升 1.66%。如果应用场景允许进行短暂的调整，这一可选步骤提供了一种榨取更多性能的方法，但即使没有这一步，核心方法依然有效。团队将他们的工作与其他领先的方法进行了对比，发现他们的方案表现始终更优，尤其是在结合不同类型的压缩时。当其他方法在同时处理移除连接和降低数字精度时显得力不从心时，SLIM 成功地将它们无缝集成。

这项工作代表了使大语言模型在更广泛设备上投入实用的重要进步。通过解决如何在不牺牲智能的前提下单步压缩模型的问题，研究人员为在更常见且更廉价的硬件上部署先进人工智能提供了一条路径。该方法不依赖于复杂的定制硬件或大规模的重新训练，使其成为现实世界应用的可行方案。随着对高效且易于获取的人工智能的需求增长，像 SLIM 这样的技术提供了一种平衡速度、内存需求与高质量、智能化性能需求的方法。

技术摘要：SLIM —— 用于 LLM 权重压缩的低秩近似单次量化与稀疏化技术

1. 问题陈述

由于参数量巨大，大语言模型（LLMs）在内存消耗高和推理成本慢方面面临着严峻挑战。虽然剪枝（pruning）和量化（quantization）等传统压缩技术可以缓解这些问题，但它们通常需要在大规模数据集上进行计算昂贵的重训练以恢复精度，这使得它们在许多实际应用场景中并不切实际。

现有的单次（one-shot）压缩方法消除了重训练成本，但在实现与稠密模型相当的精度方面仍有困难，尤其是在结合多种压缩技术时。具体而言：

联合应用问题： 结合剪枝和量化往往会加剧精度下降。
硬件约束： 最先进的单次方法（例如 SparseGPT、Wanda）在非结构化稀疏性方面表现良好，但在处理对硬件加速推理至关重要的半结构化模式（例如 NVIDIA 的 2:4 稀疏性）时表现不佳。
低秩适配器（Low-Rank Adapter）的局限性： 虽然低秩适配器（LoRA）可以恢复精度，但现有方法通常需要昂贵的重训练，或者无法将稀疏化与量化同时进行无缝集成。

2. 方法论

本文提出了 SLIM，这是一个单次压缩框架，它将硬件友好的量化、半结构化稀疏化和低秩近似有机地集成到一个统一的过程中，且无需重训练。该流水线由三个连续步骤组成：

2.1. SLIM-Quant：概率均匀量化

为了解决优化均匀量化缩放因子时的非凸性问题，SLIM 引入了 SLIM-Quant。

公式化： 作者没有依赖网格搜索或复杂的组量化（group quantization），而是使用概率方法来构建量化过程。通过引入权重幅度的概率密度函数（PDF），他们将均方误差（MSE）最小化问题重新表述为一个凸优化问题。
优化： 由于权重分布并不严格遵循标准 PDF，该方法利用多网格策略对权重直方图进行数值积分，以高效地找到最优缩放因子 ( $\alpha$ )。
激活感知变体： 一个可选的扩展版本（SLIM-QuantO）基于一种新型的显著性度量（归一化输入与权重幅度的乘积）来缩放权重和激活值，以最小化关键通道的输出误差，这与 AWQ 类似，但具有不同的显著性定义。

2.2. 基于显著性的剪枝

在量化之后，框架对量化后的权重应用单次剪枝方法（具体为 Wanda）。这一步引入了半结构化稀疏性（例如 2:4 模式）或非结构化稀疏性。量化与剪枝的结合效应被建模为加性噪声 ( $E_Q + E_S$ )。

2.3. SLIM-LoRA：基于显著性的低秩近似

为了补偿量化和稀疏化带来的累积误差，SLIM 引入了 SLIM-LoRA，一种单次低秩适配器方法。

新型显著性函数： 不同于最小化总误差范数的 "Naive-LoRA"，SLIM-LoRA 使用了一个既是可逆的又是加性的显著性函数 $F$ $F$ 。
- 加性： $F(A + B) = F(A) + F(B)$ ，允许将误差显著性从原始权重显著性中分离出来。
- 可逆性： 使得无需迭代优化即可进行适配器值的数学推导。
数学推导： 该方法定义 $F(W) \triangleq \text{diag}(x)W$ ，其中 $x$ 是来自校准集的输入绝对值的平均值。最优低秩适配器 ( $L, R$ ) 通过对显著性加权误差矩阵进行奇异值分解（SVD）来计算：
$\text{diag}(x)L, R = -\text{SVD}(\text{diag}(x)(E_Q + E_S))$
随后通过逆显著性变换恢复左适配器 $L$ 。
适配器量化： 为了防止适配器重新引入内存开销，低秩适配器使用 4-bit AbsMax 分组量化方案进行量化。

2.4. 可选的压缩后微调

该框架包含一个可选的参数高效微调（PEFT）阶段。在此阶段，稀疏化和量化后的权重被冻结，仅使用直通估计器（STE）进行量化感知训练来微调低秩适配器。与全量微调相比，这仅需极少的计算资源（数千个 token）。

3. 核心贡献

统一的单次框架： SLIM 是第一个在单个单次过程中无缝集成均匀量化、半结构化稀疏化和低秩近似，且无需重训练的框架。
SLIM-Quant： 一种概率公式化方法，实现了高效的均匀量化，在保持均匀量化速度优势的同时，达到了与复杂组量化方法相当的精度。
SLIM-LoRA： 一种新型低秩适配方法，使用可逆且加性的显著性函数来数学化地计算适配器值，消除了对昂贵重训练或迭代优化的需求。
硬件效率： 该方法专为硬件加速设计，支持半结构化稀疏性 (2:4) 并利用优化的算子内核（如 Sparse Marlin）进行推理。

4. 实验结果

作者在 LLaMA-2 (7B, 13B) 和 OPT (125M 到 13B) 模型上，使用零样本下游任务（MMLU, Piqa, Arc 等）以及 WikiText2 上的困惑度（perplexity）对 SLIM 进行了评估。

精度：
- 在 2:4 稀疏性和 4-bit 权重量化下，与先前方法相比，SLIM 在 LLaMA-2-7B 上的模型精度提升了高达 5.66%。
- SLIM 优于现有的压缩技术，在某些配置下甚至超过了同等参数规模的稠密模型（精度高出高达 0.6%）。
- 可选的 PEFT 方案在 LLaMA-2-13B 上提供了高达 1.66% 的额外精度提升。
加速：
- 在 NVIDIA RTX 3060 GPU 上，SLIM 实现了高达 4.3× 的层级加速。
- 在 NVIDIA A100 GPU 上，实现了高达 3.8× 的层级加速。
内存减少：
- 与其对应的稠密模型相比，压缩后的模型实现了高达 0.23× 的端到端内存减少（即内存使用量降至原始值的约 23%）。
对比： SLIM 一贯优于包括 SparseGPT、Wanda、Group OPTQ、L2QER 和 MaskLLM 在内的最先进方法，尤其是在其他方法难以处理或失败（例如 OOM 错误）的低位宽（4-bit）和半结构化稀疏性场景下。

5. 意义与主张

本文主张 SLIM 移动了模型压缩的帕累托前沿（Pareto frontier），在相同的总比特预算下，提供了比现有技术更高的模型精度。通过在有效结合量化、稀疏化和低秩近似的同时消除重训练的需求，SLIM 为在资源受限的硬件（如消费级 GPU、边缘设备）上高效部署大规模 LLM 提供了一种切实可行的解决方案。

作者强调，他们的方法解决了低位宽量化和半结构化稀疏性中持久存在的精度差距问题，使其成为一种可持续且易于获取的 AI 部署方案。他们还提到了增加可及性带来的伦理考虑，强调了在关键应用中建立保障措施的必要性。