🤖 machine learning

High-Rate Quantized Matrix Multiplication II

本文通过展示协方差感知注水法如何优于等率分配、分析无基且近优的 WaterSIC 方案的性能，以及证明结合随机旋转的 GPTQ 能达到可比的近优结果，研究了用于仅权重大语言模型后训练量化的速率量化矩阵乘法。

原作者： Or Ordentlich, Yury Polyanskiy

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Or Ordentlich, Yury Polyanskiy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《High-Rate Quantized Matrix Multiplication II》（高速量化矩阵乘法 II）的解释。

全局概览：压缩 AI 的“大脑”

想象一个庞大的人工智能（AI）模型，就像一座巨大的知识库，试图解决一个问题。为此，它要执行数十亿次称为矩阵乘法（MatMul）的数学运算。你可以把这看作是 AI 的“思考”过程。

然而，这些“权重”（AI 内部的数字）占据了巨大的内存空间。为了让 AI 运行得更快，并能在更小的设备上运行，工程师们会对这些数字进行压缩，这个过程称为量化。这就像把一张高分辨率的照片压缩成更小的文件，以便加载得更快。

这篇论文是关于如何最高效地进行这种压缩的研究的第二部分。第一部分探讨了在没有先验知识的情况下如何进行压缩，而本文则聚焦于一种我们确实拥有某些先验知识的场景：我们知道 AI 正在处理的数据的统计“形状”。

核心问题：“仅权重”的谜题

在许多现代 AI 系统（如大语言模型 LLM）中，流经系统的数据（激活值）保持全精度，但“权重”（静态知识）则被压缩。

目标：我们要尽可能压缩权重（ $W$ ），同时不让 AI 的答案（ $Y$ ）出现太大的错误。
难点：“错误”（失真）取决于权重如何与输入数据相互作用。如果输入数据具有特定的模式（例如一个细长的椭圆形），那么以标准的、方格网的方式压缩权重就是低效的。这就像试图把一个细长的手提箱塞进一个方形的盒子里；你会浪费很多空间。

旧方法：“一刀切”（GPTQ）

目前，像GPTQ这样的流行方法对待权重矩阵的每个部分都是一样的。它们使用标准的网格（就像方格纸）来对数字进行舍入。

类比：想象你在用不同大小的物品打包手提箱。旧方法使用相同大小的盒子网格来装所有东西。你把一颗小石子放进一个大盒子里，把一块大石头也放进一个大盒子里。你在小石子上浪费了空间，而大石头可能也放不完美。
缺陷：这种方法没有考虑数据的具体形状。它假设数据是完美的圆形（各向同性）。如果数据实际上是一个椭圆形，这种方法就不是最优的。

新理论：“注水”（理想解决方案）

作者研究了加权均方误差（WMSE）的数学原理。他们使用了一个称为注水（Waterfilling）的概念。

类比：想象你有一片有山丘和山谷的地形（代表数据不同部分的重要性）。你想将固定量的“水”（你有限的比特/带宽）倒在这片地形上。
- 注水策略说：先把水倒进最深的山谷。这些是数据中最重要的部分，或者是最敏感的部分。你给它们更多的“分辨率”（更多的比特）。
- 浅的山丘得到的水较少（更少的比特）。
- 这确保了在你拥有的水量下，你能获得尽可能好的图像。

从数学上讲，这就是“信息论极限”——你能做到的绝对最好的程度。

实用方案：WaterSIC

注水的问题在于它很难实时计算。作者提出了一种名为WaterSIC的实用算法。

工作原理：它使用了一种称为连续干扰消除（SIC）的技术。想象你正试图在嘈杂的房间里听清对话。你先听清最大的声音，理解它，然后将其“抵消”掉，这样你就能更好地听到更小的声音。
创新点：WaterSIC 将这一思想应用到了权重上。它利用一种称为Cholesky 分解的数学工具来观察数据的形状，并调整权重每个部分的“网格大小”。
- 对于数据中“刚性”或重要的部分，它使用更细的网格（更多的比特）。
- 对于“松散”或不那么重要的部分，它使用更粗的网格（更少的比特）。

主要发现

近乎完美的效率：作者证明，WaterSIC 极其接近理论的“注水”极限。它与绝对最佳性能仅相差约0.25 比特。这是一个微小的差距，意味着该方法几乎是完美的。
旋转不变性：最酷的发现之一是 WaterSIC 是“与基无关”的。
- 类比：想象你有一张地图。如果你旋转地图，北极点就会移动。一些压缩方法如果数据被旋转（就像旋转地图），就会失效或变差。然而，WaterSIC 无论数据如何旋转，其效果都一样好。它适应的是数据的形状，而不是它所面对的方向。
GPTQ 出奇地好（但有个转折）：论文还发现，标准的 GPTQ 方法（不使用复杂的注水调整）如果先随机旋转数据，其表现会出奇地好。
- 事实证明，当前 AI 数据的组织方式实际上是“幸运”的（它接近最优形状）。但如果你搞乱它（旋转它），GPTQ 的表现就会变差，而 WaterSIC 则保持强劲。

总结

这篇论文介绍了WaterSIC，一种更智能的压缩 AI 权重的方法。

旧方法：对所有东西使用标准网格（GPTQ）。
新方法：观察数据的形状，并为每个部分调整网格大小（WaterSIC）。
结果：新方法近乎完美，理论上不可超越，并且即使数据被洗牌或旋转，也具有鲁棒性。它弥合了复杂的数学理论与实际、快速的 AI 压缩之间的差距。

作者总结道，虽然目前的方法已经很好，但仍有改进空间，特别是在极低比特压缩（即你只有很少的比特可用）方面，以及在计算机芯片上加快数据“塑形”速度方面。

技术摘要：高码率量化矩阵乘法 II

问题陈述
本文研究了大语言模型（LLM）中仅权重量化的理论极限与实践限制。具体设定假设在推理过程中激活矩阵 $X$ 以全精度可用，而权重矩阵 $W$ 必须量化为低分辨率表示 $\hat{W}$ ，以减少内存带宽和存储需求。目标是最小化期望加权均方误差（WMSE）失真：
$D = \frac{1}{n} \mathbb{E} \| X^\top (W - \hat{W}) \|_F^2 = \frac{1}{n} \text{tr}((W - \hat{W})^\top \Sigma_X (W - \hat{W}))$
其中 $\Sigma_X = \mathbb{E}[XX^\top]$ 是激活的协方差矩阵，假设其已知（通过校准），但解码器（推理引擎）无法访问 $\Sigma_X$ 或其基，仅能访问量化后的比特。

方法论与理论框架
作者通过两个视角处理该问题：信息论极限与实际算法设计。

信息论极限（高码率区域）：
- 各向同性与各向异性编码： 本文对比了“各向同性”量化（使用对 $\Sigma_X$ 无知的标准码本）与“各向异性”量化（适应 $\Sigma_X$ ）。
- 注水解决方案： 借鉴经典信源编码理论，作者推导出在高码率区域，最优失真 $D^*$ 是通过反向注水策略实现的。该策略根据 $\Sigma_X$ 的特征值在不同坐标上非均匀地分配量化码率，导致失真与特征值的几何均值成正比： $D^* \propto |\Sigma_X|^{1/n} 2^{-2R}$ 。
- 差距： 标准各向同性编码产生的失真与特征值的算术均值成正比。最优解与各向同性解之间的差距由算术 - 几何均值（AM-GM）不等式决定。
- 无知的解码器： 关键在于，本文证明即使解码器对 $\Sigma_X$ 无知（无法应用 SVD 基），只要使用码本的舍入是最优的，采用各向同性码本的自适应编码器也能在高码率区域渐近地达到注水失真极限。
实际算法（连续干扰消除）：
- 本文分析了GPTQ（以及等价的 LDLQ）算法，该算法使用固定的每条目码率，并基于 Cholesky 分解 $\Sigma_X = U^\top U$ 采用连续干扰消除（SIC）方法（Babai 算法）。
- GPTQ 的理论极限： 作者表明，标准 GPTQ（等间距）产生的失真与 $U$ 的对角元素平方（ $U_{i,i}^2$ ）的算术均值成正比。该性能对 $\Sigma_X$ 的基敏感；具体而言，它在 PCA 基（其中 $U$ 为对角矩阵）下表现最差，而在随机基下表现更好。
- WaterSIC 算法： 受注水理论启发，作者提出了WaterSIC。该算法根据 Cholesky 因子 $U$ 的对角元素调整每个坐标的量化步长（间距）。具体而言，它将更多比特分配给 $U_{i,i}$ 值较大的坐标。
- 性能： WaterSIC 产生的失真与 $U_{i,i}^2$ 的几何均值成正比。由于 $U_{i,i}$ 的乘积等于 $\sqrt{|\Sigma_X|}$ ，WaterSIC 达到的失真在信息论下界的 $\frac{2\pi e}{12}$ 倍（约 1.423，或 0.25 比特/条目）范围内。

关键结果

WaterSIC 的近似最优性： 研究表明 WaterSIC 算法是“无基”的（其性能仅取决于 $\Sigma_X$ 的行列式，使其对输入空间的随机旋转免疫），并且在高码率区域内距离理论最优值仅 0.25 比特/条目。
GPTQ 性能： 虽然标准 GPTQ 在特定基下是次优的，但作者发现对于 Llama-3-8B 层，对权重进行随机旋转的 GPTQ 表现惊人地好，通常与 WaterSIC 的差距在 0.1 比特以内。这表明 LLM 中使用的标准基（可能受 Adam 优化器动力学影响）并非 GPTQ 的最坏情况，且随机旋转可以减轻基敏感性。
实证验证： 使用 Wikitext-2 校准数据在 Llama-3-8B 层上进行的实验证实，结合熵编码的 WaterSIC 紧密跟踪理论注水极限，而标准 GPTQ 的表现则根据层级和基的不同而变化。

意义与主张
本文声称弥合了抽象信息论与实际 LLM 量化之间的差距：

理论依据： 它为为何在仅权重量化中每坐标码率分配（注水）优于均匀分配提供了严格的信息论依据。
算法改进： 它引入了 WaterSIC 作为一种实用、低复杂度的算法，实现了这些理论增益，提供了一条通往近似最优失真的可证明路径。
对现有方法的洞察： 它阐明了 GPTQ 的行为，解释了其对 $\Sigma_X$ 基的敏感性，并证明随机旋转可使其接近最优，从而验证了其广泛使用的合理性，同时突显了通过 WaterSIC 进一步增益的潜力。
局限性与未来工作： 作者谦逊地指出，他们的高码率近似假设了高分辨率。他们指出，在低码率（例如 < 2 比特）下，其他因素如降维和特定权重结构变得至关重要。此外，他们强调，虽然熵编码（EC）在理论上是最优的，但其在 GPU 上的计算成本可能过高，且针对 GPU 的高效整形方法仍是一个未解决的挑战。他们还指出，WaterSIC 的 0.25 比特差距源于整数格 $\mathbb{Z}^n$ 的次优性，通过使用高维格可以减少这一差距，但这会使熵编码复杂化。