🔢 mathematics

High-Rate Quantized Matrix Multiplication I

本文研究了在无先验统计校准的情况下，通用矩阵乘法中量化率与失真之间的基本信息论权衡，同时分析并推导了如绝对值最大整数和浮点等流行量化方案的启发式近似。

原作者： Or Ordentlich, Yury Polyanskiy

发布于 2026-05-14

📖 1 分钟阅读🧠 深度阅读

原作者： Or Ordentlich, Yury Polyanskiy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图将一部庞大、高清的电影通过一条微小、狭窄的隧道发送出去。这部电影代表了大型语言模型（如驱动聊天机器人的那些模型）内部复杂的数学运算，而隧道则代表了计算机的内存和处理速度。如果你试图将完整、未压缩的电影强行推过隧道，隧道就会堵塞，计算机的运行速度也会慢如蜗牛。

为了解决这个问题，工程师们使用了量化。你可以将其想象成将这部高清电影压缩成一个低分辨率、像素化的版本。它并不完美，但它能快得多地穿过隧道，而且画面仍然清晰到足以观看。

这篇由 Or Ordentlich 和 Yury Polyanskiy 撰写的论文，就像一份关于压缩的理论物理学报告。作者们并没有仅仅测试不同的压缩工具以查看哪种在实际中效果最好，而是问道：“在数据变成垃圾之前，我们压缩数据的绝对数学极限究竟有多高？”

以下是他们发现的简要说明，使用了简单的类比：

1. 两种类型的“压缩”

作者指出了数学家和工程师在谈论“速率”（即我们保留多少数据）时存在的混淆。

数学家的观点：想象将一整块像素压缩成一个单一的、巧妙的代码。这是最高效的方式，但在实时操作中极其困难。
工程师的观点：想象逐个查看每个像素，并说：“你有点太亮了，所以我只把你四舍五入到最接近的标准颜色。”这就是当前 AI 芯片的工作方式（使用 INT8 或 FP8 等格式）。它快速且简单，但作者认为，它并不像理论极限那样高效。

2. “高比率”假设

该论文关注的是压缩并非过于极端（例如将电影压缩成火柴人）的场景。他们假设我们保留了足够的细节，使得由四舍五入引入的“噪声”（误差）很小。

类比：想象试图用尺子测量一张桌子。如果你的尺子有微小、精确的刻度（高比率），误差就只是几分之一毫米。如果你使用刻度间隔巨大的尺子（低比率），误差就会非常巨大。作者假设我们使用的是精确的尺子，这使得他们能够利用简单的数学来预测误差。

3. “完美”与“现实”

作者计算出了基本极限：如果你拥有一个能够一次性观察整个画面的魔法压缩工具，你所能期望达到的最佳精度。

结果：他们发现，对于一个完美的系统，随着你增加位数（更多细节），误差会迅速下降。
现实检验：随后，他们审视了当今 AI 中流行的工具，如INT（整数）和FP（浮点）格式。
- 问题：这些工具通常使用“一刀切”的缩放方法（就像用同一把尺子去量巨大的大象和微小的老鼠）。如果数据包含少数几个巨大的数字和许多小数字，尺子会被拉伸以适应大数字，导致小数字看起来像模糊的点。
- 解决方案：他们发现，如果在压缩之前旋转数据（就像旋转图片使锯齿状边缘与网格对齐），“模糊”会变得更加均匀和可预测。这是一种称为随机旋转的技术。

4. “收缩”的惊喜

一个有趣的发现是关于“收缩”的。

类比：如果你压缩一张照片，然后尝试解压缩它，对原始图像的最佳猜测不仅仅是解压缩后的照片；它实际上是一个略微“收缩”的版本。
论文的观点：虽然这种“收缩”效应确实存在，但作者发现，在他们研究的高质量（高比率）世界中，其益处微乎其微，因此为了保持数学简洁，我们可以安全地忽略它。

5. 测试工具

作者们利用来自流行 AI 模型（Llama 3）的真实世界数据测试了他们的理论。

INT 与 FP：他们发现，对于标准整数格式（INT），首先旋转数据至关重要。如果没有旋转，误差可能会非常大。有了旋转，误差会降至接近理论极限。
浮点数（FP）：令人惊讶的是，对于浮点格式，旋转数据实际上是有害的。作者解释说，这些格式处理数字的方式天然地更好地处理了“锯齿状边缘”，因此旋转数据只会把事情搞砸。
NestQuant：他们研究了一种名为 NestQuant 的新颖方法（它使用称为“格”的复杂几何形状，而不是简单的立方体）。他们发现，它的表现明显优于标准工具，更接近那个“魔法”般的理论极限。

结论

这篇论文提供了AI 压缩未来的蓝图。它告诉我们：

我们压缩 AI 数学的能力存在一个严格的数学极限。
当前的工具（如 INT8 和 FP8）虽然不错，但它们往往因为未考虑数据的形状而将“精度位”留在了桌面上。
旋转是一个强大的技巧，但它是一把双刃剑：它有助于整数数学，但会损害浮点数学。
更新的、更复杂的方法（如 NestQuant）正开始弥合我们实际所做与数学上可能做到之间的差距。

简而言之，这篇论文说：“我们知道这条高速公路的限速。目前的汽车行驶得很快，但如果我们调整引擎（使用旋转或更好的格），我们可以在不撞车的情况下更接近那个限速。”

技术摘要：高速率量化矩阵乘法 I

问题陈述
本文解决了量化矩阵乘法（MatMul）的问题，这是大语言模型（LLM）高效部署的关键操作。作者聚焦于“通用矩阵乘法”（Generic MatMul）设定，即两个矩阵（权重和激活值）均必须在没有关于因子的特定先验统计知识（校准）的情况下进行量化。核心挑战在于刻画量化速率（每条目比特数， $R$ ）与矩阵乘积中产生的失真（误差）之间的基本信息论权衡。本文区分了“速率”的信息论定义（将 $N$ 个条目的向量全局编码为$NR$比特）与人工智能中使用的实用定义（每个条目单独量化或在小组内量化）。

方法论与理论框架
分析依赖于高速率量化理论，假设量化噪声显著弱于信号（ $R$ 足够大）。在此假设下，量化误差被建模为加性、独立且均匀分布的噪声。为了简化失真分析，作者忽略了线性收缩（linear shrinkage）效应，其量级为 $O(2^{-4R})$ 。

本文利用涉及编码器和解码器的速率- $R$ 量化方案将问题形式化，该方案可能利用共享随机性（公共硬币）。它在两种设定下评估性能：

最坏情况：矩阵 $A$ 和 $B$ 具有有界的 $\ell_2$ 范数，但无任何分布假设。
平均情况（高斯）： $A$ 和 $B$ 的条目是独立同分布（i.i.d.）的高斯变量。

主要贡献与结果

通用矩阵乘法的基本极限：
本文确立，对于通用矩阵，乘积 $A^\top B$ 的第 $(i,j)$ 个条目的最小期望失真由下式刻画：
$D^*_{ij} = \frac{\|a_i\|^2 \cdot \|b_j\|^2}{n} \cdot 2 \cdot 2^{-2R}$
其中 $a_i$ 和 $b_j$ 分别是 $A$ 和 $B$ 的列， $n$ 是维度。该界限被证明对高斯输入是紧的。作者证明，非随机化方案或简单的草图（sketching）方法通常遭受与维度 $n$ 线性增长的失真（ $\Omega(n)$ ），而结合随机化（随机旋转/抖动）与格点量化的方案则能达到基本极限。
流行量化方案的分析：
作者推导了广泛使用方案的失真精确启发式近似，将其表示为 $K(i,j) \cdot 2 \cdot 2^{-2R_{\text{eff}}}$ 的形式，其中 $R_{\text{eff}}$ 是以比特为单位的“有效速率”。
- INT 乘法器（absmax）：对于带有 absmax 缩放的标准 INT $M$ ，有效速率为 $R_{\text{eff}} \approx M - \frac{1}{2}\log_2(\frac{2 \ln n}{3})$ 。这表明由于 $\ell_\infty$ 缩放因子，存在显著的速率惩罚。本文表明，在量化前应用随机旋转（例如 Hadamard 变换）可将失真因子 $\Delta_{\text{INT}}$ 降低并集中在 $2 \ln n$ 附近，这使得旋转对于 INT 量化至关重要。
- 浮点数（FP）乘法器：利用“无限指数独立噪声”（IEIN）模型，作者推导出对于具有 $M$ 个尾数位的 FP， $R_{\text{eff}} \approx M + 2.23$ 比特。与 INT 不同，分析表明对于 FP 量化，随机旋转通常是不必要的，甚至可能是有害的，因为对于某些分布，无旋转时的失真因子 $\Delta_{\text{FP}}$ 往往小于 1。
- 多缩放格式（NVFP4/NVINT4）：本文分析了使用多缩放（组缩放）的 4 位格式（NVFP4, NVINT4）。它认为 NVFP4 实际上表现得像具有约 3.24 比特有效速率的 1 尾数位方案，而 NVINT4 除非经过精心管理，否则会受到与标准 INT 相同的缩放惩罚。
- NestQuant：作者回顾了 NestQuant 框架，该框架利用嵌套格码（特别是 $E_8$ 格）和一组缩放因子。他们指出，NestQuant 在相似比特率下显著优于 INT 和 FP 方案，实现了约 0.6 比特的额外精度。
实证验证：
使用来自 Llama3-8B 第 15 层的激活矩阵，本文验证了理论近似。
- 推导出的 INT 和 FP 失真公式与实证均方根误差（RMSE）测量值惊人地吻合。
- 直方图证实，随机旋转极大地降低了 INT 量化失真因子的方差，但对 FP 量化产生不同且通常为负面的影响。
- 在 $R=4.5$ 比特下的比较显示，NestQuant 显著优于 NVINT4 和 NVFP4。

意义与主张
本文声称提供了首个针对通用量化矩阵乘法的信息论基准，其中没有可用的校准统计信息。其主要意义在于量化基本极限与限制性实用方法（如标准 INT/FP 格式）之间的差距。

作者强调，虽然高速率假设可能不适用于极低比特率（ $R < 2$ ），但它们为 LLM 中通常使用的速率（例如 4 到 8 比特）提供了足够准确的表达式。这项工作作为评估当前量化策略的理论基础，突出了以下几点：

随机旋转是 INT 量化逼近基本极限的关键组成部分。
FP 量化表现不同，其中旋转可能无益。
标准方案与理论最优之间存在巨大的性能差距，可以通过 NestQuant 等先进技术来缩小。

本文最后指出，本工作的第二部分将解决仅权重量化的设定，其中激活值的二阶统计量是可用的。

1. 两种类型的“压缩”

2. “高比率”假设

3. “完美”与“现实”

4. “收缩”的惊喜

5. 测试工具

结论

类似论文