💬 NLP

PolarQuant: Optimal Gaussian Weight Quantization via Hadamard Rotation for LLM Compression

本文提出了 PolarQuant，一种无需校准数据的后训练 LLM 权重量化方法，它通过块归一化、Walsh-Hadamard 旋转将权重分布转化为近似高斯分布并匹配高斯质心进行量化，实现了接近无损的压缩效果，并可作为下游 INT4 量化的有效预处理步骤。

原作者： Caio Vicentino

发布于 2026-04-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Caio Vicentino

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 PolarQuant 的新技术，它的核心目标是：让巨大的 AI 模型（大语言模型）在普通的电脑甚至手机上跑得更快、更省内存，而且几乎不损失智能水平。

为了让你轻松理解，我们可以把训练好的 AI 模型想象成一座巨大的图书馆，里面的每一本书（参数）都重达几吨（FP16 精度），普通的小卡车（消费级显卡）根本拉不动。我们需要把这些书压缩成轻便的纸张（量化），但压缩得太狠，书里的字就模糊了（模型变笨）。

PolarQuant 就是解决这个难题的“超级压缩术”。它通过三个巧妙的步骤，把笨重的书变成了轻便且字迹清晰的“口袋书”。

1. 核心痛点：为什么以前的压缩方法不行？

以前的压缩方法（叫 Absmax）就像是一个不懂变通的打包工。

问题：他不管书里有多少字，也不管哪些字重要。他只看这本书里最重的那一页（最大数值），然后强行把整本书的厚度都按这个最重的标准来压缩。
后果：结果就是，那些本来很轻、很常见的字（大部分数据），被强行塞进了很粗糙的格子里，导致字迹模糊（误差大）；而那些极重、极罕见的字（异常值），反而浪费了很多空间去记录。这就好比为了装下一块大石头，你不得不把整个箱子做得巨大，结果里面大部分空间都是空的，或者把小石子压碎了。

2. PolarQuant 的三大魔法步骤

PolarQuant 引入了三个步骤，把“打包”过程变得极其聪明：

第一步：把书“归一化”（Block-wise Normalization）

比喻：先把每一堆书（数据块）单独拿出来，不管它们原本有多重，先给它们都称一下重，然后按比例缩小，让它们都变成一样重（单位球面）。
作用：这一步消除了重量差异，让打包工能专注于书的内容，而不是被某一本特别重的书带偏。

第二步：施展“哈达玛旋转”魔法（Hadamard Rotation）—— 这是最关键的！

比喻：这是整个技术的灵魂。想象一下，原本这些书是杂乱无章地堆在角落里的，有的堆得很高，有的很矮。PolarQuant 用一个特殊的魔法（哈达玛矩阵）把这些书旋转、重新排列。
神奇效果：旋转之后，原本杂乱无章、参差不齐的数据，突然变得像雪花一样均匀、像正态分布（高斯分布）一样完美。
论文发现：作者惊讶地发现，仅仅这一步旋转，就解决了 98% 的问题！ 它把原本“难搞”的异常值（那些特别重或特别轻的石头）打散，均匀地分布到所有数据中。现在，所有的数据都变得“温顺”且“规律”。

第三步：使用“完美模具”进行压缩（Lloyd-Max Quantization）

比喻：既然数据现在变得像雪花一样均匀（高斯分布），我们就可以用一个专门为此设计的完美模具来压模了。
作用：以前的压缩是“一刀切”，现在的压缩是“量体裁衣”。因为数据分布规律了，我们可以把有限的压缩空间（比如 4 位或 5 位）精准地分配给数据最密集的区域，从而几乎不损失任何信息。

3. 它带来了什么惊人的效果？

几乎无损：在测试中，使用 PolarQuant 压缩后的模型，其“困惑度”（衡量模型有多笨的指标）几乎和原版一模一样。比如，原版是 6.37，压缩后是 6.39，差别微乎其微。
无需“预习”：很多高级压缩方法需要给模型看很多练习题（校准数据）才能学会怎么压缩。PolarQuant 不需要，它直接就能用，像是一个天生就会打包的天才。
双重压缩（预处理神器）：
- 作者发现，PolarQuant 还可以作为一个“预处理”步骤。
- 比喻：它先把书整理得整整齐齐（旋转 + 5 位压缩），然后再交给另一个打包工（INT4 压缩）去进一步压缩。
- 结果：因为书已经被整理得井井有条了，第二个打包工干起活来更顺手，最终压缩出来的书（4 位）比直接压缩的要清晰得多。
手机也能跑：在苹果 M4 芯片的 Mac mini 上，这个技术能让一个 90 亿参数的模型以每秒 20 个词的速度流畅运行，只占用 4.8GB 内存。这意味着你未来的手机或笔记本电脑也能轻松运行强大的 AI。

4. 总结：为什么它这么重要？

这就好比以前我们要把大象装进冰箱（把大模型塞进小显卡），只能把大象切碎了（损失精度）。
而 PolarQuant 发明了一种魔法旋转椅：

把大象请上椅子。
椅子一转，大象的肌肉、骨骼、脂肪瞬间重新均匀分布，变得圆润光滑。
这时候再把它塞进冰箱，不仅塞得进去，而且拿出来时，大象还是完整、健康的。

一句话总结：PolarQuant 通过一个巧妙的数学旋转，把 AI 模型中混乱的数据变得整齐划一，从而实现了极高效率的压缩，让强大的 AI 模型能轻松跑在普通人的电脑和手机上，而且几乎不损失智商。

PolarQuant 技术总结：基于 Hadamard 旋转的 LLM 权重高斯量化

1. 研究背景与问题 (Problem)

大型语言模型（LLM）的部署面临巨大的显存挑战。例如，一个 90 亿参数（9B）的模型在 FP16 精度下需要约 18GB 显存，超出了大多数消费级 GPU 的容量。虽然量化（Quantization）是降低显存需求的关键手段，但现有的主流方法存在显著缺陷：

Absmax 量化（绝对最大值量化）：这是最简单且广泛使用的方法，它将权重线性映射到整数。然而，它假设权重在 $[-\alpha, \alpha]$ 区间内均匀分布，这与实际观察到的近似高斯分布（高斯分布中心密度大，尾部密度小）严重不符。这导致量化码本在低概率的离群值（Outliers）上浪费了编码空间，而在高概率的中心区域量化误差集中。
现有高级方法：如 GPTQ（基于 Hessian 校正）和 AWQ（基于激活感知缩放）虽然有效，但通常需要校准数据（Calibration Data）且计算昂贵。NormalFloat (NF4) 虽然针对高斯分布设计，但假设权重天然服从高斯分布，未进行显式变换。

核心问题：如何在不依赖校准数据、无需迭代优化的情况下，将 LLM 权重转换为适合最优量化（如 Lloyd-Max 算法）的分布，从而实现近无损压缩？

2. 方法论 (Methodology)

PolarQuant 提出了一种后训练（Post-Training）权重量化方法，其核心洞察是：经过分块归一化和 Walsh-Hadamard 旋转后，LLM 的权重块可以被很好地近似为独立同分布（i.i.d.）的标准正态随机变量。

该方法包含三个主要阶段：

分块归一化 (Block-wise Normalization)：
- 将权重张量划分为大小为 $d$ （通常 $d=128$ ）的块 $\{b_i\}$ 。
- 提取每个块的 $L_2$ 范数 $r_i = \|b_i\|_2$ ，并将块归一化到单位超球面上： $\hat{b}_i = b_i / r_i$ 。
Hadamard 旋转 (Hadamard Rotation)：
- 对归一化后的块应用 $d \times d$ 的归一化 Walsh-Hadamard 矩阵 $H_d$ ： $\tilde{b}_i = H_d \hat{b}_i$ 。
- 理论依据：根据球面投影的中心极限定理，单位超球面上均匀分布的点经过正交旋转（如 Hadamard 变换）后，其坐标分量在 $d \to \infty$ 时收敛于标准正态分布 $N(0, 1/d)$ 。
- 实际效果：Hadamard 旋转将权重块中的离群值能量“均匀化”分散到所有坐标上，使边缘分布呈现高斯特性。
缩放与量化 (Scaling & Quantization)：
- 将旋转后的坐标缩放至单位方差： $z_i = \sqrt{d} \cdot \tilde{b}_i$ ，此时 $z_{i,j} \sim N(0, 1)$ 。
- 使用 Lloyd-Max 算法 计算针对标准正态分布的最优量化中心（Centroids）。
- 将每个元素量化到最近的最优中心。

存储与反量化：

存储：量化后的代码（int8）、每个块的范数（fp16）以及全局共享的量化中心表（fp32）。
反量化：由于 Hadamard 矩阵是自逆的（ $H_d^{-1} = H_d$ ），反量化过程只需查表、缩放、再次应用 Hadamard 旋转并恢复范数，计算效率极高。

组合策略：

PolarQuant + AWQ：AWQ 处理通道维度的缩放，PolarQuant 处理块维度的分布变换，两者正交互补。
PolarQuant 作为 INT4 预处理：先进行 PolarQuant Q5 量化并反量化回 FP16，再使用 torchao 进行 INT4 量化。这相当于在 INT4 量化前对权重分布进行了“去噪”和“正则化”。

3. 关键贡献 (Key Contributions)

近无损压缩：
- 在 Qwen3.5-9B 模型上，仅使用 PolarQuant Q5（无需校准数据）即可达到 6.39 的困惑度（Perplexity），与 FP16 基线（6.37）仅相差 +0.02，实现了几乎无损的压缩。
Hadamard 旋转是核心：
- 消融实验揭示了一个反直觉的发现：Hadamard 旋转单独贡献了 98% 的性能提升（将 Q5 困惑度从 6.90 降至 6.40）。
- 在 5 比特量化下，Lloyd-Max 最优中心带来的额外收益微乎其微（仅 -0.01），因为 32 个量化级别已足以覆盖高斯分布。
提升下游 INT4 量化性能：
- PolarQuant 作为预处理步骤，显著改善了后续 INT4 量化的效果。PolarQuant Q5 反量化后再经 torchao INT4 量化，困惑度为 6.56，优于直接 Absmax INT4 的 6.68，且保持相同的推理速度和显存占用。
简单高效且无需校准：
- 核心算法仅为一次矩阵乘法，无梯度计算，无迭代优化，无需校准数据。
- 反量化仅需约 8 秒（加载时一次性开销），推理阶段零额外开销。
跨平台部署：
- 成功在 NVIDIA GPU 和 Apple Silicon (Mac mini M4) 上部署，在 16GB 显存的 Mac mini M4 上实现了 19.7 tok/s 的推理速度。

4. 实验结果 (Results)

基于 Qwen3.5-9B 模型在 WikiText-2 数据集上的评估：

方法	困惑度 (PPL)	相对 FP16 增量 ( $\Delta$ )	显存 (VRAM)	吞吐量 (tok/s)
FP16 Baseline	6.37	-	17.9 GB	45.7
Absmax Q5 (Baseline)	6.90	+0.53	-	-
PolarQuant Q5 (Dequant FP16)	6.39	+0.02	18.1 GB	45.9
PolarQuant Q5 + torchao INT4	6.56	+0.19	6.5 GB	43.1
Direct torchao INT4 (Absmax)	6.68	+0.31	6.3 GB	43.3
BnB NF4	~6.7	+0.33	7.7 GB	34.6

消融实验：仅添加 Hadamard 旋转即可将 PPL 从 6.90 降至 6.40（贡献 98%），证明了分布变换比最优中心选择更重要。
双量化悖论：尝试使用更低比特（如 Q3）作为预处理反而效果更差，因为 Q3 的量化损失过大，破坏了下游 INT4 所需的信息。Q5 是 Q5 $\to$ INT4 级联中的最优中间比特。
Apple Silicon 表现：在 Mac mini M4 (16GB) 上，PolarQuant Q4 实现了 19.7 tok/s 和 6.90 PPL，证明了其在边缘设备上的实用性。

5. 意义与结论 (Significance)

PolarQuant 通过利用 Hadamard 旋转将非均匀的权重分布转化为高斯分布，从根本上解决了传统 Absmax 量化在分布不匹配上的缺陷。

理论突破：证明了对于 LLM 权重，分布变换（旋转）比量化中心的选择（Lloyd-Max）更为关键。这一发现简化了量化算法的设计思路，使其回归到确定性的正交变换。
工程价值：提供了一种“即插即用”的预处理方案，无需校准数据即可显著提升现有量化器（如 torchao, GGUF, MLX）的性能。
实际影响：使得在消费级硬件（如 16GB 显存的 Mac 或桌面 GPU）上高效、高质量地运行 9B 甚至更大规模的 LLM 成为可能，同时保持了接近 FP16 的推理质量。

该工作不仅提供了一种高效的量化算法，还揭示了 LLM 权重分布的内在几何结构，为未来的向量量化和级联量化研究提供了新的方向。代码和模型已开源。