🤖 machine learning

WUSH: Near-Optimal Adaptive Transforms for LLM Quantization

该论文介绍了 WUSH，这是一种近乎最优的自适应变换，它结合了 Hadamard 主干与数据依赖的二阶矩调整，与现有的固定方法相比，显著提高了低比特大语言模型（LLM）的量化精度和吞吐量。

原作者： Jiale Chen, Vage Egiazarian, Roberto L. Castro, Torsten Hoefler, Dan Alistarh

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Jiale Chen, Vage Egiazarian, Roberto L. Castro, Torsten Hoefler, Dan Alistarh

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图将一座庞大且脆弱的图书库（大型语言模型）装进一个微小且坚固的行李箱（低比特量化格式）中，以便你可以随身携带。你的目标是让行李箱既小又轻，同时又不会压坏里面的书。

问题在于，这座图书库中有几本书极其沉重且形状奇特（这些被称为“离群值”/outliers）。如果你尝试用标准的卷尺来测量它们，这些沉重的书会迫使整个行李箱必须按它们的尺寸来制作，导致剩下的书空间非常局促。这会导致打包过程混乱且效率低下，因为较小的书会被挤压并丢失细节。

旧方案：“一刀切”式的旋转

此前，研究人员尝试通过在打包前旋转书籍来解决这个问题。想象一下，将所有的书旋转 45 度（一种 Hadamard 旋转）。这样做可以将沉重书籍的重量更均匀地分散到整个行李箱中，从而避免某个角落被压坏。

然而，这种旋转是固定的。无论沉重的书是在左边、右边、顶部还是底部，旋转方式始终如一。这是一种“与数据无关”的方法——它对行李箱的具体内容视而不见。虽然这有所帮助，但它并不是完美的解决方案。

新方案：WUSH（聪明的定制裁缝）

论文介绍了一种名为 WUSH 的新方法，它就像是你行李箱的聪明、定制化的裁缝。WUSH 不再使用固定的旋转，而是观察你当前正在打包的具体书籍，并计算出最完美的排列方式。

以下是 WSH 如何工作的简单拆解：

它进行快照： WUSH 查看特定的“权重”（书）和“激活值”（书的使用方式），以准确理解沉重的离群值究竟在哪里。
它构建定制地图： 利用数学公式（闭式解），它为每一组小规模的书籍创建一个独特的变换图。它结合了两点：
- 标准旋转： 它保留了大家都熟知的、可靠的 4 5度旋转（Hadamard）。
- 定制调整： 它增加了第二个、基于数据的特定层，根据这一特定书籍组的实际重量分布来进行精细调整。
结果： 这创造了一个非正交（非完全规则正方形）的形状，能够完美平衡沉重与轻盈的书籍。它是“近乎最优”的，意味着它在数学允许的范围内，达到了最接近理论上的完美打包状态。

为什么这意义重大

更高的准确度： 当作者在 Llama-3.1 和 Qwen 等模型上测试时，WUSH 比旧的固定旋转方法能更好地打包书籍。例如，在一次特定测试中，它比之前的最佳方法将模型的“智能”（准确度）提升了近 3 个点。在 AI 领域，这是一个巨大的飞跃。
速度极快： 你可能会认为为每一组书籍计算定制地图会很慢。但作者构建了一个特殊的 GPU 引擎（一个高速厨房）来即时完成这种定制打包。它的速度非常快，运行起来几乎和旧的、更简单的方法一样快，其速度最高可达标准高精度格式（BF16）的 5.8 倍。
兼容新格式： 论文表明 WUSH 在新的、实验性的格式（如 MXFP4）上表现出色。这些格式旨在实现超高效率，但由于那些沉重的离群值的存在，此前一直难以使用。

总结

可以将 WUSH 理解为从一个通用的、预制的行李箱升级到了一个 3D 打印的、定制化的保护壳，它能完美地包裹住你的特定行李。它不仅仅是旋转物品，更是重新塑造了它们周围的空间，以消除浪费并防止挤压。

论文声称，这种方法在数学上被证明是处理这些离群值的近乎最佳方式；在现实测试中，它让 AI 模型在不需要额外计算能力的情况下，变得更小、更快、更聪明。

技术摘要：WUSH：面向 LLM 量化的近优自适应变换

1. 问题陈述

对大语言模型（LLM）的权重和激活进行量化是实现高效部署的标准方法。然而，一个核心难点在于“离群值”（outliers）的存在——即权重和激活中少数极端的数值，它们拉大了动态范围。这些离群值迫使量化尺度变大，从而降低了低比特表示的有效分辨率并放大了量化误差。

先前的缓解策略通常在量化前采用线性变换（例如旋转），以将方差更均匀地分布到各个通道。虽然 Hadamard 旋转已被证明在经验上非常有效，但它们通常是固定且与数据无关的。它们无法适应底层权重或激活的具体统计特性。这提出了一个根本性的问题：如果 Hadamard 变换不是数据感知的，那么在什么意义上它可以被认为是量化最优的？现有的学习变换的方法（如 SpinQuant、FlatQuant）依赖于基于校准数据的迭代优化（梯度下降），这可能成本高昂且具有启发式特征。

2. 方法论

作者提出了 WUSH，一种闭式（closed-form）、数据感知的线性分块变换，旨在实现权重与激活的联合量化。该方法通过推导，旨在最小化标准舍入至最近（RTN）的 AbsMax 缩放分块量化器下的 $L_2$ 输出损失，涵盖了浮点（FP）和整数（INT）格式。

理论推导

该问题被建模为最小化一组权重 $W$ 和激活 $X$ 的块的期望量化误差。作者对量化误差进行了概率建模：

对于浮点数 (FP)： 误差被建模为与输入绝对值成正比（ $\varepsilon(\alpha) = \text{diag}(\eta)\alpha$ ）。
对于整数 (INT)： 误差被建模为与组内最大绝对值成正比（ $\varepsilon(\alpha) = \|\alpha\|_\infty \eta$ ）。

通过分析权重和激活块的二阶统计特性（协方差），作者推导出了闭式最优变换。令 $W'$ 和 $X'$ 为分别由权重和激活归一化二阶矩的 Cholesky 分解得到的矩阵。令 $U, S, V$ 为 $W'^\top X'$ 的奇异值分解（SVD）。最优变换 $T_W$ 和 $T_X$ 构建如下：
$T_X = H S^{-1/2} V^\top X'^\top$
$T_W = H S^{-1/2} U^\top W'^\top$
其中 $H$ 是归一化的 Hadamard 矩阵。

该构造的关键特性包括：

数据感知： 与固定的 Hadamard 变换不同，WUSH 结合了 $S^{-1/2}$ 和 SVD 分量（ $U, V$ ），这些分量取决于数据的特定二阶统计特性。
非正交性： 生成的变换通常是非正交的，这使得它能够以正交变换无法实现的方式在权重和激活之间平衡尺度。
最优性： 文中证明了该构造对于 FP 分块量化是证明最优的，并且对于 INT 分块量化是渐近最优的（在因子 $d$ 或 $d^{o(1)}$ 范围内，取决于分布情况）。

与 GPTQ 的集成

该方法能自然地集成到 GPTQ（贪婪逐块量化）中。由于 GPTQ 利用 Hessian（二阶信息）进行误差传播，WUSH 可以利用相同的统计信息来构建变换。作者提出了一个交错的计算调度，将权重更新与变换构建耦合在一起，使得 WUSH 可以在几乎不增加额外开销的情况下与 GPTQ 协同应用。

实现

为了解决推理过程中应用每个块不同的变换所带来的挑战，作者实现了一个融合 GPU 内核。WUSH 变换矩阵以转置布局 $(G, G, C)$ 存储，以最大化内存带宽利用率。该内核将分块变换与激活量化进行融合，实现了与优化后的 Hadamard 内核相当的吞回吞量。

3. 核心贡献

闭式最优变换： 推导出了首个用于权重-激活联合量化的闭式、数据感知线性变换，这些变换在 FP 和 INT 格式下均被证明是近优的。
理论洞察： 本文阐明了 Hadamard 旋转的作用。研究表明，虽然 Hadamard 是一种有效的、数据无关的正交变换，但最优解需要一个源自数据统计特性的非正交分量（ $S^{-1/2}$ ）来真正最小化量化误差。
高效实现： 开发了专门的融合 GPU 内核，可在不牺牲推理速度的前提下处理逐块自适应变换，其性能可媲美固定变换基准。
实证验证： 通过在多个模型家族（Llama, Qwen）和量化格式（MXFP4, NVFP4, INT4）上的广泛实验，证明了其相对于最先进基准（基于 Hadamard 的 MR-GPTQ, SmoothQuant, QuaRot, SpinQuant）具有显著的精度提升。

4. 实验结果

论文在 Llama-3.1-8B-Instruct、Llama-3.2-3B-Instruct 和 Qwen3 模型（8B, 14B, 32B）上使用 LM Evaluation Harness 和 Platinum Benchmarks 进行了评估。

逐层损失： 在 MXFP4, NVFP4 和 INT4 格式下，WUSH 在 Identity, Random Rotation, Hadamard 以及非自适应变体中始终保持最低的逐层 RTN 量化损失。
端到端准确率：
- 在使用 MXFP4 (W4A4) 的 Llama-3.1-8B-Instruct 上，WUSH 比基于 Hadamard 的基准（RTN）平均提升了 2.8 个百分点，比 GPTQ 提升了 0.7 个百分点。
- 它显著缩小了 NVFP 和 MXFP 格式之间的性能差距。例如，在 Qwen3-14B 上，WUSH 将 NVFP4-MXFP4 的平均差距缩小到了 0.36 个百分点。
- WUSH 结合 GPTQ 在大多数基准测试中均取得了最佳结果，通常在 W4A4 设置下能恢复超过 96% 的 BF16 性能。
吞吐量： 融合内核实现方案在 RTX 5090 GPU 上实现了高达 5.8 倍于 BF16 的每层吞吐量，与优化的 Hadamard 基准相比，平均吞吐量差异仅为 1.3%。
开销： 离线预处理成本与标准 GPTQ 相当。激活侧变换的存储开销微乎其微（例如，Qwen3-8B 的 MXFP4 约为 ~1.4%）。

5. 重要性与主张

本文声称 WUSH 阐明了 Hadamard 旋转取得经验性成功的本质，即展示了 Hadamard 是一个更广泛的最优解中的特定、数据无关的组成部分。通过将固定的 Hadamard 骨干与数据依赖的二阶矩分量相结合，WUSH 实现了一个证明近优的非正交变换。

作者强调，其方法是有原则且数据感知的，超越了启发式或迭代学习的方法。他们指出，WUSH 使 MXFP 格式在与 NVFP 竞争时更具优势，解决了当前低精度推理中的一个关键限制。这项工作证明，有原则的、数据感知的块变换可以带来显著的精度提升，且不会损害大规模 LLM 部署所需的效率。