🤖 machine learning

HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization

HARP 引入了一种可学习的、结构化的双边正交处理器，该处理器根据特定层和校准数据调整量化基，在保持部署效率的同时，显著提升了极端低比特（2-4 比特）大语言模型量化的精度，优于固定的哈达玛方法。

原作者： Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一座庞大且细节惊人的图书馆（即大型语言模型），并希望将其装入口袋。问题在于，书籍太重，书架太宽，无法放入一个小包中。为了使其便于携带，你决定将这些书籍压缩成微小的笔记。这被称为量化。

然而，当你将这些书籍过度压缩（仅保留 2 或 3 位信息）时，几页纸会被揉皱或丢失。这些“揉皱的页面”被称为异常值——它们是极其重要的数值，远大于其他数值。如果你尝试使用标准方法压缩整本书，这些异常值会破坏压缩效果，使得笔记难以阅读。

旧方法：“随机洗牌”

此前，科学家使用一种称为RHT（随机哈达玛变换）的技巧。你可以将其想象为将书籍的所有页面随机打乱，然后进行压缩。

优点：它速度快，并能将“揉皱的页面”分散开来，避免它们全部集中在一个位置被压坏。
缺点：这是一种固定的洗牌方式。就像对每一本书都使用相同的随机洗牌模式，无论这本书是食谱、小说还是字典，它都不会根据书中的具体内容进行调整。

新方法：HARP（“智能裁缝”）

本文作者提出了HARP（哈达玛预条件自适应旋转处理器）。你可以将 HARP 想象为一位智能裁缝，它不仅仅使用通用的洗牌方式。

它学习合身度：HARP 不像随机洗牌那样随意，而是观察模型每一层中数据的特定“形状”（就像观察衬衫的具体面料）。它学习完美地重新排列数值，使它们能够适应微小的压缩空间，同时不丢失重要细节。
即插即用的升级：最棒的是，HARP 最初看起来与旧的“随机洗牌”（RHT）完全一样。它就像一套标准成衣，但隐藏着拉链和可调节的接缝。一旦穿上，裁缝（校准过程）会迅速调整，使其完美贴合你。这意味着你可以用 HARP 替换旧方法，而无需重建整个系统。
结构化且快速：HARP 并非进行杂乱无章的复杂重排。它采用“蝴蝶”模式（一种特定的、高效的混合方式），在数学上保证可逆且快速。这就像整理图书馆时，不是随意将书籍扔得到处都是，而是使用一种高效、预先规划好的分类系统，只需几秒钟即可完成。

使用它会发生什么？

该论文在从小型（10 亿参数）到超大型（700 亿参数）的模型上进行了测试。

质量提升：当他们将模型压缩到极端尺寸（2 到 4 位）时，HARP 使模型变得“更聪明”（困惑度更低，准确率更高），优于旧的随机洗牌方法。它特别擅长保存那些通常会被丢失的“揉皱页面”（异常值）。
依然快速：尽管 HARP 学习了自定义的合身度，但它并未减慢模型速度。事实上，带有 HARP 的压缩模型仍然快得多（每秒 128 个令牌），而原始未压缩模型仅为每秒 61 个令牌。
通用性强：他们证明，HARP 不仅适用于一种特定的压缩工具，还可以替换到不同的压缩系统（如 QTIP）中，并仍能提升其性能。

核心结论

HARP 是一种工具，它将人工智能压缩中使用的“一刀切”式随机洗牌转变为量身定制的合身度。它从少量数据样本中学习，找到在将数值压缩之前完美重排它们的最佳方式。其结果是得到一个更小、更快的 AI 模型，阅读效果更好，错误更少，而无需从头重新训练整个模型。

技术摘要：HARP（Hadamard 预条件自适应旋转处理器）

1. 问题陈述

后训练量化（PTQ）对于在内存和带宽受限条件下部署大语言模型（LLM）至关重要。然而，极端低位数量化（2–4 位）面临两个主要挑战：

激活异常值与重尾统计特性：一小部分坐标携带不成比例的权重质量和曲率敏感性，导致量化时产生严重的重构误差。
各向异性权重曲率：当权重质量或曲率敏感方向与特定坐标轴对齐时，标准量化器（标量或分块向量）表现不佳。

现有解决方案依赖于非相干处理，即在量化前应用结构化的正交基变换，以将权重质量分散到各个坐标上。当前的标准是随机 Hadamard 变换（RHT）。虽然 RHT 速度快（ $O(d \log d)$ ）且严格正交，但它是固定的。它无法适应：

特定层的统计特性。
校准数据的分布。
下游量化器的分块结构。

最近的研究表明，端到端学习旋转可以提升质量，但这些方法往往削弱了 PTQ 流程的“即插即用”特性，改变了全精度模型，或引入了对推理而言过高的计算成本。目前缺乏一种能够从校准数据中学习、保持严格正交基变换（保留全精度模型）并维持类 Hadamard 效率的处理器。

2. 方法论：HARP

作者提出了HARP（Hadamard 预条件自适应旋转处理器），这是一种可学习的、双侧正交处理器，旨在替代 PTQ 流程中的固定 RHT。

2.1 核心架构

HARP 将正交旋转参数化为稀疏、基于步长的阶段的乘积，模仿快速 Hadamard 变换和蝴蝶变换的结构。

结构：对于维度 $d$ ，HARP 使用混合基调度 $\mathbf{b} = (b_0, \dots, b_{m-1})$ ，其中 $\prod b_t = d$ 。
阶段：每个阶段 $t$ 将块对角正交矩阵 $\mathbf{B}_t$ 应用于坐标组，并通过步长置换进行分隔。
混合基支持：与仅限于 2 的幂次的标准 Hadamard 变换不同，HARP 利用混合基调度（例如 $8, 8, 8, 5, 2$）支持任意维度（例如 5120）。非 2 的幂次基数利用确定性正交回退方案（固定高斯矩阵的 QR 分解）。

2.2 Hadamard 预条件与初始化

一项关键创新是Hadamard 预条件的块核。每个可学习块 $B_{t,c}$ 定义为：
$B_{t,c}(\theta) = Q_{t,c}(\theta) G_{b_t}$

$G_{b_t}$ 是固定的基础混合器（2 的幂次使用归一化 Sylvester Hadamard，否则使用 QR 回退）。
$Q_{t,c}(\theta)$ 是可学习的正交矩阵（当 $b_t=2$ 时为 Givens 旋转，当 $b_t > 2$ 时为 Cayley 映射）。

初始化：所有可学习参数 $\Theta$ 初始化为零。在 $\Theta=0$ 时， $Q_{t,c}(0) = I$ ，意味着 $B_{t,c}(0) = G_{b_t}$ 。因此，HARP 变换在初始化时精确恢复了固定的 RHT 处理器（至多相差一个固定的置换约定）。随后，校准过程将围绕这一强基线学习结构化的正交细化。

2.3 优化目标

HARP 仅使用校准数据按层进行拟合。优化过程最小化与部署的分块量化器对齐的代理损失：

对角 Hessian 加权重构：最小化旋转权重与其分块码本目标之间的误差，权重由 Hessian 代理的对角线加权。梯度在离散码本分配处停止，以确保稳定性。
非块 Hessian 能量惩罚：正则化项（ $R_{bd}$ ）惩罚 Hessian 代理非对角块中的能量，鼓励旋转将曲率与量化器的分块结构对齐。

总损失为：
$\mathcal{L}_{fit}(\Theta) = \mathcal{L}_{diag}(\Theta) + \lambda_{bd} R_{bd}(\Theta_V)$

2.4 部署效率

存储：HARP 参数可以int8格式存储，对困惑度的影响极小。
计算：应用成本为 $O(d \log d)$ ，与 RHT 类似。作者实现了融合 Triton GPU 内核用于步长阶段，以避免显式置换，保持低延迟开销。
兼容性：HARP 是 QuIP# 和 QTIP 流程中预处理步骤的即插即用替代品，无需更改量化器后端或求解器。

3. 主要贡献

可学习非相干处理器：提出了 HARP，这是一种通过校准数据拟合的双侧正交处理器，能够适应层统计特性和后端量化器结构。
即插即用兼容性：HARP 初始化为精确的固定 RHT 处理器，确保其成为现有基于 Hadamard 的 PTQ 流程的无缝升级，无需全模型重训练或图重构。
结构化效率：利用类蝴蝶的混合基阶段，实现了非 2 的幂次维度上的严格正交性和 $O(d \log d)$ 复杂度，保留了量化推理的吞吐量优势。
实证验证：在 1B 到 70B 参数的模型上，2–4 位设置中，证明了相比固定 RHT 在困惑度和零样本准确率方面的一致性质量提升。

4. 实验结果

作者使用 QuIP# 后端在 Llama 3.2（1B, 3B）和 Llama 2（7B, 13B, 70B）上评估了 HARP。

困惑度（PPL）：HARP 始终优于固定 RHT。
- 2 位：在此处提升最为显著，因为量化最为敏感。对于 Llama 2 7B，HARP 将 WikiText2 PPL 从 8.22（RHT）降低至 7.23。对于 Llama 2 70B，从 4.16 降至 4.01。
- 3-4 位：提升依然存在，但随着基线接近全精度，绝对幅度较小。
零样本准确率：HARP 提高了 ARC-Challenge、ARC-Easy 和 WinoGrande 任务的准确率，证实了困惑度的提升转化为下游性能的提升。
延迟与吞吐量：
- 在 NVIDIA RTX 5080 上，2 位 HARP 为 Llama 2 7B 实现了128 tokens/sec，而 FP16 为 61 tokens/sec。
- HARP 相对于固定 RHT 的延迟开销适中（例如，2 位 7B 每 token 为 0.0078 秒对比 0.0070 秒），保留了大部分量化加速优势。
可移植性：当集成到QTIP（使用格码量化的不同后端）时，HARP 再次相比固定 RHT 改善了困惑度，证明了其与后端无关的实用性。
存储开销：使用 int8 参数存储，有效每参数字节数（BPP）增加极小（例如，2 位 7B 从 2.00 $\to$ 2.05），对模型质量的影响可忽略不计。

5. 意义与主张

本文主张 HARP 解决了 PTQ 领域的一个特定空白：需要自适应预处理，且不牺牲效率或精确性。

自适应性与固定性：与固定的 RHT 不同，HARP 将旋转基适应于特定层和量化器块结构，从而在极端低位数量化区域减少重构误差。
精确性与近似性：与某些改变全精度模型或需要端到端训练的学习旋转方法不同，HARP 是严格的基变换。全精度模型在数学上得以保留；仅改变暴露给量化器的坐标系。
效率与成本：与密集学习旋转或复杂图修改（如 SpinQuant）不同，HARP 保持了 Hadamard 变换的 $O(d \log d)$ 计算成本，使其适用于大规模 LLM 部署。

作者将 HARP 定位为并非一个新的独立流程，而是一个可重用模块，通过在强固定基线周围学习结构化细化，来增强现有的基于 Hadamard 的后端（如 QuIP# 和 QTIP）。结果表明，对于极端低位数量化（2–3 位），一次性校准以学习这些旋转的成本，完全值得模型质量的显著恢复。