When Local Variance Optimality Is Not Enough: RoPE-Aligned Q/K Rotations for Dynamic 4-Bit Quantisation

技术摘要：面向动态 4-bit 量化的 RoPE 对齐 Q/K 旋转

问题陈述
大语言模型（LLM）在低比特宽度（例如 W4A4KV4）下的训练后量化（PTQ）深受激活异常值的影响。基于旋转的方法通过应用正交变换来重新分配激活能量，同时保持网络未量化前的函数特性。这些方法中的一个关键设计选择是“混合支持”（mixing support）：即是在一个注意力头内混合所有通道，还是将混合限制在特定的结构化子空间内。

旋转位置嵌入（RoPE）将每个注意力头划分为固定的二维频率对。这一结构提出了一个具体的问题：一种尊重此分解（成对混合）的变换，是否能比全头混合（full-head mixing）提高量化精度？虽然先前的研究（如 FPTQuant）利用了与 RoPE 对易的逐对旋转，但目前尚不清楚将混合支持限制在这些频率对内，是否在理论上对于某些局部目标是最优的，并能转化为更好的端到端性能。

方法论
作者通过比较在 RoPE 之后应用于查询（Q）和键（K）的三种在线变换配置来研究这个问题：

1. 全头 Hadamard (Full-head Hadamard)： 基准方法，在单个头的 $d_h$ 个通道中进行混合。
2. 仅限成对 (Pairwise-only)： 一个头共享的旋转，被限制在 RoPE 频率对的两个通道内，且与 RoPE 对易。
3. 成对 + Hadamard (Pairwise + Hadamard)： 成对旋转与全头 Hadamard 的组合。

本研究针对四种模型检查点（Llama-3.2-1B, Llama-3.2-3B, Llama-3.1-8B, Mistral-7B-v0.3）下的动态 W4A4KV4 量化展开。

理论特征：
论文建立了一个理论上的逆向结果：对于具有不同 RoPE 频率的单个头，唯一与 RoPE 对易的正交映射是频率对内的独立平面旋转。这定义了“RoPE 对易族”。

优化目标：
对于评估的头共享参数化（即对于特定的频率对，一个角度在层内所有头中共享），作者推导出了一个闭式旋转角 $\phi^*_k$。该角度在**池化协方差、位置平均代理（pooled-covariance, position-averaged surrogate）**下最小化最大通道方差。其实现经过验证，达到了该解析最小值。

估计策略：
研究评估了用于共享角的不同估计器：

• 默认 (Default)： 在去中心化之前，跨头池化原始 Q 和 K 的矩累加器。
• 仅 K (K-only)： 仅根据 K 的观测值构建协方差（因为只有 K 在变换后被量化）。
• 流平衡 (Stream-balanced)： 为 Q 和 K 的非中心矩分配相等的权重。

核心贡献

1. 精确局部基准： 论文提供了一个逆向特征证明，对于不同的频率，RoPE 对易的正交族恰好由独立的成对旋转组成。此外，它还推导出了针对池化协方差代理的闭式极小极大方差角，并验证了其可达性。
2. 限定范围的负面结果： 在动态 W4A4KV4 下，头共享的成对配置在所有测试的检查点和上下文长度（最高达 128K）中，其困惑度（perplexity）均高于全头 Hadamard 混合。即使使用经过验证的代理最优解 $\phi^*_k$，成对配置的性能仍然逊于基准方法。
3. 关于代理对齐与混合支持的证据： 论文识别出两个解释局部最优性与量化性能之间差异的因素：
   • 目标不匹配： 闭式旋转最小化了位置平均的二阶矩（池化协方差），而动态量化器根据跨越多个频率对的**逐 Token 组范围（tokenwise group range）**来设置其缩放比例。优化前者并不保证能控制后者。
   • 混合支持： 成对旋转的混合支持为 $b=2$，而全头 Hadamard 的 $b=d_h$。通过改变块 Hadamard 支持从 $b=2$ 到 $b=d_h$ 的插值实验表明，K 的范围、相对量化误差以及困惑度下降随支持度的增加而单调减少。

结果

• 困惑度： 用头共享的成对配置替换全头 Hadamard 会在每个短上下文比较中增加困惑度（例如，Llama-3.2-1B 增加 +1.33 PPL，Llama-3.2-3B 增加 +0.48 PPL）。这种排序在长上下文（高达 128K）中依然成立。
• 组合： 将成对旋转与 Hadamard 组合（Pairwise + Hadamard）相对于基准方法的偏差处于 $\pm 0.05$-PPL 区间内，这表明当添加成对组件时，它并不会降低全头混合的性能。
• 估计器影响： 与默认估计器相比，从仅 K 估计共享角可以改善所有检查点下成对配置的性能，但仍无法消除其相对于全头混合的性能差距。
• 支持度插值： 随着混合支持从 2 个通道（成对）增加到整个头，K 的范围、相对量化误差以及困惑度差距均会减小，并在 $b=d_h$ 时趋近于全头基准性能。

意义与主张
论文得出结论：仅靠结构对齐（与 RoPE 对易）不足以确保旋转能降低量化误差。对于结构化代理（池化协方差）而言的最优变换，如果其与量化器的缩放统计量（逐 Token 组范围）在代理和变换的混合支持上不匹配，则不一定能降低量化误差。

作者谦虚地声称，其结果将三个不同的概念分离开来：

1. 针对池化协方差代理的最优性。
2. 对量化器逐 Token 范围统计量的改善。
3. 端到端模型质量（困惑度）。

研究结果表明，对于动态量化，更广泛的混合支持（全头）比受结构约束的成对混合更有效，这主要是因为量化器的缩放设置机制依赖于一个受益于更大支持度的统计量（逐 Token 范围），而成对变换无法提供这种支持。本文并非声称发现了一种更优的方法，而是提供了一个负面结果，旨在阐明在此特定动态量化机制下，RoPE 对齐的成对混合所存在的局限性。