🤖 machine learning

FPTQuant: Function-Preserving Transforms for LLM Quantization

FPTQuant 引入了轻量级的保函数变换，通过重塑激活分布来实现大型语言模型高效的静态 INT4 量化，在几乎不产生精度下降且无需自定义算子开销的情况下，实现了高达 3.9 倍的最先进加速。

原作者： Boris van Breugel, Yelysei Bondarenko, Paul Whatmough, Markus Nagel

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Boris van Breugel, Yelysei Bondarenko, Paul Whatmough, Markus Nagel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，将大语言模型（LLM）视为一座宏伟的高端图书馆。为了让这座图书馆发挥作用，你需要快速阅读书籍（生成文本）。然而，这些书是用一种非常复杂、高精度的语言（浮点数）编写的，这不仅占用大量空间，还需要消耗大量能量来处理。

问题：那本“离群值”书籍
为了节省空间和能量，你希望将这些书翻译成一种更简单、更短的语言（量化，比如使用 4 位整数）。这就像是将一部 500 页的小说浓缩成一份 10 页的小册子。通常情况下，这样做效果很好。

但 LLM 有一个奇怪的问题：少数特定的单词或数字是巨大的离群值（Outliers）。想象一下，如果图书馆里 99% 的书都是薄薄的小册子，但其中有一本书却是一部 10,000 页的百科全书。如果你试图把所有内容都浓缩成一份 10 页的小册子，你会面临两个糟糕的选择：

扩大小册子的容量以容纳那部百科全书，但这样会导致那 99% 的薄小册子变得模糊不清并丢失细节。
保持小册子的体积很小，但直接丢弃掉那部百科全书（截断离群值），但这样你会丢失关键信息。

这种“范围与精度”之间的权衡通常会破坏模型的智能。

解决方案：FPTQuant（“神奇的翻译官”）
该论文介绍了一种名为 FPTQuant 的新方法，它在尝试对书籍进行总结之前，充当了一个聪明的翻译官。FPTQuant 不是强行让图书馆去适应一个小册子，而是通过重新排列书籍，使它们在进行总结之前的大小大致相等。

它通过三个“保持函数不变的变换”（FPTs）来实现这一点。你可以把这些看作是改变数据形状但不改变其讲述的故事的“魔术技巧”。

三个魔术技巧

1. “Pre-RoPE”重组（针对查询 Query 和键 Key）

隐喻： 图书馆使用一种特殊的索引系统（RoPE）来根据位置查找书籍。你不能只是随机地重组书籍，否则索引就会失效。
技巧： FPTQuant 在进行索引处理之前，执行了一次非常特定的、在数学上完美的重组。它旋转并缩放了“查询（Query）”和“键（Key）”书籍，使得当稍后应用索引时，结果与你完全没有进行重组时是一模一样的。
益处： 它平滑了搜索数据中那些百科全书级别的巨大离群值，使其易于总结而不丢失细节。

2. “数值”重组（针对数值 Value）

隐喻： 一旦图书馆找到了正确的书籍，它就会提取出实际的内容（“数值”）。
技巧： 论文指出，这些书籍的内容可以被重新排列（旋转和缩放），这种方式完全独立于搜索索引。它为每个“头（Head）”（即图书馆的特定部分）应用了独特的重组。
益处： 它抹平了内容数据中剧烈的波动，使其变得均匀且易于压缩。

3. “动态 Token”缩放（针对残差 Residuals）

隐喻： 当你在阅读图书馆的内容时，你会记录下目前为止学到的内容（“残差”）。有时，对于某一个特定的句子，你的笔记会变得非常庞大且难以处理。
技巧： FPTQuant 为每一个经过的句子都添加了一个微小的、动态的“音量旋钮”。如果一个句子的笔记声音太大（离群值），旋钮就会调低音量；如果声音太小，则调高音量。至关重要的是，它会调整下一步的音量以匹配当前，从而确保最终的故事保持不变。
益处： 这防止了任何单个句子占据主导地位，确保整个文本保持平衡且易于量化。

为什么这很重要（研究结果）

论文声称，通过使用这三个技巧，他们可以将模型压缩至 INT4（极小的尺寸），且无需定制昂贵的专用芯片，也不会降低速度。

速度： 比原始未压缩版本快达 3.9 倍。
准确性： 它的表现与之前那些速度更慢的方法一样好，甚至更好。
无额外开销： 因为这些“魔术技巧”旨在直接合并到模型的现有权重中，所以它们在实际阅读过程中不会增加额外的步骤。这就像是在仓库里重新排列书籍，使它们完美契合卡车，而不是在装载过程中增加新的步骤。

总结：
FPTQuant 是一个智能的预处理步骤，它平滑了 AI 模型中那些“奇怪且巨大的数字”。通过这样做，它允许我们将模型缩小到极小的、高能效的尺寸，同时又不损失其思考或表达清晰的能力。这就像是整理一个混乱的图书馆，让一个高效的小型机器人能像人类图书管理员一样出色地阅读。

技术摘要：FPTQuant：用于大语言模型量化的函数保持变换

问题陈述

大语言模型（LLMs）在推理过程中会产生显著的计算和能源成本，限制了它们在资源受限的边缘设备上的部署。虽然量化（将连续值映射到均匀整数网格）是提高效率最有效的方法，但对 LLM 进行朴素量化往往会导致严重的性能下降。这主要是由于“离群值”（outliers）引起的——即具有大数值的激活值和权重，它们破坏了低比特量化所需的均匀分布。

核心挑战在于范围与精度的权衡：

增加范围以捕捉离群值会导致围绕零附近的多数值失去精度。
保留精度通过裁剪离群值会导致信息丢失和模型崩溃。

先前的工作探索了函数保持变换（FPTs）——如缩放或旋转等操作，这些操作可以在不改变模型输出（在不存在量化的情况下）的前提下平滑离群值。然而，现有方法通常面临表达能力（有效减少量化误差的能力）与计算开销（推理成本）之间的权衡。许多具有高表达能力的变换是不可合并的（non-mergeable），需要在计算图中引入新的算子并导致显著的延迟。

方法论：FPTQuant

本文引入了 FPTQuant，这是一个利用了三种新型、轻量级且具有高表达能力的 FPT 框架，专门为 Transformer 设计。其核心理念是利用 Transformer 规范操作中固有的等变性（equivariances）和独立性（independencies），来设计既可合并（融合进现有权重）又具高表达能力的变换。

三种主要的变换为：

1. 用于查询（Query）和键（Key）的可合并 Pre-RoPE 变换 ( $T_k, \bar{T}_k$ )

背景： 现代 LLM 使用旋转位置嵌入（RoPE），这使得无法将变换朴素地合并到查询权重 ( $W_q$ ) 和键权重 ( $W_k$ ) 中，因为 RoPE 与任意线性变换不满足交换律。
机制： 作者引入了一对在 RoPE 之前应用的变换。 $T_k$ 应用于键， $\bar{T}_k$ （近似逆变换）应用于查询。它们由缩放的 $2 \times 2$ 旋转矩阵组成。
属性： 由于 RoPE 的分块对角结构，这些特定的旋转/缩放矩阵与 RoPE 操作是可交换的。这使得这些变换可以被直接合并到训练后的 $W_q$ 和 $W_k$ 权重中，从而产生零推理开销。
适用性： 适用于带有 RoPE（如 Llama 系列）的模型以及不带位置嵌入的模型。

2. 可合并的多头数值（Value）变换 ( $T_v, \bar{T}_v$ )

背景： 在注意力机制中，批处理矩阵乘法（BMM）作用于数值 ( $V$ ) 和输出投影 ( $W_o$ )。维度 $d$ （数值维度）与注意力概率的计算是独立的。
机制： 一个可逆变换 $T_v$ 被应用于数值投影权重 ( $W_v$ )，其逆变换 $\bar{T}_v$ 被应用于输出投影权重 ( $W_o$ )。
属性： 由于不同的注意力头是相互独立的，因此可以为每个头优化一个唯一的正定矩阵。该变换被合并到 $W_v$ 和 $W_o$ 中。
优势： 这提供了高表达能力（每个头使用全可逆矩阵），同时保持了可合并性，不同于以往通常在所有头之间共享单一旋转或不可合并的旋转方法。

3. 伪动态残差缩放 ( $S_n$ )

背景： Transformer 中的残差连接经常绕过归一化层，导致 token 具有截然不同的尺度。这会导致后续模块（例如 SwiGLU 输出）出现离群值。
机制： 作者提出将 RMSNorm 也应用于残差流。一个基于残差均方根（root-mean-square）的逐 token 缩放因子 $S_n$ 被应用于残差输入。为了保持输出不变，注意力块和 MLP 块的输出 ( $Y_n$ ) 在加回到残差之前也会被相同的 $S_n$ 进行缩放。
属性： 矩阵乘法和无偏置的线性层与逐 token 缩放是可交换的。这允许将缩放应用在注意力层和 MLP 块的深处，以减少块内离群值。
实现： 缩放因子通过前一个块的归一化输出递归计算。在实践中，由于 LM Head 开始时已有 RMSNorm，因此最后的除以缩放因子的步骤是不必要的。

优化策略

FPTQuant 采用两阶段优化过程：

局部优化： 变换被局部且独立地进行优化，以最小化合并权重的 $L_p$ 范数（具体为 $L_4$ ）。这减少了离群值并提供了稳定的初始化。
端到端（学生-教师）训练： 一个带有变换的量化学生模型通过 Jensen-Shannon 散度 (JSD) 损失来逼近全精度教师模型。
- 关键区别： 不同于使用下一 token 预测损失的方法，学生-教师方法通过匹配教师模型的完整概率分布，防止了对训练数据集（如 Wikitext）的过拟拟合。这提高了对下游任务的泛化能力。

核心贡献

新型 FPTs： 引入了三种特定的变换（Pre-RoPE、Value 和 Residual Scaling），这些变换旨在兼具高表达能力与可合并性，消除了推理开销。
静态 INT4 量化： 证明了 FPTQuant 可以实现静态 INT4 量化（权重、激活值和 KV 缓存），且开销极小，在 prefill 任务上比 FP16 实现高达 3.9 倍的加速。
精度-速度权衡： FPTQuant 的性能达到或超过了 FlatQuant 和 SpinQuant 等最先进（SOTA）方法，同时速度显著更快（比 FlatQuant 快达 29%），且无需自定义算子。

实验结果

作者在多种量化设置（W4A4KV4, W4A8KV8 等）下，针对各种模型（Llama-2/3, Ministral, Qwen）对 FPTQuant 进行了评估。

速度： FPTQuant 在 prefill 阶段始终比 FP16 实现 2.8×–3.9× 的加速。它比 SpinQuant 更快，并且始终比 FlatQuant 快（相对提速 15–29%）。
精度：
- 在“困难”部署设置（量化所有中间激活值）下，FPTQuant 的表现优于 SpinQuant 和 FlatQuant 等基准方法。
- 在标准设置（Linear+KV）下，FPTQuant 的表现与目前精度 SOTA 的 FlatQuant 相当。
- 在具有挑战性的 W4A4KV4 设置下，FPTQuant 展示了极具竞争力的困惑度（perplexity）和零样本推理得分，通常优于 SpinQuant 和 QuaRot。
稳定性： 敏感性分析表明，即使在存在噪声参数更新的情况下，FPTQuant 仍能保持函数不变性，而像 FlatQuant（依赖浮点数求逆）和 OSTQuant（非函数保持型）这类方法则表现出不稳定或性能退化。
训练成本： FPTQuant 的训练非常高效。虽然比 RTN-opt 稍慢，但通常比 FlatQuant 快，因为其变换是可合并的，避免了非可合并变换所需的在线前向传播。

意义与主张

论文声称，FPTQuant 代表了使 LLM 在边缘侧部署成为可能的重要一步。通过显式利用 Transformer 操作的数学特性（等变性），作者创建了不会以牺牲推理速度为代价来换取精度的变换。

实际影响： FPTQuant 使得使用更小的位宽（INT4）而不必承担沉重的动态量化或非可合并变换带来的计算惩罚成为可能。这降低了 LLM 的内存占用和能耗，可能推动 AI 在智能手机和边缘设备上的普及。
方法论贡献： 该工作强调，理解现有操作的交换性质是设计有效量化策略的关键。它反对使用下一 token 预测损失来训练 FPT，因为这存在过拟合风险，转而倡导使用分布匹配的学生-教师训练。
局限性： 作者谦虚地指出，虽然该方法在不同模型族中表现稳健，但并不保证能同样适用于所有 LLM（例如混合专家模型 MoE）。此外，由于当前硬件限制（许多 GPU 缺乏原生 INT4 支持），基准测试依赖于模拟，其实际效益可能只有在未来的硬件或特定边缘加速器上才能完全体现。