Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization

本文针对 MXFP4 和 NVFP4 微量化格式在 LLM 推理中面临的精度瓶颈，提出了结合块级 Hadamard 变换与格式特定优化的 MR-GPTQ 算法，并辅以高性能 GPU 内核，在 NVIDIA B200 和 RTX5090 上实现了显著加速，同时使 FP4 量化的精度达到或超越现有最先进水平。

要点

这篇论文就像是在给大语言模型（LLM）做一场“减肥手术”，试图让它们在更小的体积下跑得更快，同时还能保持聪明。

为了让你轻松理解，我们可以把大语言模型想象成一个超级庞大的图书馆，里面装满了无数的知识（权重）和读者的提问（激活值）。

1. 背景：为什么要“减肥”？

现在的 AI 模型太大了，就像一座巨大的图书馆，占用了太多的空间（显存），而且搬运书籍（计算）非常慢。
为了解决这个问题，科学家们发明了量化（Quantization）技术。这就好比把图书馆里原本用精装大书（高精度浮点数，如 FP16）记录的知识点，全部换成袖珍小册子（低精度，如 4 位）。

• 目标：把书变小，让图书馆能塞进更多书，或者让搬运工（GPU）跑得更快。

2. 新工具：MXFP4 和 NVFP4

最近，NVIDIA 和 AMD 推出了新的硬件，支持一种叫**微缩放浮点数（Microscaling FP4）**的新格式。

• 比喻：以前我们是用整数（INT4）做袖珍书，现在有了两种新的“特殊纸张”：
  • NVFP4：像是一种精密的便签纸。它把书分成小堆（每堆 16 页），每堆共用一个“比例尺”（Scale），这个比例尺写得比较详细（E4M3 格式）。
  • MXFP4：像是一种极简的速记纸。它把书分成更大的堆（每堆 32 页），比例尺写得更简单，只保留“是 2 的几次方”这种信息（E8M0 格式，也就是只保留指数，没有尾数）。
• 承诺：厂商说，用这种新纸张，既能把书缩得更小，又能保持内容清晰，甚至比以前更好。

3. 发现的问题：承诺 vs. 现实

这篇论文的作者们（来自 IST Austria、Yandex、Red Hat 等）发现，虽然新纸张很好，但现有的“装订方法”（量化算法）完全不会用。

• NVFP4 的困境：因为它的小堆太小（16 页），而且比例尺太细，导致那些原本用来处理“异常值”（比如特别重要的关键词）的旧方法失效了。就像你想用细笔去画粗线条，反而画歪了。
• MXFP4 的困境：因为它把比例尺简化成了“只保留 2 的幂次”，这就像把温度计的刻度全去掉了，只保留“热”和“冷”两个档位。这导致误差巨大，模型变得很“傻”，准确率大幅下降（比如从 90 分掉到 70 分）。

结论：直接拿新纸张用旧方法，效果不仅没变好，反而变差了。

4. 解决方案：MR-GPTQ（微旋转 GPTQ）

为了解决这个问题，作者们发明了一种新的“装订术”，叫 MR-GPTQ。

• 核心魔法：旋转（Rotation）
  • 比喻：想象图书馆里的书，有些章节特别厚（异常值/Outliers），有些特别薄。旧方法试图直接把这些厚书塞进小册子里，结果塞爆了或者看不清。
  • MR-GPTQ 的做法：在把书变成小册子之前，先给书旋转一下角度（使用哈达玛变换 Hadamard Transform）。
  • 效果：旋转后，原本特别厚的章节被“打散”了，均匀地分布到每一页里。这样，原本厚薄不均的书，变得厚薄均匀，非常适合塞进那种“极简速记纸”（MXFP4）里。
• 针对 MXFP4 的优化：因为 MXFP4 的比例尺太粗糙，MR-GPTQ 还专门设计了一套算法，去“微调”这些比例尺，让它们更贴合实际数据，减少误差。

5. 硬件加速：QuTLASS（不让旋转变慢）

你可能会问：“旋转一下书，会不会太花时间，反而抵消了变小的优势？”

• 答案：不会。作者们专门为 NVIDIA 最新的 Blackwell 显卡（如 B200, RTX 5090）写了一套超级快的代码库（QuTLASS）。
• 比喻：就像给图书馆装上了自动传送带和智能机器人。它们在搬运书籍的同时，顺便就把书“旋转”好了。这个动作几乎不占用额外时间，甚至因为书变小了，整体速度反而快了好几倍。

6. 最终成果：速度与智慧兼得

经过测试，MR-GPTQ 带来了惊人的效果：

• 准确率：原本 MXFP4 会让模型变笨，现在用 MR-GPTQ 后，它的准确率追平了更精细的 NVFP4，甚至接近原始的大书（FP16）水平。
• 速度：
  • 在 NVIDIA B200 显卡上，推理速度比原来快了 2.2 倍。
  • 在 RTX 5090 显卡上，速度更是快了 4 倍！
  • 这意味着，以前需要 10 秒才能回答的问题，现在 2-3 秒就能搞定，而且回答得更准。

总结

这篇论文告诉我们：新技术（MXFP4/NVFP4）虽然 promising（有潜力），但如果直接套用旧方法，效果会很差。
作者通过**“旋转数据”（MR-GPTQ）和“定制硬件加速”**（QuTLASS），成功填补了“理论承诺”和“实际性能”之间的鸿沟。
简单一句话：他们发明了一种新魔法，让大模型在变得更小、更轻的同时，不仅没有变傻，反而跑得更快了，就像给图书馆装上了光速传送带，还能把书压缩得更紧凑。

技术摘要

这篇论文题为《弥合微缩放 FP4 量化承诺与性能之间的差距》（Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization），发表于 ICLR 2026。论文由奥地利科学技术研究所（ISTA）、Yandex Research、Red Hat AI 和苏黎世联邦理工学院（ETH Zürich）的研究人员共同完成。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景：随着大语言模型（LLM）的发展，硬件厂商（如 NVIDIA 和 AMD）推出了新的微缩放 4 位浮点格式（Microscaling FP4），主要包括 MXFP4（OCP 标准，组大小 32，E8M0 标度）和 NVFP4（NVIDIA Blackwell 架构，组大小 16，E4M3 标度）。这些格式旨在通过硬件加速革命性地提升 LLM 推理性能。
• 核心问题：尽管硬件支持已就绪，但现有的训练后量化（PTQ）方法在这些新格式上的实际表现尚未得到充分验证。研究发现，直接使用最先进的量化方法（如标准的 GPTQ 或 RTN）在 FP4 格式上表现不佳，存在显著的精度损失，未能兑现其“比 INT4 更准确”的承诺。
• 具体挑战：
  1. NVFP4 的组大小过小：其 16 元素的组大小使得传统的异常值（Outlier）抑制技术（如旋转）失效，甚至可能降低精度。
  2. MXFP4 的标度量化误差：MXFP4 使用 E8M0 格式（仅指数位，无尾数位），将标度量化为 2 的幂次。这种设计虽然简化了硬件乘法，但引入了巨大的量化误差，严重损害模型精度。

2. 方法论 (Methodology)

为了解决上述问题，作者提出了 **Micro-Rotated-GPTQ **(MR-GPTQ)，这是一种专为 FP4 格式设计的 GPTQ 变体。

2.1 理论分析

• 分布建模：作者分析了原始权重/激活（符合拉普拉斯分布，重尾）与经过哈达玛（Hadamard）旋转后的权重/激活（符合高斯分布，轻尾）在不同组大小下的量化误差。
• 关键发现：
  • 对于 MXFP4，哈达玛旋转能显著降低均方误差（MSE），因为旋转将重尾分布转化为高斯分布，更适合 MXFP4 的量化网格。
  • 对于 NVFP4，由于组大小较小（16），旋转反而可能破坏其原有的异常值保持特性，导致精度下降（在标准 RTN 下）。
  • 标度量化分析：MXFP4 的 E8M0 标度量化误差远大于 NVFP4 的 E4M3。

2.2 MR-GPTQ 算法设计

MR-GPTQ 针对 FP4 特性进行了三项关键改进：

1. MSE 优化的网格（MSE-Optimized Grids）：
   • 不再使用固定的量化网格，而是通过交替优化（Alternating Optimization）为每个张量寻找最优的全局标度和组标度，以最小化重建误差。
   • 对于 MXFP4，发现静态标度值在多层间表现稳定。
2. 静态激活重排序（Static Activation Reordering）：
   • 传统 GPTQ 使用动态激活重排序（Dynamic Act-order），但这会导致运行时矩阵列重排，带来 10-20% 的推理延迟。
   • MR-GPTQ 在量化阶段（离线）根据 Hessian 对角线元素对列进行重排，计算好标度和网格后，将列还原回原始顺序。这保留了量化过程中的精度优势，同时消除了运行时的重排开销。
3. 融合在线旋转（Fused Online Rotations）：
   • 在量化前对权重和激活进行分块哈达玛变换（Block-wise Hadamard Transform）。
   • 为了消除旋转带来的额外计算开销，作者设计了融合核（Fused Kernels），将旋转操作与激活的量化/标度计算合并，实现“零开销”的在线旋转。

2.3 系统实现：QuTLASS

• 作者开发了 QuTLASS，一套针对 NVIDIA Blackwell 架构（SM100/SM120）优化的 GPU 内核库。
• QuTLASS 实现了 MR-GPTQ 所需的微旋转（Micro-rotation）和矩阵乘法，支持 NVFP4 和 MXFP4 格式。
• 通过融合技术，实现了接近理想 4-bit 矩阵乘法的吞吐量。

3. 关键贡献 (Key Contributions)

1. 首次全面评估：对 MXFP4 和 NVFP4 在真实 LLM 模型上的精度和性能进行了首次系统性研究，揭示了现有 SOTA 方法在这些格式上的局限性。
2. MR-GPTQ 算法：提出了一种结合块级哈达玛旋转、MSE 标度优化和静态重排序的新型量化算法，专门解决 FP4 格式的精度瓶颈。
3. 高性能内核（QuTLASS）：实现了支持 MR-GPTQ 的高性能 GPU 内核，证明了微旋转可以在不牺牲性能的情况下实现。
4. 性能突破：在 NVIDIA B200 和 RTX 5090 上实现了显著的端到端加速，同时保持了与 FP16 基线相当的精度。

4. 实验结果 (Results)

实验在 Llama-3.1-8B、Llama-3.3-70B 和 Qwen-3 系列模型上进行，评估了 MMLU、GSM8K 等标准任务。

• 精度表现：
  • 基线问题：直接使用 RTN 量化，MXFP4 的精度比 NVFP4 低约 10%（相对值），且现有方法（如 SmoothQuant, QuaRot）在 FP4 上表现不佳。
  • MR-GPTQ 效果：
    • NVFP4：MR-GPTQ 与标准 GPTQ 表现相当，均能恢复 FP16 精度的 95%-99%。
    • MXFP4：MR-GPTQ 带来了巨大提升，将精度恢复至接近 NVFP4 的水平（差距缩小至 1-2%）。在大型模型上，MXFP4 配合 MR-GPTQ 可恢复 98-99% 的 FP16 精度。
    • 对比 INT4：MR-GPTQ 在 FP4 上的表现优于或持平于现有的 INT4 量化方法。
• 性能表现（速度）：
  • 层间加速：在 B200 上达到 3.6x，在 RTX 5090 上达到 6x（相对于 BF16）。
  • 端到端加速：在 B200 上达到 2.2x，在 RTX 5090 上达到 4x。
  • MXFP4 优势：有趣的是，由于 MXFP4 使用更大的组大小（32）和更高效的 2 的幂次标度，其实际吞吐量甚至略高于理论上的 NVFP4 矩阵乘法。

5. 意义与结论 (Significance)

• 打破迷思：证明了 FP4 格式并非自动优于 INT4，其性能高度依赖于格式特定的量化算法。
• 技术突破：MR-GPTQ 成功弥合了 FP4 硬件承诺与实际软件性能之间的鸿沟，使得在消费级（RTX 5090）和企业级（B200）硬件上实现高精度、低延迟的 4-bit LLM 推理成为可能。
• 未来方向：该工作为未来硬件设计（如标度格式的选择）和算法优化提供了重要参考，表明通过算法与硬件的协同设计（Co-design），可以解锁新的精度 - 性能权衡空间。

总结：这篇论文不仅指出了当前 FP4 量化方法的缺陷，还通过创新的算法（MR-GPTQ）和高效的系统实现（QuTLASS），成功释放了 MXFP4 和 NVFP4 的潜力，为大模型的高效推理开辟了新路径。