💬 NLP

Four Over Six: More Accurate NVFP4 Quantization with Adaptive Block Scaling

本文介绍了“四六法”（4/6），这是一种针对 NVFP4 量化的自适应块缩放技术，它通过动态调整块缩放比例以更好地处理大数值，从而在最小化计算开销的同时，将训练和推理性能提升至接近 BF16 的水平。

原作者： Jack Cook, Junxian Guo, Guangxuan Xiao, Yujun Lin, Song Han

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Jack Cook, Junxian Guo, Guangxuan Xiao, Yujun Lin, Song Han

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图将一座庞大的图书馆塞进一个微小的便携手提箱中。这些书籍代表大型语言模型（AI）的“大脑”，而手提箱则代表计算机的内存。为了将所有东西都塞进去，你需要把书籍缩小。

长期以来，我们一直使用一种称为BF16（一种标准的高精度格式）的方法，这就像把书籍装进坚固但沉重的箱子里。它很准确，但手提箱很快就会装满。最近，工程师们尝试切换到NVFP4，这是一种小得多的格式。可以把 NVFP4 想象成一套微小、轻便的折纸盒子。它们能让手提箱里塞进多得多的书籍，并使 AI 运行得更快，但有一个陷阱：因为这些盒子太小，一些“大”书会被挤压、揉皱，甚至丢失书页。这种“揉皱”被称为量化误差，它会导致 AI 犯错。

问题：小盒子的“粗糙边缘”

该论文指出，NVFP4 有一个奇怪的怪癖。它只能容纳特定的尺寸：0.5、1、1.5、2、3、4 和 6。

如果一本书正好是 4 号尺寸，它能完美 fit。
如果一本书是 5 号尺寸，它就 fit 不进去。你不得不强行把它塞进 4 号盒子或 6 号盒子。
如果你强行把 5 号书塞进 4 号盒子，你会损失大量信息（它被压碎了）。如果你强行把它塞进 6 号盒子，你会浪费大量空间（它在里面晃来晃去）。

作者发现，“压碎”现象最常发生在那些几乎和最大盒子一样大的书籍上（即“近最大值”）。在标准方法中，手提箱的尺寸被设定为能容纳绝对最大的书（6 号尺寸）。但这留下了一个巨大的空隙，导致 5 号尺寸的书被严重挤压。

解决方案：“四比六”（4/6）

作者 Jack Cook 及其团队想出了一个巧妙的技巧，称为四比六（Four Over Six）。

想象你在收拾手提箱。与其强行让每一件物品都塞进一个"6 号”盒子，不如查看每一组物品。

旧方法：你假设每一组都需要一个"6 号”盒子。如果一组里有一本 5 号尺寸的书，你就把它压碎。
4/6 方法：你检查该组。如果该特定组中最大的书只有 5 号尺寸，你就说：“好吧，这一组不需要 6 号盒子。让我们改用4 号盒子吧。”

通过为该特定组切换到更小的"4 号”盒子，那本"5 号”书（相对于盒子限制而言，现在显得相对较小了）就能更舒适地 fit 进去。它不再被挤压在边缘。

类比：
把它想象成视频游戏中的角色跳跃。

标准 NVFP4：游戏假设角色可以跳高达 10 英尺。如果他们试图跳 9 英尺，游戏会将其向下舍入到 8 英尺（巨大的落差）。
4/6 方法：游戏检查特定关卡。如果最高平台只有 6 英尺高，它会将“跳跃限制”切换到 6 英尺。现在，一个 5 英尺的跳跃会被更准确地舍入到 6 英尺（或 4 英尺）。角色不会跌落那么远。

实际运作方式

该论文描述了一种智能算法，在打包每个小块数据（称为“块”）之前会进行查看：

它尝试将数据块打包进"6 号”盒子，并计算信息损失了多少。
它尝试将相同的数据块打包进"4 号”盒子，并计算损失。
它选择造成更少损害（更少误差）的那个盒子。

通常，对于包含非常大数字的数据块，"4 号”盒子是赢家，因为它能让“近最大值”的数字更好地 fit 进去。

结果

该团队在一个名为Nemotron 3 Nano（300 亿参数）的巨型 AI 模型上测试了这种方法。

训练：当他们使用 4/6 方法训练 AI 时，与标准 NVFP4 方法相比，AI 学得更好，犯错更少。它更接近于沉重缓慢的"BF16"方法的性能，但保留了 NVFP4 的速度和尺寸优势。
速度：他们表明，这种“智能打包”不会拖慢计算机。它增加了不到 15% 的额外工作量，这是为了获得更高精度所付出的微小代价。
现有模型：他们还将此方法应用于已训练的模型（如 Llama 和 Qwen）。即使没有重新训练，使用 4/6 也让这些模型在阅读理解逻辑谜题等测试中变得更聪明、更准确。

结论

该论文声称，通过更聪明地决定为不同组数据使用哪种盒子尺寸——有时使用"4"而不是"6"——你可以阻止重要信息的“压碎”。这使得低精度 AI（NVFP4）更加准确，允许我们在当前硬件上运行更大、更快的 AI 模型，而不会让它们失去“脑力”。

他们甚至发布了代码（kernels），以便其他人可以在 NVIDIA 最新的 Blackwell GPU 上使用这种“智能打包”方法。

技术摘要：四比六（4/6）

问题陈述

随着大语言模型（LLM）的规模不断扩大，业界对 NVFP4 等低精度数值格式的兴趣日益浓厚，旨在提升训练速度并降低内存占用。然而，由于精度损失会损害模型性能，将模型量化为 NVFP4 仍然充满挑战。

本工作指出的核心问题是浮点格式固有的步长不均匀性。与整数格式不同，FP4（具体为 E2M1）具有动态步长：0 到 2 之间步长为 0.5，2 到 4 之间步长为 1，4 到 6 之间步长为 2。在标准的 NVFP4 块缩放量化中，数值被缩放到 [-6, 6] 的完整范围。这导致在接近最大值处存在显著的量化间隙。具体而言，当某块的数值被缩放到 6 时，可表示的 FP4 值"4"仅对应于该块最大幅值的 66.6%。因此，任何处于该块最大幅值 66.6% 到 100% 之间的数值都无法被准确表示，从而导致这些接近最大值的数值产生巨大的量化误差。

作者对 Llama-3.1-8B 的分析表明，虽然缩放因子的量化误差影响微乎其微，但由舍入接近最大值的数值（具体而言是缩放后约为 5 的数值）所引入的误差，是导致 NVFP4 量化模型性能下降的主要驱动因素。

方法论：四比六（4/6）

本文提出了四比六（4/6），这是对 NVFP4 块缩放量化算法的一种改进，旨在减少接近最大值数值的量化误差。

核心机制

4/6 方法不再将所有块统一缩放到 FP4 的最大值 6，而是自适应地将特定块缩放到最大值 4。

标准 NVFP4（缩放因子 = 6）： 数值分布在 [-6, 6] 之间。可表示数值 4 和 6 之间的间隙为 2 个单位。
4/6（缩放因子 = 4）： 对于选定的块，数值分布在 [-4, 4] 之间。可表示数值 3 和 4 之间的间隙为 1 个单位。

通过牺牲在特定块中表示极端值 5 和 6 的能力，该方法使得在块幅值的 75%–100% 范围内，可表示数值的分布更加均匀。例如，代表块最大幅值 75% 的数值，在缩放因子为 4 的块中可以被精确表示为"3"，而在缩放因子为 6 的块中则会落入较大的误差间隙。

自适应块缩放算法

由于将所有块都缩放到 4 并非普遍有益（与缩放到 6 相比，这将使块的动态范围减少 50%），该方法采用了一种自适应选择过程：

双重量化： 对于每个块，算法对数值进行两次量化：一次使用缩放因子 6，另一次使用缩放因子 4。
误差计算： 计算这两个版本相对于原始高精度数值的量化误差。
选择规则： 算法选择能最小化误差的缩放因子（4 或 6）。本文评估了三种选择规则：
- 最小最大误差
- 最小平均绝对误差（MAE）
- 最小均方误差（MSE）
- 发现： 对于训练后量化（PTQ），MSE 效果最佳。对于预训练，MAE 表现略好。

实现细节

张量缩放调整： 为了防止当块缩放到 4 时（这需要比缩放到 6 的块大 1.5 倍的缩放因子）FP8 E4M3 缩放因子发生溢出，全局张量缩放因子 $\alpha$ 是使用最大 FP8 值 256 而非标准的 448 来计算的。
硬件效率： 该方法在 CUDA 内核中使用 NVIDIA Blackwell GPU 的 PTX 指令（cvt 系列）实现。所有中间值和误差计算均保留在寄存器文件中，以最小化内存访问开销。
开销： 作者报告称，4/6 为 NVFP4 量化内核增加的计算开销不到 15%。

关键贡献与结果

1. 预训练性能

作者在 1 万亿 token 的数据集上，使用 Nemotron 3 Nano 30B-A3B 模型架构评估了 4/6 方法。

损失降低： 与标准 NVFP4 训练方案相比，4/6 使训练损失向 BF16 基线靠近了 13.0%。
最优配置： 令人惊讶的是，仅对激活值应用 4/6 所产生的性能，与同时对激活值、权重和梯度应用 4/6 相当，同时引入了更少的计算开销。
缩放选择： 在预训练中，使用 MAE 进行缩放选择优于 MSE。

2. 训练后量化（PTQ）

该方法在 Llama 3 和 Qwen 3 模型（参数量从 1B 到 70B 不等）上进行了测试，涵盖了 WikiText-2 和 C4 困惑度指标，并结合了现有的 PTQ 方法（RTN、GPTQ、AWQ、SmoothQuant）。

普遍改进： 当与 AWQ 和 SmoothQuant 结合使用时，4/6 普遍改善了困惑度指标，分别使词困惑度向 BF16 性能靠近了 19.9% 和 5.3%。
GPTQ 交互： 在当前实现中，4/6 与 GPTQ 结合时性能略有下降，但作者指出，修改 GPTQ 优化过程以纳入 4/6 可能会在未来带来改进。
下游任务： 在 BoolQ、ARC-Easy、ARC-Challenge 和 HellaSwag 等任务上，当与 AWQ 和 SmoothQuant 结合时，4/6 在几乎所有情况下都提高了平均任务性能。

3. 效率

该实现专为现代硬件加速器（NVIDIA Blackwell）设计，确保量化误差减少带来的益处不会被过高的计算开销所抵消。

意义与主张

本文主张，4/6 是一种轻量级且高效的 NVFP4 量化算法改进，解决了浮点格式在接近最大值数值方面的特定弱点。

精度与开销： 它以极小的计算开销（<15%）实现了显著的精度提升（更接近 BF16 基线），使得 NVFP4 训练更加可行，而无需诉诸昂贵的“修复”阶段或高精度回退方案。
硬件兼容性： 该方法与当前的 NVIDIA Blackwell GPU 原生兼容，利用了现有的 NVFP4 硬件支持。
通用适用性： 虽然专注于 NVFP4，但自适应块缩放的概念被提出作为一种通用技术，用于改善块缩放浮点格式中接近最大值数值的表示，尽管作者指出，由于缩放因子精度（FP8 E8M0 与 E4M3）的差异，该方法不直接适用于 MXFP4。

作者总结认为，4/6 代表了迈向实用化的一步，使低精度 FP4 训练和推理能够适用于大规模大语言模型，在保持量化带来的速度和内存优势的同时，使性能更接近高精度基线。