💬 NLP

Is Finer Better? The Limits of Microscaling Formats in Large Language Models

本文揭示了在微缩放量化（microscaling quantization）中，减小分块大小反而可能因窄张量分布与有限尺度动态范围之间的相互作用而导致模型性能下降，并据此提出了一种用于尺度的全新 FP8 无符号 E5M3 格式，该格式在保持准确性的同时消除了对全局缩放操作的需求。

原作者： Andrea Fasoli, Monodeep Kar, Chi-Chun Liu, Swagath Venkataramani, Viji Srinivasan, Leland Chang, Naigang Wang

发布于 2026-01-28

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Andrea Fasoli, Monodeep Kar, Chi-Chun Liu, Swagath Venkataramani, Viji Srinivasan, Leland Chang, Naigang Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：缩小模型规模

想象一下，大型语言模型（LLM）就像一座巨大的知识图书馆。为了让这座图书馆能装进一个小背包里（以便在手机上快速运行或节省能源），科学家们一直试图缩小书本的大小。他们通过“量化”（Quantization）数据来实现这一点，也就是将数字进行舍入处理，使用更少的比特（例如将“3.14”简写为“3”）。

最近，一种被称为**微缩放（Microscaling）**的新技术变得流行起来。与其用一把大尺子去测量整个图书馆，不如为每一小组书专门准备一把精细的小尺子。其逻辑是：“小组规模越小，我们测量其中书籍的精度就越高。”

意外发现：并非越小越好

这项研究中的研究人员发现了一个奇怪的故障。他们原以为缩小分组（或称“块/blocks”）的规模总会让模型变得更聪明，但他们发现对于某些模型，情况却恰恰相反。

类比：刻度缺失的尺子
想象你正在测量一颗非常小的鹅卵石。

旧方法： 你使用一把每英寸有一个刻度的巨大尺子。你无法很好地测量这颗鹅砾石，所以只能靠猜。
新方法（微缩放）： 你换了一把完美契合这颗鹅卵石的小尺子。这应该会更好，对吧？
问题所在： 这把小尺子有一个缺陷。它的“零点”和最小刻度之间的距离太大了。如果鹅卵石太小，尺子根本看不见它。它只会说：“那是零。”

研究发现，当数据的“块”变得过小时，用于测量它们的“尺子”（称为缩放因子/scale）就会失去精度。它无法再表示极小的数字。因此，尽管你测量的是更小的组，但由于尺子对于如此微小的物体显得过于笨拙，你实际上丢失了更多的信息。

这导致了一个作者称之为**“困惑度反转”（Perplexity Inversion）**的现象。通常情况下，随着分组规模的缩小，模型会变得更好；但由于这个故障，一旦块的大小变得过小，模型的表现就会突然变差。

为什么会发生这种情况？

研究人员深入研究了数学原理，找到了罪魁祸首：缩放因子（The Scale）。

在这个系统中，每一组数字都有一个“缩放因子”数字，它告诉计算机该组数字的大小。

宽泛的分组： 如果一组数字中既有大数也有小数，缩放因子就很大。尺子工作正常。
狭窄的分组： 如果一组数字全是极小的数字（例如 0.0001），缩放因子也必须极小才能精确测量它们。
故障点： 当前的硬件使用一种特定类型的尺子（称为 FP8 E4M3），它具有有限的范围。它无法处理过小的缩放因子。当块的大小缩小到一定程度时，其中的数字变得如此之小，以至于尺子的“最小设置”仍然太大。计算机会将所有内容向下取整为零，导致模型遗忘了这些信息。

解决方案：一把更好的尺子

作者们不仅指出了问题，还构建了一个更好的工具来修复它。

他们提出了一种新的格式，称为 FP8 无符号 E5M3 (UE5M3)。

修复方案： 想象旧尺子有 4 个用于“大小”（指数/exponent）的刻度，以及 3 个用于“细节”（尾数/mantissa）的刻度。
升级版： 他们利用了一个未使用的位（一个微小的开关），并将其变成了一个额外的“大小”刻度。现在，这把尺子拥有 5 个大小刻度和 3 个细节刻度。

为什么这有效：
这把新尺子可以测量更小的数字，而不会将其舍入为零。它延伸了尺子的“底部”，使其能够清晰地看到那些微小的鹅卵石。

实验结果

研究人员在多个 AI 模型（如 Llama 和 Granite）上测试了这种新尺子。

没有修复前： 当他们减小块的大小到极小时，模型会变得混乱并犯更多错误。
使用新尺子 (UE5M3)： 模型即使在极小的块下也能保持准确。事实上，它的表现与一种复杂的权宜之计（即需要手动拉伸数字后再进行测量）不相上下，而且不需要那个额外且昂贵的步骤。

总结

这篇论文告诉我们，在 AI 压缩领域，并非越小越好。如果你把数据分组缩得太小，你可能会损坏用来读取它们的测量工具。通过简单地调整测量工具的设计（增加一个额外的比特范围），他们修复了这个故障，使得 AI 模型可以在不损失智能的前提下，实现更高效的压缩。

技术摘要：更细粒度一定更好吗？大语言模型中微缩放格式的极限

问题陈述

随着大语言模型（LLMs）在规模和上下文长度上的持续扩张，降低数值精度已成为实现高效训练与推理的关键。虽然硬件厂商已从 FP16 转向 FP8，并正向 FP4 迈进，但将精度降至 8 位以下往往会导致显著的精度下降，尤其是在权重和激活值同时进行量化的情况下。

微缩放格式（如 MXFP4、NVFP4）通过将张量划分为共享单一缩放因子的微小块来解决这一问题。这使得模型能够在实现比逐张量（per-tensor）或逐通道（per-channel）量化更精细控制的同时，实现激进的压缩。然而，行业趋势正朝着更小的块尺寸方向发展，以最小化量化误差。

本文识别出一种反直觉的现象：将块尺寸降低到某一阈值以下，反而可能 paradoxically（矛盾地）增加量化误差并导致模型性能（困惑度/perplexity）下降。 这种“困惑度反转”现象违背了“更小的块尺寸能带来更好的张量表示”这一标准预期。作者研究了这种现象为何发生（特别是在使用 FP8 无符号 E4M3 缩放因子时），并提出了一种硬件友好的解决方案。

研究方法

作者采用了一种结合了预训练模型实验分析与严谨理论框架的双重研究方法。

1. 实验分析

困惑度差距监测： 作者测量了多种模型（如 Granite-3.3-8b、Llama-3.1-8b、Mixtral-8x7b）在不同块尺寸（从 256 降至 8）下，FP4 微缩放模型与 16 位基准模型之间的困惑度差距。
误差分解： 他们在逐块（per-block）和逐张量（per-tensor）层面分析了均方误差（MSE）。通过对比不同块尺寸（例如 8 对比 16），他们隔离出了那些较小块尺寸反而导致更高 MSE 的实例。
分布相关性： 研究将 MSE 与权重分布的标准差 ( $\sigma$ ) 进行了关联。他们观察到，具有窄权重分布（低 $\sigma$ ）的模型在使用 UE4M3 缩放因子时，更容易受到误差反转的影响。

2. 理论框架

为了解释这一异常现象，作者推导出了微缩放量化的 MSE 理论模型：

理想分布： 他们验证了预训练模型的权重高度遵循正态分布（ $\mu=0$ ，变量 $\sigma$ ）。
误差来源： 该框架将总 MSE 分解为三个独立的贡献项：
1. 非最大元素误差： 量化非最大元素 $x_i \neq x_{max}$ 时产生的误差。
2. 最大元素误差： 量化块最大值 $x_{max}$ 本身时产生的误差（当缩放因子被量化时，该值不为零）。
3. 零舍入误差： 当块最大值低于可表示的最小缩放值时，导致块内所有元素都舍入为零时产生的误差。
缩放因子量化影响： 理论表明，对于窄分布（小 $\sigma$ ），由于无法精确表示极小的非零缩放因子，缩放因子的量化误差将主导总误差。随着块尺寸减小，遇到这些“窄块”的概率增加，而 UE4M3 缩放因子有限的动态范围（最小非零值为 $2^{-9}$ ）无法表示它们，从而导致了观察到的误差反转。

核心贡献

发现困惑度反转： 本文识别并表征了一种特定异常，即在 FP4 微缩放格式（使用 FP8 UE4M3 缩放因子）中，降低块尺寸会增加具有窄权重分布模型的量化误差。
理论框架： 作者提供了一个基于第一性原理的数学框架，该框架能够解耦量化误差来源。该框架能准确预测何时较小的块尺寸会变得有害，其预测的交叉点与来自理想正态分布及真实预训练模型的实验数据高度吻合。
硬件友好的解决方案 (UE5M3)： 基于“缩放因子的有限动态范围是根源”这一洞察，作者建议使用 FP8 无符号 E5M3 (UE5M3) 作为缩放因子。
- UE5M3 通过重新利用标准 UE4M3 格式中未使用的符号位来扩展指数范围。
- 这将最小非零可表示缩放值从 $2^{-9}$ (UE4M3) 降低到了 $2^{-17}$ (UE5M3)，从而无需全局逐张量缩放即可精确表示窄块。
- 作者证明，由于该方案利用了现有的 E5M2 和 E4M3 格式逻辑，因此对硬件改动极小。

结果

实验验证： MSE 与 $\sigma$ 的理论曲线与实验数据高度匹配（ $\chi^2 \approx 4 \cdot 10^{-8}$ ）。该模型准确预测了像 Granite-3.3-8b（窄分布）这样的模型会在块尺寸为 16 时发生反转，而 Llama-2-7b（宽分布）则不会。
UE5M3 的性能：
- 将 UE5M3 缩放因子应用于 FP4 微缩放，消除了在使用 UE4M3 时观察到的困惑度反转现象。
- 准确度： 在一系列基准测试（Wiki, PIQA, HellaSwag, Winogrande, GSM8K, MMLU）中，UE5M3 达到了与传统的带有逐张量缩放的 UE4M3 格式 (UE4M3-S) 相当甚至更好的性能。
- 效率： 不同于需要动态逐张量缩放（增加计算成本或需要预校准）的 UE4M3-S，UE5M3 在无需全局缩放操作的情况下即可运行，保持了硬件效率。
- 鲁棒性： 该解决方案在包括注意力机制 LLM、状态空间模型 (SSM) 及混合模型在内的各种架构中均表现稳健。

意义与主张

本文指出，微缩放中“越细越好”的假设存在一个基本极限，该极限是由窄张量分布与量化缩放因子有限动态范围之间的相互作用驱动的。

关键洞察： 这种异常并非微缩放概念本身的缺陷，而是当前标准（UE4M3 缩放因子）在应用于特定数据分布时的特定局限性。
实际影响： 提出的 UE5M3 格式为释放亚 8 位精度（特别是 FP4）的全部潜力提供了路径，避免了与较小块尺寸相关的精度损失。
硬件可行性： 作者强调其解决方案是“硬件友好”的，仅需对现有 AI 加速器设计进行微调（扩展一位指数逻辑），而非进行全面的架构重构。

这项工作为硬件厂商和模型开发者提供了指南，以避免在下一代量化格式中陷入精度陷阱，并提供了一个用于分析进一步降低精度（例如，降至亚 4 位元素或亚 8 位缩放）影响的理论工具。