🤖 machine learning

Finer is Better (with the Right Scaling)

本文通过证明该问题源于重尾分布与 FP4 格式之间的不良相互作用，解决了缩小量化块尺寸会损害大语言模型性能的悖论，并表明诸如 4-over-6 缩放和防止下溢等针对性算法干预措施，可使符合标准硬件的格式以更细粒度实现最优质量。

原作者： Clemens Schaefer, Gil Tabak

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Clemens Schaefer, Gil Tabak

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对论文《更细粒度更好（前提是缩放得当）》的解释。

核心问题：“过细”悖论

想象一下，你正在为旅行打包行李箱。你有一大堆衣服（数据），但行李箱的空间（内存）有限。为了把所有东西都装进去，你决定把衣服切成越来越小的包裹（称为块），以便更高效地整理。

直觉上你会想：“包裹切得越小，我就能装得越好，对吧？”

在人工智能领域，这被称为量化。科学家们曾试图缩小这些包裹，以使 AI 模型更小、更快。但他们遇到了一个奇怪的悖论：当他们把包裹切得太小时，AI 的表现反而变差了。 这就像是为了把衣服塞进箱子而过于小心，结果把衣服都压坏了，导致它们无法使用。

为什么会发生这种情况？

这篇论文的作者调查了为什么会出现这种“过细”悖论。他们发现了两个主要罪魁祸首：

1. “零”故障（空盒子）
想象你有一个只能装数字的盒子。如果一个数字非常小，盒子的尺子可能会把它四舍五入为零。如果你有一整包微小的数字，尺子可能会说：“好吧，这一整包都是零”，然后把整个包扔掉。

解决方法： 论文建议一个简单的规则：绝不让尺子显示零。 如果一个数字太小，就强制尺子使用最小的可能正数。这样可以保留信息。

2. “粗糙尺子”问题（粗网格）
这是更大的问题。AI 使用一种特定类型的“尺子”（称为E4M3）来测量这些包裹。这把尺子的刻度间隔非常大，尤其是在高端部分。

类比： 想象你试图用一把只有 1 英尺、2 英尺、4 英尺和 6 英尺刻度的尺子来测量山脉。
- 如果你有一座小山（一小块数据），尺子可能会强迫你将一座 5.9 英尺的小山向上舍入到 6 英尺。这是一个巨大的误差！
- 当你把包裹切得更小时，你会得到更多这种“高”数值，它们被迫落入那个笨拙的 6 英尺桶中。包裹越小，这种糟糕的舍入发生得越频繁，AI 的表现也就越差。

解决方案：他们是如何修复的？

作者测试了三种主要的修复方法，证明了更细的块确实更好，但前提是你必须使用正确的工具。

1. “不要归零”规则
他们简单地编程让系统绝不让缩放因子变为零。

结果： 这解决了极小数值的问题，但并没有解决那些被向上舍入到 6 的“高”数值的问题。

2. "4 或 6"的选择（4 优于 6 方法）
这是论文的“秘密武器”。系统不再使用一把固定的尺子，而是可以为每个包裹在两个特定设置之间进行选择：4 或 6。

类比： 想象你在打包一个箱子。有时你的物品最适合用“中号”箱子（4），有时最适合用“大号”箱子（6）。与其强迫所有东西都塞进“大号”箱子（这会压坏小东西），系统会检查：“这两个箱子中，哪一个最适合这个特定的包裹？”
结果： 这使得 AI 能够避免笨拙的舍入误差。当他们使用这种方法时，“悖论”消失了。更小的包裹突然变得好多了，就像它们本该表现的那样。

3. “蛮力”检查
为了证明他们的观点，他们运行了一次计算机搜索，尝试了每一种可能的测量包裹的方法，以找到完美的那一种。

结果： 这证明了从理论上讲，如果你选择了完美的测量方法，更小的包裹总是效果更好。之前 AI 表现不佳并不是因为小包裹不好；仅仅是因为他们使用了错误的测量方法。

现实世界测试：它在真实 AI 上有效吗？

他们在四个著名的 AI 模型（Granite、Llama、DeepSeek 和 Qwen）上测试了这一点。

问题： 正如悖论预测的那样，其中两个模型（Granite 和 Llama）在包裹变小时表现变差。
修复： 当他们应用"4 或 6"的选择和“不要归零”规则时，这些模型不再变差。事实上，随着包裹变小，它们的表现更好了。
比较： 他们还尝试使用一种更高级、更昂贵的尺子（称为UE5M3），它有更多的刻度。这也效果很好，但它需要更多的硬件算力。他们的"4 或 6"技巧使他们能够使用更便宜的标准尺子，并获得同样出色的结果。

结论

这篇论文得出结论：让 AI 模型更小、更高效（使用微小块）是一个极好的想法。 之前之所以失败，并不是这个想法本身有缺陷，而是使用的“卷尺”有缺陷。

通过使用一种更聪明的方法来选择如何测量数据（特别是"4 优于 6"方法），我们可以使 AI 模型更小、更快、更准确，而无需昂贵的新型硬件。悖论已解决：只要缩放得当，更细确实更好。

技术摘要：更细粒度更优（配合正确的缩放策略）

问题陈述
大型语言模型（LLM）在数据中心和边缘架构上的部署日益依赖超低精度格式（4 位或更少），以缓解内存和带宽瓶颈。微缩放（Microscaling）是一种将独立缩放因子应用于小块数据（例如大小为 16 或 32）的关键技术，用于在这些模式下保持模型质量。然而，文献 [1] 中最近发现的一个悖论与“更小的块尺寸能带来更低量化误差”的直观预期相矛盾。具体而言，当使用标准的绝对最大值（abs-max）缩放配合 E4M3 缩放因子时，减小块尺寸反而会导致模型质量下降，表现为更高的均方误差（MSE）和下游困惑度增加。本文旨在探究该现象背后的机制，以确定这是细粒度固有的局限性，还是一个可解决的算法问题。

方法论
作者开展了一项结合数值分析与全模型评估的两阶段研究：

数值研究：作者使用 FP4（OCP E2M1）作为数据格式、E4M3 作为缩放因子格式，分析了不同块尺寸（4、8、16、32）下的量化行为。他们采样正态分布以隔离理论上的 MSE 行为。
缩放策略：本研究评估了多种缩放方法：
- 标准 Abs-Max：基线方法，其中缩放因子为块内绝对最大值，并四舍五入为 E4M3 格式中最近的可表示值。
- 防零（Prevent-Zero）：一种修改方案，将缩放因子钳位至最小的非零可表示值（ $\epsilon_{SF}$ ），以防止下溢为零，否则会导致块内所有值坍缩为零。
- 4-over-6：一种算法干预措施 [2]，从 FP4 范围内两个最大的可表示值（4.0 和 6.0）中选择缩放因子，以最小化特定块的 MSE，从而有效调整量化几何结构。
- 暴力搜索：一种最优基线，搜索所有可能的缩放因子以找到理论最小 MSE，确立性能上限。
- 分层缩放：一个两阶段过程，涉及每个张量的全局缩放，随后是局部块缩放。
下游评估：将提出的策略应用于四个不同 LLM 的权重和激活量化（特别是 MLP 层）：Granite-3.3-8B、Llama-3.1-8B、DeepSeek-LLM-7B-Base 和 Qwen2.5-14B。性能通过与未量化基线的困惑度差距进行衡量。

主要发现与结果
研究指出，观察到的较小块尺寸导致的性能下降并非细粒度固有的缺陷，而是重尾张量分布与 FP4（E2M1）格式的粗糙上限量化桶相互作用不良的结果。

区域 A（极小缩放值）：标准 abs-max 缩放经常导致缩放因子下溢为零，造成 MSE 激增。**防零（Prevent-Zero）**调整通过强制缩放至最小正值，完全消除了这种局部误差。
区域 B（中等缩放值）：即使采取了防零措施，悖论性的反转依然存在，即较小的块导致更高的 MSE。这是因为块中的最大值往往与粗糙的 E4M3 网格对齐不佳，导致在最大幅度桶（6.0）中出现过度截断。4-over-6 方法通过自适应地在 4.0 和 6.0 的缩放因子之间进行选择来解决这一问题，使数值能够适应 FP4 范围中更均匀的部分，从而避免强烈的截断。
最优基线：暴力搜索证实，当选择理想的缩放因子时，MSE 随着块尺寸的减小而严格改善，验证了“更细粒度更优”在理论上是成立的。
模型特定行为：在下游 LLM 评估中，DeepSeek 和 Qwen 等模型表现出符合直觉的行为，即随着块尺寸减小，困惑度得到改善。相反，Granite 和 Llama 在标准缩放下的块尺寸为 4 和 8 时表现出悖论性的性能下降。
- 应用**防零（Prevent-Zero）**提供了局部改进，但未能完全解决 Granite 和 Llama 的 U 形困惑度曲线。
- 应用4-over-6显著减小了困惑度差距（例如，在块尺寸为 4 时，将 Llama 的差距从 0.725 降低至 0.270），有效消除了该悖论。
- 格式互换性：本文证明，使用标准 E4M3 缩放因子结合分层缩放和 4-over-6 策略，其结果可与使用自定义、更宽指数格式（如 UE5M3）相媲美。虽然 UE5M3 本质上提供更宽的绝对范围，但该算法配方（E4M3 + 4-over-6 + 分层）实现了相似的质量提升。

意义与主张
作者声称，通过证明性能下降是由张量分布与量化几何之间的特定相互作用而非块尺寸本身驱动的，他们已完全解决了“块尺寸悖论”。

算法解决方案：该工作确立，如果应用正确的算法配方（特别是 4-over-6 和分层缩放），标准的、符合硬件规范的格式（如 OCP E4M3）可以达到与自定义、更宽指数格式（如 UE5M3）相当的性能。
硬件权衡：本文强调了一种权衡：虽然 UE5M3 提供了更大的灵活性且无需分层缩放，但 4-over-6 算法会产生计算开销（每个块需要两次量化和 MSE 计算）。这种开销对于离线权重量化是可接受的，但对于动态激活量化可能是不可接受的。
未来方向：作者指出，当前的启发式方法仍未能达到暴力搜索所确立的理论最小 MSE，表明最优缩放选择算法的设计仍是未来研究的关键领域。

总之，本文断言，通过正确的缩放策略，可以在实践中实现更细微缩放粒度的理论优势，从而在各种 LLM 架构中实现稳健的下游困惑度改善。

核心问题：“过细”悖论

为什么会发生这种情况？

解决方案：他们是如何修复的？

现实世界测试：它在真实 AI 上有效吗？

结论

技术摘要：更细粒度更优（配合正确的缩放策略）

类似论文