🤖 AI

Rethinking Shrinkage Bias in LLM FP4 Pretraining: Geometric Origin, Systemic Impact, and UFP4 Recipe

本文识别了非均匀 E2M1 FP4 格式中导致训练不稳定的根本性“收缩偏差”（Shrinkage Bias），并提出了 UFP4，一种利用随机哈达玛变换（Random Hadamard Transform）来实现优于现有基于 E2M1 方法的各种模型规模预训练性能的均匀 4 位（E1M2/INT4）训练方案。

原作者： Qian Zhao, Kunlong Chen, Changxin Tian, Zhonghui Jiang, Haitao Zhang, Chaofan Yu, Peijie Jiang, Mingliang Gong, Jia Liu, Ziqi Liu, Zhiqiang Zhang, Jun Zhou

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qian Zhao, Kunlong Chen, Changxin Tian, Zhonghui Jiang, Haitao Zhang, Chaofan Yu, Peijie Jiang, Mingliang Gong, Jia Liu, Ziqi Liu, Zhiqiang Zhang, Jun Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图建造一座巨大且极其复杂的乐高城堡（大型语言模型）。为了让建造过程更快、更便宜，你决定不再使用标准的、沉重且精确的积木，而是改用一种全新的、超轻量级的微型 4-bit 积木。

问题在于，目前的“标准”轻量级积木（被称为 E2M1）具有一种奇怪且不对称的形状。本文的作者发现，这些积木有一个隐藏的缺陷：它们每次使用时都会自然地使事物稍微缩小。

以下是他们发现和解决方案的简单解析：

1. 问题所在：“缩水”的积木

把标准的 E2M1 积木想象成具有不均匀间距。有些积木之间的缝隙非常小，而另一些则非常大。

缺陷： 由于这种间距不均，当你尝试将一段数据嵌入到这些积木中时，数学运算会迫使它更多地向下取整而非向上取整。
结果： 这产生了一种“收缩偏差”（Shrinkage Bias）。这就像一个漏水的桶；每当你让一条信息通过模型的每一层时，这条信息就会变得稍微小一点、弱一点。
复合效应： 在一个拥有数百层的深度模型中，这种微小的收缩会反复发生。当信息到达末端时，由于它已经收缩得太多，导致模型开始失去控制（训练变得不稳定）。

2. 让问题恶化的“神奇旋转”

为了解决数据过大或过于奇特（离群值）的问题，工程师们使用了一种名为**随机哈达玛变换（Random Hadamard Transform, RHT）**的技巧。

类比： 想象你有一堆沙子，其中大部分集中在一个巨大的沙堆里（离群值）。RHT 就像一个搅拌器，它将沙子旋转并均匀地铺开在整个托盘上。
冲突： 当你搅拌沙子（RHT）然后试图将其放入不对称的 E2M1 积木中时，沙子恰好落在了最糟糕的缝隙里。这些间距不均的积木抓住了混合后的沙子，使其比之前收缩得更加严重。论文发现，这种标准配方实际上通过使用这个搅拌器，让“漏水桶”的问题变得更糟了。

3. 解决方案：“均匀”的积木 (UFP4)

作者提出了一种名为 UFP4 的新配方。他们不再使用不对称的 E2M1 积木，而是使用一种名为 E1M2/INT4 的新积木。

区别： 这些新积木是完全均匀的。它们之间的间隙大小完全一致。
为什么有效： 因为间隙是均匀的，所以不存在“收缩偏差”。当“混合后的沙子”（RHT 数据）落在这些均匀的积木中时，它能完美契合，不会损失任何尺寸。
策略： 有了这些新的均匀积木，作者意识到他们可以在构建过程的每一个环节（前向传播、反向传播和权重更新）中安全地使用“搅拌器”（RMT）。此前，他们必须非常小心，只能在某一个地方使用搅拌器以避免破坏模型。现在，他们可以在所有地方使用它。

4. 证明

团队在三种不同规模的 AI 模型（小型、中型和巨型）上测试了这种新配方。

结果： 使用这种新型 UFP4（均匀积木）构建的模型，比使用旧的 E2M1（不对称积木）构建的模型，更接近于沉重的标准积木（BF16）的表现。
核心结论： 均匀的网格让模型能够训练得更久、更稳定，而不会丢失信号。

总结

该论文认为，业界一直试图通过修补漏洞来修复漏水的桶，但问题在于桶本身的形状不对。通过切换到一个具有完美均匀间距的桶（均匀网格），我们终于可以安全地使用那些此前过于危险的强大混合工具（RHT），从而实现更快、更便宜且更稳定的 AI 训练。

底线： 不要仅仅修补旧的、不对称的 4-bit 格式；要切换到一种新的、均匀的 4-bit 格式，以防止信号萎缩消失。

核心要点： 不要只修补旧的、不对称的 4-bit 格式；要切换到一种新的、均匀的 4-bit 格式，以停止信号的收缩。

技术摘要：重新思考 LLM FP4 预训练中的收缩偏差 (Shrinkage Bias)

问题陈述

随着大语言模型（LLMs）规模的扩大，预训练的计算和内存成本迫使研究转向更低精度的格式。虽然 FP8 已被广泛采用，但新兴硬件（如 NVIDIA Blackwell/Rubin, AMD MI350）已支持原生 FP4 计算。目前的 FP4 训练方案（如 NVFP4）主要依赖于 E2M1 格式（2 位指数，1 位尾数）并结合 随机哈达玛变换 (Random Hadamard Transform, RHT) 来缓解离群值敏感性。

然而，这些基于 E2M1 的方案存在训练不稳定和相对于 BF16 基准显著的损失退化问题。本文识别出了一个基本且此前被忽视的局限性：收缩偏差 (Shrinkage Bias)。这是一种在非均匀量化格式（如 E2M1）中固有的系统性负向舍入误差。E2M1 的几何不对称性导致其可表示的数值区间（bins）存在几何不对称，从而在采用“舍入到最近偶数 (Round-to-Nearest-Even, RTNE)”规则时产生持续的“收缩”。至关重要的是，本文指出，虽然 RHT 旨在分散离群值并提高码本利用率，但它会无意中加剧 E2M1 中的这种偏差，因为它将张量质量转移到了该格式不对称性最显著的中等幅度区域，从而导致深层网络中出现乘法性的信号衰减。

方法论

1. 收缩偏差的理论分析

作者将收缩偏差形式化为由 RTNE 区间的几何不对称性导致的归一化幅度空间中的负期望误差。

几何起源： 在像 E2M1 这样的非均匀网格中，可表示值的间距是变化的（例如，从 0.5 到 1.0 再到 1.5）。对于一个能级 $q_i$ ，其左侧和右侧的区间宽度 ( $\ell_i$ 和 $r_i$ ) 通常是不等的。如果 $r_i > \ell_i$ ，则在均匀局部密度下的条件期望误差为负（ $\frac{\ell_i - r_i}{2} < 0$ ）。
系统性影响： 不同于可以相互抵消的零均值噪声，这种偏差表现为矩阵乘法 (GEMMs) 中的系统性衰减因子 ( $\alpha < 1$ )。在 $K$ 层网络中，这些因子会发生乘法累积 ( $\prod \alpha_k \approx \exp(-\sum \delta_k)$ )，导致系统性的信号衰减。
与 RHT 的交互： RHT 将张量从“动态范围受限”转变为“局部分辨率受限”。虽然这提高了桶利用率 (bucket utilization)，但它也将数据强行推入了 E2M1 不对称性最明显的中间幅度区域，从而放大了收缩偏差。

2. UFP4 方案

基于“均匀网格可以绕过这种几何误差”的发现，作者提出了 UFP4 (Uniform FP4)，这是一种基于 E1M2/INT4 式均匀网格 的训练方案。

均匀网格： 与 E2M1 不同，E1M2 网格保持了能级之间的等距特性 ( $\ell_i = r_i$ )，消除了几何误差的来源。
全覆盖 RHT： 由于均匀网格是无偏的，UFP4 可以安全地将 RHT 应用于所有三个训练 GEMM 路径：前向传播 (FPROP)、数据梯度 (DGRAD) 和权重梯度 (WGRAD)。之前的 E2M1 方案为了避免在非叶节点路径中复合误差，仅将 RHT 限制在权重梯度路径上。
随机舍入 (Stochastic Rounding, SR)： SR 仅应用于上游梯度 ($dY$) 以保持梯度期望，而其他地方则使用 RTNE。

核心贡献

识别收缩偏差： 本文正式定义并证明了非均匀格式 (E2M1) 由于几何不对称性，本质上存在系统性的负向舍入误差，这与分布诱导的量化误差不同。
统一解释不稳定性： 它为现有的基于 E2M1 的方案中的训练不稳定性提供了理论和实证解释，展示了收缩偏差是如何通过乘法累积并被 RHT 加剧的。
提出 UFP4： 一种利用均匀网格 (E1M2/INT4) 的新型 4 位训练方案，该方案能够实现全覆盖的 RHT，从而将改进的桶利用率转化为更高的量化质量。
工业级验证： 该方法在 Dense 1.5B、MoE 7.9B 和 MoE 124B 模型上得到了验证，证明了均匀网格是切实可行的 FP4 训练首选格式。

实验结果

量化与 GEMM 诊断

RHT 的效果： 对于离群值密集的张量，RHT 显著提高了两种格式的有效桶比例。然而，由此产生的信号与量化噪声比 (SQNR) 出现了分歧：E1M2 在 RHT 后显示出 SQNR 的提升，而 E2M1 则经常出现退化（负 $\Delta$ SQNR），因为偏移后的数据落入了不对称的区间。
GEMM 输出： 在单 GEMM 测试中，E1M2 在配合 RHT 时在前向和后向路径中都能保持或提高输出 SQNR，而 E2M1 则会出现性能下降，尤其是在后向路径中。

端到端预训练

损失退化： 在长程预训练任务中，UFP4 (E1M2) 相比于强力的 E2M1 基准，始终能实现更低的相对于 BF16 的损失退化。
- Dense 1.5B： 相对误差从 1.2570% (E2M1) 降低到 0.9673% (UFP4)。
- MoE 7.9B： 从 2.3596% 降低到 1.8469%。
- MoE 124B： 从 1.7308% 降低到 1.3863%。
缩放法则 (Scaling Laws)： UFP4 的优势在不同模型规模（10M 到 324M 参数）下依然存在。拟合的损失曲线显示，E1M2 与 BF16 之间的差距小于 E2M1，且 FP4 带来的惩罚并不随计算规模的增加而增长。
消融实验：
- RHT 作用范围： 全覆盖 RHT（针对所有三个 GEMM）使 UFP4 表现最佳；相比之下，限制 RHT（如 E2M1 方案中所做）会限制性能。
- 范围限制： 尝试通过限制 E2M1 的动态范围（例如限制最大值）来模拟均匀网格的方法失败了，无法达到原生 E1M2 的性能，因为这种方法在牺牲动态范围的同时并未能完全消除偏差。

效率

算子融合 (Kernel Fusion)： 作者证明了 RHT 可以高效地与 FP4 量化进行融合。在测试硬件 (SM90/SM100) 上，融合后的 RHT+量化延迟仅为独立量化延迟的 ~1.06x–1.07x，而未融合实现的延迟约为 ~1.4x–1.6x。

意义与主张

本文认为，目前将 E2M1 视为唯一可行 FP4 训练格式的行业标准是次优的，因为它存在几何局限性。这项工作的意义在于：

挑战现状： 它建议未来的机器学习加速器应将 E1M2/INT4 式的均匀 4 位网格 作为与 E2M1 并列的一等公民训练原语进行支持，而非仅仅依赖 E2M1。
格式与机制的不匹配： 它强调了诸如 RHT 之类的离群值缓解技术的有效性取决于底层的网格几何结构。RHT 对均匀网格是有益的，但对于深层训练过程中的非均匀网格则是具有破坏性的。
实用的方案： UFP4 提供了一个具体的、可扩展的方案，通过将网格几何结构与 post-RHT 张量分布对齐，在无需复杂估计器修改的情况下，缩小了 FP4 与 BF16 训练之间的差距。

作者总结道，虽然 E2M1 仍适用于对动态范围要求有限的工作负载和推理场景，但训练硬件应当演进以支持均匀网格，从而充分释放 FP4 预训练的潜力。