🤖 machine learning

Max-Window Scale Estimation for Near-Lossless HiF8 W8A8 Quantization-Aware Training

本文通过引入最大窗口尺度估计策略和BF16预热调度，识别并解决了HiF8 W8A8量化感知训练中的两种不同失效模式——最大值饱和与灾难性遗忘，从而在OpenPangu-Embedded-1B模型上实现了近乎无损的性能。

原作者： Yingying Cheng, Jinquan Shi, Li Zhou, Zhiyang He, Zhaoyi Sun, Fan Zhang, Jie Sun

发布于 2026-05-27

📖 1 分钟阅读☕ 轻松阅读

原作者： Yingying Cheng, Jinquan Shi, Li Zhou, Zhiyang He, Zhaoyi Sun, Fan Zhang, Jie Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一位博学多才、阅书无数的图书管理员（即 AI 模型），他花费数年时间将一座庞大的图书馆中的书籍全部熟记于心。现在，你希望将这座巨大的图书馆压缩，使其能装入一个微小的便携式背包（低功耗设备）中，同时不丢失其中的任何故事或事实。这个过程被称为量化（Quantization）。

这篇论文描述了一项具体实验，研究人员尝试使用一种名为HiF8（高精度浮点 8 位）的新型紧凑格式来压缩一个拥有 10 亿参数的 AI 模型。可以将 HiF8 想象为一种“智能压缩”，它在压缩其余部分的同时，保留了最关键细节的清晰度。

然而，研究人员发现，仅仅缩小图书馆是不够的。他们发现了两个隐藏的“陷阱”，即使训练过程在纸面上看起来完美无缺，这些陷阱也可能破坏模型的记忆。

以下是他们旅程的简要分解：

两个隐藏的陷阱

1. “盲点”陷阱（Amax 饱和）
想象图书管理员试图将书籍整理到书架上，但他们使用的尺子稍微短了一点。

问题所在：AI 需要知道它所看到的“最响”或“最大”的数字，以此来确定压缩的尺度。研究人员使用了一种称为*延迟张量缩放（Delayed Tensor Scaling, DTS）*的方法。这就像图书管理员看着上一本*书来猜测当前*这本书的大小。
失败之处：如果当前这本书突然变得巨大（数据出现“尖峰”），图书管理员的猜测（基于上一本书）就会太小。这本书会被“截断”或在书架边缘被切掉。
隐蔽性：AI 内部的“记分牌”（训练损失）并没有显示出这种情况的发生。这就像图书管理员说：“我整理得很好！”却在暗中撕掉书页。这种损害直到后来他们在特定测验（如 ARC 或 MMLU）上测试图书管理员的知识时才会显现。

2. “过度热情的学生”陷阱（灾难性遗忘）
想象图书管理员急于从新的一套书中学习新故事，以至于开始擦除记忆中的旧经典以腾出空间。

问题所在：研究人员使用了一个过于激进的“学习率”（学习速度）来训练模型。
失败之处：模型学习新数据的速度太快，以至于完全忘记了其在原始训练期间学到的常识和事实。
隐蔽性：这种情况发生得甚至不需要压缩。如果他们以这种高速度正常训练模型，模型依然会忘记一切。但由于他们同时也对模型进行了压缩，他们便将失败归咎于压缩，而非速度。

解决方案：两部分修复

研究人员进行了八项不同的实验，以找出如何修复这些陷阱。他们发现，只修复其中一个是不够的；必须同时修复两者。

修复方案 #1：“安全网”（最大窗口策略）
为了阻止“盲点”，他们改变了图书管理员猜测书籍大小的方式。

他们不再仅仅查看上一本书，而是告诉图书管理员查看过去 64 本书中最大的那一本。
这是一种“保守”的方法。它使书架比严格需要的稍微大一点（略微过度保守），但它保证了没有任何一本书会被截断。这小小的“额外空间”实际上帮助模型保持稳定，起到了温和的正则化作用。

修复方案 #2：“冷静期”（预热与减速学习）
为了阻止“过度热情的学生”，他们改变了训练计划。

预热：在前 500 步中，他们完全不压缩模型。他们让模型以其完整的、高质量的格式（BF16）适应新数据。这让模型在应用“背包”压缩之前，能够稳定到一个稳定的状态。
减速：他们大幅降低了学习速度（降低学习率）。这防止了模型疯狂地用新数据覆盖其旧的、有价值的知识。

结果

当他们结合这两种修复方案时，结果几乎是无损的。

压缩后的模型（HiF8）的表现几乎与未压缩的完整尺寸模型完全一致。
在困难测验上的性能下降微乎其微（在大多数情况下小于 0.5%）。
至关重要的是，他们证明了如果只使用“安全网”但保持“过度热情”的速度，模型仍然会失败。同样，如果减慢了速度但保留了“盲点”尺子，也会失败。两个修复方案都是必要的。

无效的方法（及其原因）

仅查看最后一本书：导致书籍被截断。
平滑猜测：试图对过去的书籍取平均值，但在数据发生不可预测的变化时失效。
即时检查当前书籍：这需要第二次查看数据，速度太慢，并且导致书架大小剧烈波动，使模型感到困惑。
高速训练：即使没有压缩，这也导致模型忘记一切。

核心结论

这篇论文告诉我们，在缩小一个智能 AI 模型时，不能仅仅查看“训练分数”来判断其是否有效。你必须小心如何测量数据（以避免截断）以及如何教授它（以避免遗忘）。通过使用针对数据大小的“安全网”和“缓慢而稳定”的学习节奏，你可以将一颗巨大的大脑装入一个微小的背包中，而不会使其失去理智。

技术摘要：面向近无损 HiF8 W8A8 量化感知训练的最大窗口尺度估计

问题陈述

在资源受限环境中部署大语言模型（LLM）需要激进的量化，特别是使用 8 位浮点（FP8）格式，如 HiF8（高精度浮点 8）。虽然量化感知训练（QAT）旨在使预训练模型适应低位表示，但它引入了标准训练指标（如交叉熵损失）无法察觉的细微失效模式。

具体而言，将 QAT 应用于预训练模型涉及复杂的权衡：既要保留预训练知识，又要使内部表示适应量化噪声。作者指出，标准训练损失往往无法发出退化信号，导致 HiF8 W8A8 QAT 中出现两种截然不同且正交的失效模式：

$A_{max}$ 饱和：由延迟张量缩放（DTS）的时间滞后引起，其中估计的缩放因子基于历史数据。如果当前步的真实激活最大值超过预测的缩放比例，数值将被截断，从而破坏前向激活，而直通估计器（STE）却错误地传递梯度，仿佛未发生截断一样。
灾难性遗忘：由持续预训练期间过于激进的学习率引起，这会独立于量化方案覆盖预训练的常识知识。

方法论

本研究聚焦于使用 HiF8 W8A8 格式的 OpenPangu-Embedded-1B 模型（10 亿参数）。该方法通过八个受控实验进行系统调查，以厘清性能退化的原因。

量化配置

格式：HiF8 根据数值大小采用分层尾数精度（ $|x| \le 8$ 时为 3 位， $|x| \le 128$ 时为 2 位，更大值时为 1 位）。
模块选择：为平衡效率与稳定性，仅对中间 21 个 Transformer 块中的 MLP 层（门控、上投影和下投影）进行量化。注意力投影、嵌入层、层归一化以及边界块（前 3 个和后 2 个）保持 BF16 格式，以保留异常值处理能力和输出精度。
训练协议：实验使用 FineWeb 数据集，全局批量大小为 1024，序列长度为 1024，共运行 10,000 步。

实验变量

调查的核心在于比较不同的 $A_{max}$ 估计算法 和 学习率：

$A_{max}$ 算法：
- 最近值（DTS）：使用上一步的最大值。
- 指数平滑（DTS）：使用运行平均值。
- 最大窗口（DTS）：使用过去 64 步历史窗口内的最大值。
- 当前张量缩放（CTS）：计算当前步的最大值（需要第二次前向传递）。
学习率：实验测试了 $10^{-4}$ （最初被认为对 BF16 基线是安全的）和 $10^{-5}$ 。
预热：在后续实验中引入了 500 步的 BF16 预热阶段，以稳定权重并在激活量化之前填充 $A_{max}$ 历史记录。

主要贡献

基于对失效模式的厘清，本文做出了四项主要贡献：

识别正交失效模式：作者证明 HiF8 QAT 中的基准退化源于两个独立来源： $A_{max}$ 饱和（量化特有问题）和灾难性遗忘（训练动力学问题）。关键在于，仅靠训练损失无法检测到这两者；两者仅在下游评估中显现。
保守的最大窗口策略：为解决 $A_{max}$ 饱和问题，本文提出用基于 64 步历史窗口的最大算法替换标准算法。这为观察窗口内的任何步长提供了防止由尺度引起的饱和的硬性保证。轻微的过度保守起到了有益的正则化作用。
两阶段训练协议：为缓解灾难性遗忘，作者引入了一种协议，包括 500 步 BF16 预热，随后以 $10^{-5}$ 的降低学习率进行 QAT。预热确保模型达到稳定的权重状态，并用代表性数值填充 $A_{max}$ 历史，而较低的学习率防止覆盖预训练知识。
全面的失效分析：本研究记录了先前方法失败的原因：
- 最近值 遭受 1 步延迟饱和。
- 指数平滑 在非单调激活动力学下失效。
- CTS 引入每步波动，破坏稳定的表示。
- 高学习率（ $10^{-4}$ ） 无论量化如何，都会导致显著的遗忘。

结果

最终配置（最大窗口算法 + 500 步预热 + $lr=10^{-5}$ ）与在相同学习率下训练的匹配 BF16 基线相比，实现了近无损量化：

MMLU：下降 0.43%（43.17% 对比基线 43.36%）。
HellaSwag：下降 0.58%。
ARC-Challenge：下降 0.22%。
训练损失：在 10,000 步内，HiF8 QAT 与 BF16 基线之间的平均百分比误差（APE）仅为 0.11%。

值得注意的是，实验表明单独使用任一修复措施均不足够。在 $lr=10^{-4}$ 下使用最大算法仍会导致 ARC 任务下降约 3%，原因是遗忘。反之，在标准最近值算法下使用 $lr=10^{-5}$ 仍会遭受饱和影响。

意义与主张

本文主张，预训练模型的成功 HiF8 QAT 需要同时解决尺度稳定性与学习动力学之间的相互作用。本研究的意义在于：

诊断“隐形”失效：强调标准训练损失是 QAT 质量的不足指标，因为它掩盖了仅在下游基准测试中显现的饱和和遗忘。
提供稳健解决方案：证明保守的 $A_{max}$ 估计策略结合较低的学习率和预热，可为 10 亿参数模型实现近无损性能（主要基准测试下降幅度低于 1%）。
阐明设计维度：确立 $A_{max}$ 算法和学习率的选择是关键且相互依赖的设计维度，而非孤立的超参数。

作者总结道，虽然当前配置对 10 亿参数模型有效，但未来的工作可能会探索逐层学习率、自适应预热以及增加高精度层的数量，以进一步缩小剩余差距。