🤖 AI

FOCUS: FP4 Optimization via Coupled-Relaxation and Dual-Granularity Scaling

本文介绍了 FOCUS，这是一个通过采用耦合松弛缩放（Coupled-Relaxation Scaling）来将可学习的量化缩放与硬件约束解耦，并利用双粒度缩放（Dual-Granularity Scaling）实现更精细的权重自适应，从而提升大语言模型 FP4 精度，且在不增加额外推理开销的情况下达到最先进性能的后训练量化框架。

原作者： Xianglong Yan, Hong Liu, Chengzhu Bao, Tianao Zhang, Guanghua Yu, Jianchen Zhu, Yulun Zhang

发布于 2026-08-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xianglong Yan, Hong Liu, Chengzhu Bao, Tianao Zhang, Guanghua Yu, Jianchen Zhu, Yulun Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图将一座宏大、复杂的知识图书馆装进一个微小的、便携式的背包里。这就是“大语言模型”（LLMs）每天都在进行的挣扎——这些超级聪明的计算机大脑可以写故事、解数学题，并像人类一样聊天。问题在于，这些大脑过于庞大，运行它们需要消耗大量的内存和电力，这使得在日常设备上使用它们既昂贵又缓慢。为了解决这个问题，科学家们使用了一种叫做“量化”（quantization）的技巧。你可以把它想象成将一部高清 4K 电影转换成低分辨率格式，以便让它能在旧手机上播放。目标是在不丢失剧情的前提下缩小数据。最近，一种名为“FP4”的新型超微型格式出现了，它得到了现代计算机芯片的支持，承诺能将这些模型进一步压缩。然而，这里有一个陷阱：将数据压缩到如此之小往往会导致模型“遗忘”某些内容或产生混乱，从而丧失准确性。大问题在于：我们如何在不破坏其智能性的情况下，将模型压缩到这种极小的尺寸？

这篇论文介绍了一种名为 FOCUS 的巧妙新方法来解决这个精确的问题。研究人员意识到，目前缩减这些模型的方式过于僵化。想象一下你在收拾行李箱。标准规则说：“你必须使用完全相同的、预先制好的小盒子来打包你的衣服，并且你以后也必须使用这些同样的小盒子来拆包。”这篇论文认为，这种做法很愚蠢。虽然你确实需要使用小盒子来储存衣服（因为只有这样才装得进行李箱），但你并不需要使用同样的小盒子来最初决定如何折叠衣服。你可以使用一把巨大的、灵活的卷尺来规划打包过程，然后再将结果塞进小盒子里。

FOCUS 通过这种洞察力改进了模型针对微型 FP4 格式的准备工作。它引入了两个主要技巧：

耦合松弛缩放（Coupled-Relaxation Scaling, CRS）： 这是那把“灵活的卷尺”。在旧的方法中，计算机必须使用一个非常粗略、低精度的尺子来决定如何缩小数字，并且必须使用同样的粗糙尺子来重新组合它们。FOCUS 说：“让我们用一把超级精确、全尺寸的尺子来进行缩放计算，然后再将结果挤压进那个粗糙的盒子里。”这使得计算机能够在不违反微型格式规则的前提下，找到一种更好的方式来打包数据。
双粒度缩放（Dual-Granularity Scaling, DGS）： 这是关于打包更小物品的。旧方法将一整组 32 个数字视为一个大块，并为所有数字使用同一把尺子。但如果这一组中的某些数字很大而另一些很小呢？FOCUS 将这个大组拆分成更小的子组（就像把一个大披萨切成片一样），并为每一片分配一把定制的尺子。这让计算机能够适应数据的特定细节，而不是强行将其塞入一个一刀切的盒子中。

结果令人印象深刻。当研究人员在几种不同的 AI 模型（如 Qwen 和 LLaMA）上测试 FOCUS 时，它始终优于所有其他方法。例如，在名为 Qwen3-4B 的模型上，当使用 NVFP4 格式时，FOCUS 成功恢复了原始模型 98.2% 的准确性，在使用 MXFP4 时则恢复了 96.2%。与以往经常难以维持在 90% 或 94% 以上的技术相比，这是一个显著的飞跃。

至关重要的是，论文表明 FOCUS 并不会让模型变慢或变得难以使用。尽管计算机在准备模型（即“训练”或“校准”阶段）的过程中会进行额外的计算，但最终的模型运行速度与任何其他 FP4 模型一样快。在单个高端 GPU 上准备一个 Qwen3-4B 模型大约需要 19 分钟，这实际上比一些竞争方法还要快。研究人员强调，这是一种“训练后”（post-training）方法，这意味着他们不需要从头开始重新教导模型；他们只是调整了打包指令。

简而言之，FOCUS 表明，通过放宽对“如何计算”缩放的规则（同时保持最终存储格式的严格性），我们可以将这些巨大的 AI 大脑装进微小的空间，而不丢失它们的聪明才智。这有点像意识到你可以用一张大桌子完美地折叠一件衬衫，即使你最终只能把它存进一个小抽屉里。论文证明了这种方法比旧的、僵化的方式效果更好，为在目前无法处理这些模型的设备上运行强大的 AI 提供了一条路径。

技术摘要：FOCUS – 通过耦合松弛与双粒度缩放实现 FP4 优化

问题陈述

由于参数量巨大，大语言模型（LLMs）在部署时面临显著挑战，这使得高效的压缩技术变得至关重要。虽然后训练量化（PTQ）已成为一种标准方法，但将量化推向 4 位浮点数（FP4）格式（如 MXFP4 和 NVFP4）仍然困难重重。这些格式通过块级缩放方案（例如，由 32 或 16 个数值共享一个低精度缩放因子）在现代加速器（如 NVIDIA Blackwell）上提供了原生硬件支持。

然而，维持 FP4 精度下的模型准确性是一个持续存在的瓶颈。现有方法的一个关键限制在于量化缩放（ $S_q$ ）与反量化缩放（ $S_{dq}$ ）之间的紧密耦合。目前的方法强制要求这两个缩放因子都遵循相同的离散低精度硬件格式（例如，用于 MXFP4 的 E8M0）以及相同的块粒度。这是次优的，因为：

冗余约束： 只有反量化缩放（ $S_{dq}$ ）在推理过程中被存储和使用，因此它需要遵守硬件约束。而量化缩放（ $S_q$ ）仅在离线量化过程中用于确定最佳的 FP4 权重分配，在量化完成后会被丢弃，因此无需遵守这些约束。
离散优化空间： 通过强制将 $S_q$ 纳入离散的低精度格式，现有方法限制了优化景观，阻碍了基于梯度的学习寻找最优权重分配。
粒度不匹配： 单个块级缩放无法捕捉块内权重的局部变化，从而导致量化误差。

方法论

作者提出了 FOCUS，这是一个利用量化缩放的“自由度”来优化 FP4 精度且不引入推理开销的后训练量化框架。该框架从精度和粒度两个维度运行。

1. 基准：端到端缩放学习

作者首先建立了一个基准，其中模型权重保持冻结，并使用知识蒸馏损失（KL-Top）进行端到端的块级缩放学习。与传统的 PTQ 不同，该基准通过直通估计器（STE）利用梯度下降来优化缩放因子，以处理不可微的量化操作。然而，该基准仍然强制执行 $S_q = S_{dq}$ ，维持了紧密耦合。

2. 耦合松弛缩放 (CRS)

为了解决精度约束问题，FOCUS 引入了耦合松弛缩放 (Coupled-Relaxation Scaling, CRS)。

机制： CRS 通过引入一个可学习的全精度系数 $c_i$ ，将量化缩放与硬件强制格式解耦。
公式化： 量化缩放定义为 $S_q = S_{dq} \cdot c_i$ ，其中 $S_{dq}$ 是符合硬件要求的缩放因子（量化为 E4M3 或 E8M0），而 $c_i$ 是一个初始值为 1 的全精度（FP16）可学习参数。
效果： 这放宽了紧密耦合，将 $S_q$ 的优化从离散的低精度空间提升到连续的全精度空间。这使得模型能够找到更好的 FP4 权重分配，同时确保 $S_{dq}$ 符合硬件要求。系数 $c_i$ 在训练后被丢弃。

3. 双粒度缩放 (DGS)

为了解决粒度约束问题，FOCUS 引入了双粒度缩放 (Dual-Granularity Scaling, DGS)。

机制： DGS 将每个硬件块（MXFP4 为 32，NVFP4 为 16）细分为更小的子块（例如大小为 8）。每个子块都被分配一个独立的、全精度的松弛系数（ $c_k$ ）。
公式化： 子块 $k$ 的量化过程变为 $\bar{W}_k = Q(W_k / (S_{dq} \cdot c_k))$ ，而反量化缩放 $S_{dq}$ 在整个块内保持共享。
效果： 这允许量化缩放在比反量化缩放更细的粒度上运行，从而捕捉到块内单靠块级缩放无法捕捉的局部权重变化。与 CRS 一样，这些系数在训练后会被丢弃。

4. 部署与兼容性

FOCUS 不依赖于通常会带来推理开销或需要修改框架的结构化变换（如 Hadamard 旋转）。最终部署的模型严格由标准的 FP4 权重和符合硬件要求的反量化缩放组成，确保了与现有推理引擎的无缝兼容，且不会产生额外的推理成本。

核心贡献

洞察识别： 本文指出，与反量化缩放不同，量化缩放不受硬件约束，并提出在精度和粒度两个维度上利用这种自由度。
耦合松弛缩放 (CRS)： 该技术通过引入一个可学习的全精度系数，放宽了量化缩放与反量化缩放之间的耦合，实现了连续的基于梯度的优化。
双粒度缩放 (DGS)： 该方法在子块级别分配量化缩放，从而捕捉块内权重变化，而块级缩放无法表示这些变化。
达到最先进性能 (SOTA)： 大量实验表明，FOCUS 在多种 LLM 系列（Qwen, LLaMA）下，在 MXFP4 和 NVFP4 格式下均实现了 SOTA 级别的 FP4 准确率，且没有推理开销。

实验结果

作者在五种 LLM（Qwen3-4B/8B, LLaMA-3.1-8B, LLaMA-3.2-1B/3B）上使用 WikiText2、C4 以及五个零样本推理基准（ARC, HellaSwag, PIQA, Winogrande）对 FOCUS 进行了评估。

准确率恢复： 在 NVFP4 格式下的 Qwen3-4B 上，FOCUS 恢复了 98.2% 的 FP16 零样本准确率，显著优于 RTN、GPTQ、MR-GPTQ、4over6 和 RaZeR 等基准方法。
困惑度 (Perplexity)： FOCUS 在几乎所有设置下都达到了最低的困惑度。对于 Qwen3-8B，它在 WikiText2 (NVFP4) 上的困惑度达到 9.47，几乎接近 FP16 基准的 9.73。
推理能力： 在思维链任务（GSM8K, MMLU）上，FOCUS 一致地优于竞争方法，比其他 FP4 量化方法更好地保留了多步推理能力。
效率： 量化过程非常轻量。在单张 NVIDIA H20 GPU 上，量化 Qwen3-4B 仅需 19 分钟，比之前的 SOTA 方法 (MR-GPTQ) 快了 34%。

重要性与主张

本文声称，通过重新思考量化缩放的角色，FOCUS 代表了 FP4 量化领域的一种范式转变。通过认识到量化缩放不需要存储或遵循硬件约束，作者解锁了一个重要的、此前未被开发的优化空间。

其重要性在于，在保持零推理开销和无缝硬件兼容的同时，实现了 SOTA 级别的 FP4 推理准确率。与增加计算成本或需要适配框架的变换类方法不同，FOCUS 完全在缩放优化空间内运行。作者断言，他们的方法有效地弥合了 FP4 与全精度（FP16）模型之间的性能差距，使高效的 W4A4 推理在实际部署中变得更加可行。