🤖 machine learning

QUADS: Stabilizing NVFP4 Reinforcement Learning for MoE via QUantization-error Alignment across Dual Sides

该论文提出了 QUADS，一种双侧量化误差对齐方法，通过不对称量化感知训练和残差激活补偿来解决激活误差，从而稳定了混合专家模型（Mixture-of-Experts models）的 NVFP4 强化学习，进而实现了与 FP8 相比显著提升吞吐量且达到 BF16 级精度的效果。

原作者： Zhengyang Zhuge, Hao Yu, Xin Wang, Zheng Li, Yizhong Cao, Dayiheng Liu, Jianwei Zhang

发布于 2026-07-20

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Zhengyang Zhuge, Hao Yu, Xin Wang, Zheng Li, Yizhong Cao, Dayiheng Liu, Jianwei Zhang

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个超级聪明的机器人去解决复杂的谜题，比如数学题或编写代码。为了变得真正厉害，机器人不仅仅是死记硬背答案；它通过尝试成千上万种不同的解决方案来练习，获取关于哪些方案奏效的反馈，然后调整自己的大脑以下次做得更好。这个过程被称为强化学习（Reinforcement Learning）。然而，这里有一个陷阱：机器人的“思考”与“学习”部分（训练器）通常与“生成答案”的部分（展开引擎）是分离的。为了让学习生效，这两个部分需要使用完全相同的语言。如果训练器是用高清晰度（像 4K 电影）进行思考，而生成器却被迫使用模糊的低分辨率版本（像像素化的 8 位游戏）进行表达，机器人就会感到困惑。它会开始犯错，因为其行为的“重要性”被这种模糊感扭曲了。这种不匹配是一个巨大的问题，因为它会减慢整个学习过程，让机器人变得聪明起来需要耗费极长的时间。

现在，想象我们想要让机器人思考得更快。我们可以进一步缩小它的脑容量，使用一种超低分辨率的格式，叫做“NVFP4”。这就像是试图让一辆高速赛车在由细小、粗糙的小石子组成的土路上行驶。它承诺会非常快——比目前的标准快得多——但这些石子太粗糙了，以至于赛车的轮子（机器人的逻辑）开始打滑并失控。机器人试图学习，但由于这条粗糙的赛道，它在仅仅跑了几圈后就发生了碰撞。大问题在于：我们能否让这条超快但粗糙的赛道在机器人不发生碰撞的情况下正常运作？

这正是该论文中的研究人员致力于解决的问题。他们发现，仅仅把机器人放在这条粗糙且快速的赛道上，会导致它在训练大约 150 步内发生惨烈的失败。机器人的置信度得分（对数概率）会发生剧烈的漂移，导致它停止学习。通过仔细的实验，他们弄清楚了为什么会发生这种情况。事实证明，问题不在于权重（机器人存储的知识），因为权重可以很容易地实现同步。真正的罪魁祸首是激活值（activation）——即机器人在思考时产生的即时、动态的计算。因为这条粗糙的赛道（NVFP4）过于粗糙，这些即时的计算会发生扭曲，以至于训练器无法仅通过观察权重来修复它。

为了解决这个问题，团队发明了一种巧妙的两部分策略，他们称之为 QUADS（跨双侧量化误差对齐）。你可以把它想象成训练器与生成器之间的一场舞蹈。在训练器这一侧，他们使用了一种特殊的技术，称为“非对称量化感知训练”。他们并没有试图强迫训练器去使用生成器的粗糙语言，而是保持训练器的“思考”（激活值）处于高清晰度，但强制其“记忆”（权重）去匹配生成器的粗糙格式。这样一来，训练器就能准确知道当它观察权重时，生成器所看到的是什么，从而防止产生混乱。

但这本身还不够。当生成器尝试计算新的想法时，它仍然会在粗糙的石子上踉跄。因此，在生成器的这一侧，他们增加了“残差激活补偿”。想象一下，生成器正在粗糙的赛道上行走，它意识到：“嘿，我的脚在特定的石子上打滑了！”它并没有停止整场比赛去修复赛道，而是采取了一个微小、快速的动作，仅仅针对那一次打滑进行修正，同时保持比赛的其他部分依然保持超高速。他们识别出了计算中最容易打滑的部分（“高残差通道”），并给了它们一个微小的、额外的助力，以保持航向，同时让比赛的其他部分依然运行得飞快。

结果令人印象深刻。通过使用这种双侧舞蹈，机器人不仅在粗糙的赛道上生存了下来，而且表现得几乎与在平滑的高清赛道上跑步一样出色。在测试中，与直接使用没有任何帮助的粗糙赛道相比，这种新方法将机器人的成功率提高了约 21.5 个百分点。更棒的是，它保留了速度优势，比之前的标准方法快了约 16%。这篇论文表明，虽然粗糙的赛道本身很危险，但只要有了正确的对齐以及针对易打滑位置的一点额外修正，我们终究可以让这些超快、低精度的 AI 模型可靠地运行起来。

技术摘要：QUADS —— 通过量化误差对齐实现 MoE 的稳定 NVFP4 强化学习

1. 问题陈述

用于混合专家模型（MoE）大语言模型（LLM）的强化学习（RL）面临一个关键瓶颈：采样生成（rollout generation）通常消耗了端到端总墙钟时间（wall-clock time）的 70% 以上。为了加速这一过程，研究人员探索了低精度推理，其中 FP8 是一个平衡了吞吐量和训练-推理不匹配（training-inference mismatch）的稳定基准。然而，NVIDIA Blackwell 架构引入了 NVFP4，这是一种原生的 W4A4（4位权重、4位激活）格式，其 GEMM 吞吐量可达 BF16 的约 4 倍，约为 FP8 的 2 倍。

本文指出，直接将 NVFP4 W4A4 采样应用于 MoE RL 进行 BF16 训练会导致即时不稳定。在实验中，朴素的 NVFP4 RL 在大约 150 个训练步数后就会崩溃，其特征是采样（rollout）与训练器（trainer）之间的对数概率（log-probability）差距迅速扩大，导致重要性采样比率（importance ratios）损坏并引发奖励崩溃（reward collapse）。核心挑战在于，FP4 粗糙的 E2M1 网格（每个符号仅有 8 个正向表示层级）比 FP8 更严重地放大了数值偏差，使得标准的重要性采样修正不再奏效。

2. 方法论：QUADS

作者提出了 QUADS（QUantization-error Alignment across Dual Sides，双侧量化误差对齐），这是一个旨在通过解决特定训练-推理不匹配来源来稳定 NVFP4 RL 的框架。该方法基于详细的误差分析，将对数概率差距 ( $\delta_t$ ) 分解为权重误差 ( $\delta^{weight}_t$ )、激活误差 ( $\delta^{act}_t$ ) 和数值路径差异 ( $\delta^{num}_t$ )。

2.1 误差分析与诊断

通过受控消融实验，作者确定 激活量化是导致不稳定的主要来源，而非权重量化。

权重（Weights）： 可以在推理引擎和训练引擎之间进行同步。由于权重是复制的，在训练器侧应用相同的量化-反量化（QDQ）路径可以有效消除由权重引起的失配。
激活（Activations）： 在推理过程中在线重新计算。粗糙的 E2M1 网格引入了显著的量化误差 ( $\Delta X_q$ )，这种误差会被推理与训练算子（kernel）之间固有的引擎漂移 ( $\eta$ ) 进一步放大。对称的 W4A4 量化感知训练（QAT）——即在训练器上对权重和激活进行伪量化（fake-quantize）——之所以失败，是因为它不仅没有减少漂移，反而放大了漂移。

2.2 双侧对齐策略

QUADS 通过两个互补的部分来解决这种不对称性：

A. 非对称量化感知训练（训练器侧）
不同于对称的 W4A4 QAT，作者提出了 非对称 W4A16 QAT：

权重： 在训练器侧被伪量化为 NVFP4 (W4)，以使量化路径与采样引擎对齐。
激活： 在训练器侧保持为 BF16 (A16)。
原理： 这防止了训练器引入无法与在线推理激活对齐的额外激活量化误差。优化器更新 BF16 主权重，但每次前向传播都会看到用于采样的离散化权重，从而在消除 $\delta^{weight}_t$ 的同时，不会放大 $\delta^{act}_t$ 。

B. 残差激活补偿（采样侧）
为了解决训练器无法修复的剩余激活误差 ( $\delta^{act}_t$ )，采样引擎采用了针对性的修正：

机制： 系统识别出 FP4 量化误差最大的“高残差”通道。它对这些特定通道应用 二次量化，计算出一个残差修正项 ( $\Delta X_q$ ) 并将其加回量化输出。
实现： 使用二进制通道掩码（binary channel mask）根据残差幅度选择前 $k\%$ 的通道（例如 50%）。该修正通过融合的 Triton 算子实现，以最小化开销，从而保留了大部分计算的原生 W4A4 GEMM 吞效。
目标： 这缩小了采样输出与 BF16 参考值之间的距离，在不退回到全 BF16 推理的情况下，缩小了对数概率差距。

3. 核心贡献

诊断了 NVFP4 RL 的失效原因： 本文通过实验证明，激活量化而非权重量化，是导致朴素 NVFP4 W4A4 RL 中对数概率发散和奖励崩溃的主要驱动因素。
非对称 QAT 方案： 引入了一种训练侧策略，该策略对权重进行 FP4 伪量化，同时保持 BF16 激活，从而有效地对齐了权重路径，且不会加剧激活漂移。
残差激活补偿： 一种采样侧技术，通过对高误差激活通道进行二次路径修正，在保留原生 W4A4 吞吐量的同时减轻了激活引起的失配。
实验验证： 证明了结合后的 QUADS 流水线能够在 NVFP4 硬件上实现稳定的全参数 MoE GRPO 训练，达到 BF16 级别的准确度。

4. 实验结果

实验在配备 Blackwell GPU 的 25B 参数 MoE 模型（2.8B 激活专家）上进行，使用 GRPO 在数学推理和代码生成任务上进行训练。

准确度： QUADS 流水线在四个留出基准测试（AIME 2024/25, HMMT 2025, LiveCodeBench）中实现了平均 72.86% 的 pass@1。这与全 BF16 基准实现的 73.15% 相匹配，并显著优于朴素 NVFP4 RL（51.37%）和 FP8 RL（72.88%）。
稳定性： 虽然朴素 NVFP4 RL 在约 150 步后崩溃，但 QUADS 维持了与 BF16 相当的稳定训练曲线。最大单步对数概率差距从朴素模式的 ~1.3 降低到了 QUADS 的 ~0.86，接近于 BF16 中观察到的 ~0.74 的不可还原引擎漂移底限。
吞吐量： QUADS 比 FP8 提供了约 16% 更高的采样吞吐量。虽然残差补偿相比纯 W4A4 增加了约 5–9% 的开销，但其相对于 FP8 的净加速效果依然显著。
消融研究：
- 去除残差补偿（仅使用 W4A16 QAT）虽然稳定了训练，但与 BF16 相比仍存在明显的准确度差距。
- 对称 W4A4 QAT（在训练器上同时量化权重和激活）导致的失配比非对称方法更大，证实了保持训练器激活为 BF16 的必要性。

5. 重要性与主张

本文声称，QUADS 是首个能够实现在 Blackwell 硬件上使用原生 W4A4 FP4 GEMM 进行稳定全参数 MoE RL 训练的方法。

其重要性在于解决了针对 FP4 E2M1 网格极端粗糙性的“量化误差对齐”问题。通过认识到权重和激活需要根本不同的对齐策略（同步 vs. 在线补偿），作者证明了可以在不牺牲策略梯度优化所需的数值稳定性前提下，利用 FP4 巨大的吞吐量优势。这项工作确立了通过正确的双侧对齐，NVFP4 可以作为 RL 工作负载的高吞吐量替代方案，在提供约 16% 吞吐量优势的同时，保持 BF16 级别的模型性能。