💻 computer science

FP8 is All You Need (Part 1): Debunking Hardware FP64 as the HPC Holy Grail

本文认为原生 FP64 硬件对于高性能计算已不再不可或缺，并论证了像 NVIDIA B300 这样针对 AI 优化的 GPU，如何通过将 FP8 张量吞吐量与 Ozaki Scheme II 相结合，实现全 FP64 精度和内存受限性能，从而在原生双精度硅片减少的情况下超越前代产品的能力。

原作者： Satoshi Matsuoka

发布于 2026-06-08

📖 2 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Satoshi Matsuoka

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题：“高精度”悬崖

想象一下，超级计算机的世界是一个巨大的高速公路系统，旨在运送重型卡车（科学数据）。几十年来，规则一直是：“为了安全地运送这些重型卡车，你必须使用一座特定的、超强力的桥梁，叫做‘FP64’（双精度）。”

然而，这篇论文指出，新一代计算机芯片（特别是 NVIDIA 的 “Blackwell Ultra” 和 “Rubin” GPU）已经决定不再建造这些强力的桥梁。相反，它们正在建造成千上万条极其快速的微型车道，专门用于 “FP8”（一种用于 AI 的低精度格式）。

旧方式： 芯片拥有一座强力的桥（FP64），可以承载 40 吨的交通量。
新方式 (B300/Rubin)： 芯片完全拆除了这座强力的桥。它现在只有一座微小的、摇晃的步道桥（FP64），只能承载 1.3 吨，而庞大的 AI 车道（FP8）则可以承载 5,000 吨。

结果： 如果你尝试在这些新芯片上运行旧的科学软件，交通就会在微小的步道桥上发生拥堵。巨大的 AI 车道会空置并变得毫无用处。论文将此称为 “FP64 悬崖”。

解决方案：“Ozaki 方案”（神奇的翻译官）

论文提出了一个聪明的变通方法。与其试图建造一座新的强力桥梁，不如利用庞大的 AI 车道来假装自己是一座强力的桥。

这就是 Ozaki 方案 II 发挥作用的地方。你可以把它想象成一个 大师级翻译官，它使用了一种叫做“中国剩余定理”的数学技巧。

类比： 想象你需要把一段非常长且复杂的秘密信息（高精度数字）通过一条河流发送出去，但目前唯一的船很小，只能携带简短、简单的便条。
技巧： 翻译官不会一次性发送整个信息，而是将信息分解成 10 或 12 个微小的、简单的便条（余数）。
执行： 它使用快速、宽阔的 AI 车道同时发送所有 10 个便条。
重组： 在另一端，一个快速的数学公式（Garner 算法）会将这 10 个便条重新缝合在一起，还原成原始的、完美的、高精度的信息。

因为这些“便条”很简单，所以 AI 车道可以以极高的速度运送它们。论文声称，通过这种方式，你可以在保持旧有强力桥梁精度的同时，获得 AI 车道的速度。

“张量-内存平衡”（新的交通法则）

作者创建了一个名为 张量-内存平衡 (TME) 的新模型来证明其可行性。

旧观点： “如果桥梁很弱，整个系统就会变慢。”
新观点： “如果桥梁很弱，但通往桥梁的道路足够宽，我们只需要让车辆保持移动即可。”

论文表明，对于大多数科学任务（如天气模拟或流体动力学），瓶颈不在于数学计算，而在于 内存带宽（数据加载到芯片的速度）。

好消息： 新芯片拥有 极其巨大 的内存带宽。
问题所在： 旧的数学单元太慢了，无法充分利用这种带宽。
解决方法： Ozaki 方案利用快速的 AI 数学单元，在数据被加载的同时进行处理。这使得系统的运行速度能够匹配内存带宽的速度，而不是受限于那个微弱的桥梁速度。

结果：在不损失精度的前提下提速

论文在新型芯片（B300 和 Rubin）上进行了测试，并将其与上一代芯片（H100 和 B200）进行了对比。

针对“重型”数学（密集矩阵乘法）：
- 新芯片上的原生 FP64： 极其缓慢（1.3 TFLOPS）。
- 新芯片上的 Ozaki 方案： 超快（500 TFLOPS）。
- 结果： 新芯片的速度是其自身原生模式的 380 倍，也是上一代最强芯片速度的 12 倍。
针对“内存密集型”任务（Stencil、SpMV）：
- 这些任务通常受限于数据的读取速度，而非计算速度。
- 原生 FP64： 受困于那个微弱的桥梁速度。
- Ozaki 方案： 匹配了庞大的内存带宽速度。
- 结果： 新芯片的表现与旧的、“平衡型”的芯片一样出色，但提供了更多的原始动力可供其他用途。

“四层结构”安全网

论文认为，为了让这种方法适用于每种类型的科学代码，你需要一座“四层”建筑：

FP8 层： 庞大的 AI 车道（新芯片拥有充足的 FP8 资源）。
INT32 层： 用于特定数学技巧（如 FFT）的备份车道。
FP32 层： 用于简单数学的标准车道。
FP64 层： 旧的强力桥梁。

论文结论： 我们不再需要第 4 层（原生 FP64）了。前三层结合 Ozaki 翻译官，足以支撑起整座大楼。

难点：需要“施工工程”

论文承认这并非魔法；它需要 工程实现。

你不能只是插上旧软件就指望它能运行。你必须重写“管道”（内核代码）以使用这个翻译官。
一线生机： 作者认为，由于 AI 编程助手（例如用于编写本论文的工具）非常擅长转换模式，这项“施工工作”可以在数月内完成，而不是数年。

总结

论文声称，需要“原生”双精度硅片（FP64）的时代已经结束了。尽管 NVIDIA 的最新芯片已经移除了相关的硬件，但我们可以利用一种数学技巧（Ozaki 方案），将它们庞大的 AI 引擎转化为完美的双精度计算器。

底线是： 你不再需要 FP64 硅片的“圣杯”了。如果你拥有足够的 FP8 能力和正确的软件翻译器，FP8 就是你运行世界上最复杂科学模拟所需要的一切。

技术摘要：FP8 即是一切 (第一部分)

1. 问题陈述

本文探讨了高性能计算 (HPC) 硬件架构中一个关键性的分歧。虽然科学模拟（如量子色动力学、CFD、气候建模）依赖于 IEEE 754 双精度 (fp64) 算术以保证数值稳定性，但现代数据中心 GPU 正在转向低精度 AI 工作负载。

NVIDIA Blackwell Ultra (B300) 和即将推出的 Rubin (R200) 架构体现了这一转变。B300 在低精度格式（NVFP4/fp8 下为 10–15 PFLOPS）中提供了巨大的吞吐量，但其原生 fp64 张量性能却大幅萎缩至约 1.3 TFLOPS——相比 B200 出现了 30 倍的退化。这导致了两个特定的病理现象：

内存受限内核变为计算受限： B300 的“岭点”（即计算与内存限制相交的点）降至 0.16 FLOPS/Byte。因此，原本运行在内存带宽极限上的标准内存受限内核（如稀疏矩阵-向量乘法 SpMV、模板计算 Stencils 以及批处理 GEMV），现在被微弱的原生 fp64 算术单元人为地限制了上限。
闲置硅片： 在仅进行 fp64 的 HPC 工作负载期间，庞大的低精度张量核心 (fp8/NVFP4) 保持闲置状态，这代表了一种“暗硅”效率低下。

核心问题在于：原生 fp64 硅片是否仍然是 HPC 的“圣杯”，还是说丰富的 fp8 吞吐量结合算法仿真可以恢复完整的 fp64 精度与性能。

2. 方法论与分析模型

张量-内存平衡 (TME) 模型

作者引入了 张量-内存平衡 (TME) 模型，这是对经典 Roofline 模型的扩展，用于分析在低精度硬件上仿真 fp64 的性能。该模型引入了三个特定于仿真的参数：

$\alpha$ (计算乘数)： 每个高精度操作所需的低精度张量核心操作次数（例如，在基于中国剩余定理的方法中模数 $r$ 的数量）。
$\beta$ (带宽乘数)： 仿真内核相对于原生内核的数据移动比例。至关重要的是，论文指出如果分解与重构能在寄存器层面进行融合，则 $\beta$ 可以趋近于 1，这意味着仿真不会增加全局内存流量开销。
$\gamma$ (重构延迟)： 重构最终结果（例如通过 Garner 算法）的延迟成本。

Ozaki Scheme II

本文采用了基于中国剩余定理 (CRT) 的 Ozaki Scheme II 方法。不同于原始的“Ozaki I”（尾数切片法，其规模随切片数量呈二次方增长），Ozaki II 将矩阵乘法分解为基于两两互质模数的模运算。

阶段 1： 将矩阵缩放为整数。
阶段 2： 在模 $m_i$ 下执行低精度 (fp8) GEMM。
阶段 3： 使用 Garner 算法重构整数乘积并将其缩放回 fp64。

本文特别针对 fp8 张量核心 (E4M3) 对此进行了适配，利用一种量化技巧在浮点单元上仿真模运算，因为在 B300/Rubin 上，原生 int8 吞吐量已被降低优先级。

内存受限内核的实现策略

核心贡献在于识别出 寄存器级融合 (register-level fusion) 是驱动 $\beta \to 1$ 的机制。提出的实现策略包括：

将 fp64 操作数加载到共享内存中。
在寄存器内将操作数分解为残差平面 (residue planes)。
在这些残差平面上执行 $r$ 次低精度张量核心 MMA。
在写回全局内存之前，通过在寄存器中执行 Garner 算法来重构结果。
这确保了残差平面永远不会触及 HBM，从而保护了内存带宽。

3. 核心贡献

统一性能模型： 推导出了 TME 模型，该模型能够预测仿真超越原生 fp64 的交叉计算强度，并明确考虑了 $\alpha, \beta, \gamma$ 参数。
内核设计规范： 确定了寄存器级融合是内存受限内核实现正确性的必要条件。否则，带宽膨胀 ( $\beta > 1$ ) 会抵消仿真的收益。
世代预测： 对 B300 和 Rubin 进行的性能预测显示，Ozaki II + fp8 可以实现：
- 内存受限机制： 吞吐量匹配内存屋顶（例如，B300 上模板计算为 4 TFLOPS），有效地恢复了性能至退化前的水平。
- 计算受限机制： 吞吐量上限约为 500 TFLOPS (B300) 和 400 TFLOPS (Rubin)，比上一代 (B200, 40 TFLOPS) 的原生 fp64 上限高出一个数量级。
H100 基准对比： 针对 H100（最后一个 HPC 平衡型 GPU）进行了重新基准测试。论文证明，Ozaki II 在 B300/Rubin 上的表现能匹配或超过 H100 的各项工作负载，而原生 B300 fp64 在计算敏感型任务上最多退化了 50 倍。
端到端内核覆盖： 通过结合本文结果与配套的 FFT 分析 [19] 以及 BLAS-1 归约策略 (FP32 + Kahan) 进行的全面审计。审计结论认为，所有主要的 HPC 内核类别（GEMM, SpMV, 模板计算, FFT, 归约）都存在一条在 B300 上达到内存屋顶并保持全 fp64 精度的路径。

4. 结果

加速因子： 在 B300 上，Ozaki II/fp8 提供：
- 稠密 GEMM (计算受限) 约 380 倍加速。
- 批处理 GEMV (B=8) 约 24 倍加速。
- 7 点模板计算 (7-point Stencils) 约 3.1 倍加速。
- SpMV (深度内存受限) 约 1.2 倍加速。
Rubin 优势： 在 Rubin R200 上，HBM 带宽的跃升 (至 22 TB/s) 结合 Ozaki II，使其在内存受限机制下比 B300 提升了 2.75 倍，并在整个频谱范围内比 H100 提升了 6.6 倍。
基质选择： 论文确认 fp8 是 B300/Rubin 上 Ozaki II 的更优基质，因为 int8 吞吐量已出现坍塌，相比之下，fp8 在 B300 上提供了 30 倍的仿真上限优势。
精度： 只要正确选择模数数量 $r$ （通常对于 fp8， $r \approx 10$ ），仿真即可保持与原生 fp64 相当的可证明逐分量误差界限。

5. 重要性与主张

论文认为，原生 fp64 硅片的“圣杯”地位不再是可靠科学计算的先决条件。相反，丰富的 fp8 张量吞吐量与 Ozaki Scheme II 仿真 的结合，足以在整个经典 HPC 内核谱系中恢复全 fp64 精度的内存屋顶执行。

核心主张：

内存受限机制下的等效性： 仿真不会惩罚内存受限内核；通过寄存器级融合，它能实现与内存屋顶的对等，就像一个健康的、具备原生 fp64 能力的芯片一样。
计算受限机制下的优越性： 仿真性能远超上一代 (B200) 以及当前代产品的原生 fp64 单位。
战略可行性： 实现这些内核所需的工程投入现在已变得可行，其时间尺度从“数年”缩短到了“数月”，这得益于现代 AI 编程助手和算法模式的标准化。
架构启示： 未来的 GPU 设计应确保充足的 fp8 张量吞吐量以及一条回退路径（例如用于谱分析的 Kulisch INT32 子层），而不是执着于原生 fp64 张量核心。论文断言：“（配合正确的算法脚手架后）fp8 对于生产级 HPC 而言已足够。”

论文总结道，“后 fp64 时代”并非一种退步，而是一种战略性的重新对齐，通过软件定义的仿真，将 AI 优化节省下来的硅片资源转化为可用的、高精度的科学计算吞吐量。