💻 computer science

FP8 is All You Need (Part 2): Efficient Ozaki-Bailey Style FFT Through Tensor-core Garner Reformulation and Kulisch Escape Route

本文提出了“Ozaki-Bailey FFT”，这是一种通过将计算重新构建为利用 FP8 张量核心和 Kulisch 定点算术，从而在 NVIDIA Blackwell Ultra GPU 上实现全 FP64 精度的 3-D FFT 的方法，旨在克服硬件原生 FP64 吞吐量降低的问题，以达到内存带宽受限下的性能对等。

原作者： Satoshi Matsuoka

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Satoshi Matsuoka

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和创意类比对该论文进行的解释。

核心问题：失去力量的“重型起重机”

想象一下，一台高性能计算机芯片（例如新的 NVIDIA B300）就像一个巨大的建筑工地。在过去，这个工地拥有一台巨大的、超强力的起重机（FP64 向量流水线），能够以惊人的速度吊起沉重且精确的钢梁（科学计算）。

然而，新的芯片设计决定几乎完全专注于构建 AI 模型。为了给 AI 腾出空间，他们用一群小型、超快速的快递无人机（FP8 Tensor Core）替换了那台巨大的起ло起重机。这些无人机在搬运轻量包裹（AI 数据）方面表现出色，但在吊起科学工作（如天气预报或物理模拟）所需的沉重且精确的钢梁方面却表现糟糕。

结果是？这个工地在搬运轻量包裹方面极快，以至于它实际上是在等待卡车送货（内存速度）；但剩下的那几台重型起重机又太慢了，如果你试图使用它们，整个项目就会陷入停滞。

目标：搭建通往“内存屋顶”的桥梁

作者希望让科学计算的运行速度达到内存卡车能够交付数据的速度。这个速度极限被称为**“内存屋顶”（Memory Roof）**。目前，B300 芯片由于其重型起重机太弱，正卡在远低于这个屋顶的位置。

论文提出了一套巧妙的三部分建筑计划，旨在利用芯片现有的工具绕过损坏的起重机，重新达到屋顶高度。

三部分解决方案

1. “Ozaki-Bailey”策略：将钢梁拆解为砖块

与其尝试一次性吊起沉重的钢梁（一个被称为 3D FFT 的复杂 3D 数学问题），团队选择将其拆解。

类比： 想象你需要移动一座巨大且脆弱的雕像。你无法整体搬运它。相反，你把它分解成数千个可以处理的小乐高积木。
技术： 他们使用一种称为 Bailey 六步分解法 的数学技巧，将大的数学问题分解成微小的碎片。然后，他们使用 Ozaki 方案，将这些碎片转化为那些小型、快速的快递无人机（FP8 Tensor Core）可以轻松处理的“砖块”。

2. “Garner”问题：重新组装的瓶颈

一旦无人机搬运完了所有的乐高积木，你就必须把它们重新组装起来以重建雕像。

问题： 在旧的方法中（称为递归 Garner 法），重新组装这些砖块既慢又笨拙。这就像是用手去粘合一百万个微小的砖块。在新的芯片上，这个组装步骤耗时 260 毫秒，比内存卡车交付砖块的速度慢了 20 倍。这成为了新的瓶颈。
修复方法（阶段 A）： 作者意识到他们可以利用快速的无人机来进行组装过程的第一部分。他们将工作一分为二：
- 阶段 A： 快速的无人机负责初始组装的重体力活。这非常快。
- 阶段 B： 组装雕像最后且最棘手的环节。这是旧方法失败的地方。

3. “Kulisch 逃生路径”：秘密武器

这是论文中最具创意的创新点。

问题： 最后一步（阶段 B）通常需要一个非常精确、重型的计算器（FP64 流水线）来对数字进行求和。但在 B300 芯片上，这个重型计算器是损坏或缓慢的。
解决方案： 作者发现了一种可以使用芯片中并未削减的另一种工具的方法：INT32 流水线（标准的整数计算器）。
类比： 想象你需要精确统计一堆沙子的每一粒。此时“重型起重机”（FP64）坏了。但你拥有一群计数机器人（INT32），它们在进行整数加法时速度极快。
- 作者意识到，如果他们将沙粒视为简单的整数，并使用一个“宽大的水桶”（Kulisch 累加器）来接住它们，那么计数机器人就能完美地完成工作。
- 他们不需要那台损坏的重型起重机。他们只需使用快速的计数机器人进行最后的求和，然后在最后时刻才将结果倒入重型起重机中一次。
结果： 这种“Kulisch”方法使芯片能在 18 毫秒 内完成任务，这几乎与内存卡车交付数据的速度一样快。

面向未来芯片的“四层规则”

作者分析了这个过程，并为芯片设计师创建了一套规则手册，称为**“四层协同设计规则”（Four-Floor Codesign Rule）**。为了确保未来的芯片能够处理这些科学任务，必须满足以下两个条件之一：

原生层（Native Floor）： 保持重型起重机（FP64）足够强大，能够独立完成工作。
Kulisch 逃生路径： 如果你削弱了重型起重机，你必须保证计数机器人（INT32）和交付无人机（FP8）足够强大，能够共同完成这项工作。

对当前芯片的判定：

H100 和 B200： 它们拥有强大的重型起重机。它们不需要这种技巧，直接按常规方式工作即可。
Rubin（未来芯片）： 它的起重机稍弱，但仍然足以通过常规方式完成工作。
B300（问题之子）： 它的重型起重机弱了 10 倍。然而，由于其计数机器人（INT32）和交付无人机（FP8）依然强大，作者的“Kulistic 逃生路径”拯救了它。他们仍然可以高速运行这些科学任务，但前提是必须使用这种特定的软件技巧。

总结

论文的核心观点是：“如果重型起重机消失了，不要惊慌。如果你把工作拆解成小块，利用快速的无人机来搬运，并使用快速的计数机器人来进行最后的数学运算，你仍然可以达到内存卡车的速度极限。”

这证明了即使是主要为 AI 设计的芯片，只要使用正确的软件“黑科技”来绕过缺失的硬件，我们仍然可以高效地进行高精度科学计算。

技术摘要：FP8 是你唯一的选择（第二部分）

1. 问题陈述

本文探讨了 NVIDIA Blackwell Ultra (B300) 和 Rubin GPU 中的架构转变，即 FP64 向量吞吐量被大幅削减，以优先支持 AI 工作负载（FP8/FP16 Tensor Cores）。具体而言，B300 的 FP64 向量吞吐量（~1.3 TFLOPS）比 B200 低约 30 倍，不足以支撑处于内存带宽瓶颈（memory-bound）下的科学计算工作负载，例如 3D 快速傅里叶变换（FFT）。

虽然配套论文 [1] 已经证明，Ozaki-II 仿真框架可以通过将计算路由至 FP8 Tensor Cores，来恢复密集矩阵运算（GEMM、GEMV、Stencil、SpMV）的 FP64 等效吞吐量，但仍存在一个关键空白：3D FFT。FFT 呈现出一种独特的瓶颈，其重构成本（Garner 重构）的缩放方式与密集 GEMM 不同，这可能导致标准的 Ozaki-II 方法在这些“FP64 坍缩”架构上变得低效或不可行。

2. 方法论

作者提出了 Ozaki-Bailey FFT，这是一个结合了 Ozaki-II 余数系统与用于 3D FFT 的 Bailey 六步分解法的仿真框架。该方法涉及三部分的分析与重构：

A. $\gamma$ -Roof 分析

作者对 FFT 内核进行了 TME（Tensor-Memory Equilibrium）模型分析。与密集 GEMM（其中计算 $\alpha$ 项和内存 $\beta$ 项占主导）不同，在 Bailey 内维度 $k \approx \sqrt{N} = 32$ （针对 $N=1024$ ）的情况下，Garner 重构延迟 ( $\gamma$ ) 成为了主要的约束条件。

问题： 标准递归 Garner 重构在每个输出元素上需要 $O(r^2)$ 次整数运算。在 B300 上，这会导致壁时（wall time）约为 260 ms，大约比内存带宽上限（12.9 ms）慢 20 倍。
重构： 作者将 Garner 重构分解为两个阶段：
- 阶段 A： 使用尾数切片系数（forward CRT）进行内积运算，并映射到 FP8/INT8 Tensor Cores。这一步非常高效（~0.5 ms）。
- 阶段 B： 对阶段 A 结果进行逐输出归约（per-output reduction）。在朴素实现中，这一步运行在坍缩的 FP64 向量管线上，从而产生了新的瓶颈（~163 ms）。

B. Kulisch 逃生路径（阶段 B 重构）

为了在不依赖脆弱的 FP64 向量管线的情况下解决阶段 B 的瓶颈，作者调研了经典的精确累加方案。他们确定 Kulisch 固定点全算术累加器 [16, 17] 为解决方案。

机制： 归约不是通过浮点求和完成，而是使用一个宽固定点累加器（160 位，通过五个 INT32 寄存器实现）在 INT32 SIMT 管线上执行。
精度： 累加是精确的（无中间舍入）。唯一的舍入发生在最后一步，即从 160 位整数转换为 FP64 时。这保持了完整的 FP64 精度（优于产生约 11 ulp 误差的朴素 FP64 求和）。
性能： B300 的 INT32 吞吐量（~75 TOPS）比其 FP64 吞吐量高出约 58 倍。将阶段 B 路由至此处可将预计壁时降低至 ~18 ms。

C. 四层协同设计规则（Four-Floor Codesign Rule）

论文推导出了四种“带宽等效底线”（相对于内存带宽 $BHBM$ 的最小吞吐量要求），以实现 FFT 的内存上限对齐：

原生 FP64 底线： $\eta_{FP64} \ge 1.56 \cdot BHBM$ 。（B300 失败了，差距约 10 倍）。
朴素 Ozaki 阶段 B 底线： $\eta_{FP64} \ge 2.06 \cdot BHBM$ 。（仅供参考；严格来说比原生更难）。
Kulisch INT32 子底线： $\eta_{INT32} \ge 8.25 \cdot BHBM$ 。（B300 满足此项，并有 ~14% 的余量）。
FP8 Tensor-Core 底线： $\eta_{FP8} \ge 170 \cdot BHBM$ 。（B300 满足此项，并有 ~3.7 倍的余量）。

3. 核心贡献

识别 $\gamma$ -Roof： 论文指出，对于 3D FFT，在特定问题规模（ $k \approx 32$ ）下，Garner 重构成本 ( $\gamma$ ) 会成为主导瓶颈，这使得“计算/内存项决定性能”的假设失效。
Tensor-Core Garner 重构： 作者引入了将 Garner 重构拆分为阶段 A（Tensor Core）和阶段 B（SIMT）的方法，从而能够利用高吞吐量的 FP8/INT8 硬件来处理繁重的计算任务。
Kulisch 阶段 B 救援： 论文提出在 INT32 SIMT 管线上使用 Kulisch 固定点累加器来执行阶段 B 归约。这被视为一种“软件逃生路径”，允许 FP64 坍缩的 GPU 在不依赖原生 FP64 向量硬件的情况下实现完整的 FP64 精度。
四层协同设计规则： 提出了一种新的架构设计规则。为了支持后 FP64 硬件上的全 FP64 FFT，GPU 必须要么满足原生 FP64 底线，要么同时满足 FP8 Tensor-Core 底线和 Kulisch INT32 子底线。
定量预测：
- B300： 原生 FFT 为 ~124 ms；递归 Garner 为 ~260 ms；朴素阶段 B 为 ~163 ms。Kulisch 路径预计为 ~18 ms，接近 12.9 ms 的内存上限。
- Rubin： 处于原生 FP64 底线的 4% 范围内，因此无需仿真。
- H100/B200： 轻松满足原生底线。

4. 结果与主张

可行性： 论文声称，尽管 B300 的 FP64 向量管线有所削减，但仅通过软件工程（Ozaki-Bailey + Kulisch），即可实现接近内存上限的完整 FP64 3D FFT 性能。
精度： Kulisch 方法提供的精度严格优于朴素 FP64 求和（单次最终舍入 vs. 累积误差），且完全运行在 INT32 管线上。
架构启示：
- B300： 如果能高效实现 Kulisch 内核（假设 INT32 SIMT 效率为 50–70%），则对于谱方法代码是“可挽救的”。
- Rubin： 对谱方法是平衡的；仿真无法带来加速。
- 未来设计： 论文认为，原生 FP64 底线 ( $\eta \ge 1.56 \cdot BHBM$ ) 仍然是安全的采购目标。Kulisch 路径是对现有子底线架构的“救援”，但不应成为未来几代产品进一步削减 FP64 或 INT32 硅片的理由。如果两者都被削减，逃生路径将会关闭。

5. 意义

论文总结道，结合 Ozaki-II 仿真、Bailey 分解法和 Kulisch 累加器，可以为后 FP64 技术栈提供端到端的内核覆盖审计。它证明了即使在“深度坍缩”的 FP64 向量管线下，只要架构保留足够的 INT32 SIMT 吞吐量和 FP8 Tensor-Core 容量，完整的 FP64 科学计算（特别是 FFT）并不会消亡。

这项工作推动了创建 libKulisch 库的需求，以实现用于 FFT、SpMV 及其他低运算强度归约受限内核的宽累加器原语。作者强调，虽然投影结果令人鼓舞（~18 ms），但对 Kulisch 阶段 B 内核进行经验测量是验证其效率假设的下一步紧迫任务。