テクニカルサマリー：FP8 is All You Need (Part 2)

1. 問題提起

本論文は、NVIDIAのBlackwell Ultra (B300) および Rubin GPUにおけるアーキテクチャの変化を取り上げている。そこでは、AIワークロード（FP8/FP16テンソルコア）を優先するために、FP64ベクタースループットが大幅に削減されている。具体的には、B300のFP64ベクタースループット（~1.3 TFLOPS）はB200よりも約30倍低く、3D高速フーリエ変換（FFT）のようなメモリ帯域幅の限界（メモリ・ルーフ）に依存する科学計算ワークロードを維持するには不十分である。

コンパニオン論文[1]は、Ozaki Scheme II (Ozaki-II) エミュレーションフレームワークを用いることで、計算をFP8テンソルコアにルーティングし、高密度行列演算（GEMM, GEMV, Stencils, SpMV）においてFP64と同等のスループットを回復できることを示した。しかし、決定的なギャップとして「3D FFT」が残されていた。FFTは、再構成コスト（Garner再構成）が密なGEMMとは異なるスケールで変化するという特有のボトルネックを有しており、標準的なOzaki-IIのアプローチでは、これら「FP64が崩壊した」アーキテクチャ上では非効率または実行不可能になる可能性がある。

2. メソドロジー

著者らは、Ozaki-IIの剰余数体系と、3D FFTのためのBailey 6ステップ分解法を組み合わせたエミュレーションフレームワークであるOzaki-Bailey FFTを提案している。このメソドロジーは、3部構成の分析と定式化に基づいている。

A. $\gamma$-Roof 分析

著者らは、FFTカーネルに対するTME（Tensor-Memory Equilibrium）モデルを分析している。計算（$\alpha$）とメモリ（$\beta$）の項が支配的となる密なGEMMとは異なり、Baileyの内部次元 $k \approx \sqrt{N} = 32$（$N=1024$の場合）におけるFFTケースでは、**Garner再構成レイテンシ（$\gamma$）**が拘束条件となる。

• 問題点: 標準的な再帰的Garner再構成は、出力要素ごとに $O(r^2)$ の整数演算を必要とする。B300上では、これは実行時間が約260 msとなり、メモリ・ルーフ（12.9 ms）よりも約20倍遅くなる。
• 定式化の変更: 著者らはGarner再構成を以下の2つのフェーズに分解した：
  • フェーズA: マンティッサ分割された係数を用いた内積（前方CRT）であり、FP8/INT8テンソルコアにマッピングされる。このステップは非常に効率的である（~0.5 ms）。
  • フェーズB: フェーズAの結果に対する出力ごとのリダクション。ナイーブな実装では、これは崩壊したFP64ベクタパイプ上で動作し、新たなボトルネックを生み出す（~163 ms）。

B. Kulisch 脱出経路 (フェーズBの定式化変更)

弱いFP64ベクタパイプに頼らずにフェーズBのボトルネックを解決するため、著者らは古典的な厳密累積スキームを調査した。そして、Kulischの固定小数点完全算術アキュムレータ [16, 17] を解決策として特定した。

• メカニズム: 加算には浮動小数点を用いず、INT32 SIMTパイプ上で実装された広幅の固定小数点アキュムレータ（5つのINT32レジスタによる160ビット）を用いてリダクションを行う。
• 精度: 累積は厳密である（中間での丸めが発生しない）。丸めは、最終的な160ビット整数からFP64への変換時に一度だけ行われる。これにより、フルFP64の精度が維持される（ナイーブなFP64加算では約11 ulpsのエラーが蓄積する）。
• パフォーマンス: B300のINT32スループット（75 TOPS）は、そのFP64スループットの約58倍である。ここへフェーズBをルーティングすることで、予測実行時間は18 msに短縮される。

C. 4つのフロア・コードサイン・ルール

FFTにおいてメモリ・ルーフ（$BHBM$）に並ぶ性能を得るために必要な、4つの「帯域幅・パリティ・フロア」（最小スループット要件）を導出した：

1. ネイティブFP64フロア: $\eta_{FP64} \ge 1.56 \cdot BHBM$。（B300はこれに約10倍届かない）。
2. ナイーブなOzakiフェーズBフロア: $\eta_{FP64} \ge 2.06 \cdot BHBM$。（情報提供用であり、ネイティブよりも厳格に困難）。
3. Kulisch INT32サブフロア: $\eta_{INT32} \ge 8.25 \cdot BHBM$。（B300はこれに対し約14%の余裕を持って満たしている）。
4. FP8テンソルコアフロア: $\eta_{FP8} \ge 170 \cdot BHBM$。（B300はこれに対し約3.7倍の余裕を持って満たしている）。

3. 主な貢献

1. $\gamma$-Roofの特定: 本論文は、3D FFTにおいて、特定の問題サイズ（$k \approx 32$）でGarner再構成コスト（$\gamma$）が支配的なボトルネックとなり、計算/メモリ項のみが性能を決定するという仮定を無効にすることを確立した。
2. テンソルコアによるGarnerの定式化変更: Garner再構成をフェーズA（テンソルコア）とフェーズB（SIMT）に分割することを導入し、重い処理に対して高スループットなFP8/INT8ハードウェアを利用可能にした。
3. KulischによるフェーズBの救済: INT32 SIMTパイプ上でKulischの固定小数点アキュムレータを使用することを提案した。これは、FP64が崩壊したGPUがフルFP64精度を実現するための「ソフトウェアによる脱出経路」として提示されている。
4. 4つのフロア・コードサイン・ルール: 新しいアーキテクチャ設計ルールを提案。FP64後のハードウェアで完全なFP64 FFTをサポートするには、ネイティブFP64フロアを満たすか、あるいはFP8テンソルコアフロアとKulisch INT32サブフロアの両方を満たす必要がある。
5. 定量的投影:
   • B300: ネイティブFFTは124 ms、再帰的Garnerは260 ms、ナイーブなフェーズBは163 ms。**Kulischパスは18 msを投影しており**、12.9 msのメモリ・ルーフに接近している。
   • Rubin: ネイティブFP64フロアの4%以内に位置しており、エミュレーションは不要である。
   • H100/B200: ネイティブフロアを余裕を持って満たしている。

4. 結果と主張

• 実現可能性: 本論文は、B300が、たとえFP64ベクタパイプが減少していても、ソフトウェアエンジニアリング（Ozaki-Bailey + Kulisch）を通じて、フルFP64 3D FFTにおいてメモリ・ルーフに近い性能を達成できると主張している。
• 精度: Kulisch法は、ナイーブなFP64加算よりも厳密に優れた精度（単一の最終丸め vs 蓄積エラー）を提供しつつ、完全にINT32パイプ上で動作する。
• アーキテクチャへの影響:
  • B30プト: Kulischカーネルが効率的に実装されていれば（INT32 SIMT効率が50–70%であることを前提）、スペクトルコードにとって「救済可能」である。
  • Rubin: スペクトルコードに対してバランスが取れており、エミュレーションによる加速のメリットはない。
  • 将来の設計: 論文は、**ネイティブFP64フロア（$\eta \ge 1.56 \cdot BHBM$）**が引き続き安全な調達目標であることを主張している。Kulischルートは既存のサブフロア・アーキテクチャのための「救済策」であるが、将来の世代においてFP64やINT32のシリコン削減を正当化するためのものではない。もしFP64とINT32の両方が削減されれば、脱出経路は閉ざされる。

5. 重要性

本論文は、Ozaki-IIエミュレーション、Bailey分解、およびKulischアキュムレータの組み合わせが、ポストFP64スタックに対するエンドツーエンドのカーネル・カバレッジ監査を提供することを結論づけている。これは、FP64ベクタパイプが「深く崩壊」していても、十分なINT32 SIMTスループットとFP8テンソルコア容量が保持されていれば、フルFP64の科学計算（特にFFT）が必ずしも死滅したわけではないことを示している。

本研究は、これらの広幅アキュムレータ・プリミティブをFFT、SpMV、およびその他の低演算強度・リダクション限定カーネルに実装するための libKulisch ライブラリの作成を動機づけている。著者らは、投影結果（~18 ms）は有望であるが、KulischフェーズBカーネルの経験的な測定が、効率性の仮定を検証するための次のステップであると強調している。