💻 computer science

FP8 is All You Need (Part 1): Debunking Hardware FP64 as the HPC Holy Grail

本論文は、ネイティブなFP64ハードウェアはもはやハイパフォーマンスコンピューティングに不可欠ではないと論じており、NVIDIAのB300のようなAI最適化GPUが、FP8テンソル・スループットとOzaki Scheme IIを組み合わせることで、FP64の精度とメモリ帯域制限による性能を達成し、それによってネイティブな倍精度演算用のシリコンが減少したにもかかわらず、前世代の能力を凌駕できることを実証している。

原著者： Satoshi Matsuoka

公開日 2026-06-08

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Satoshi Matsuoka

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

論文「FP8 is All You Need (Part 1)」の解説

大きな問題：「高精度」の崖

スーパーコンピュータの世界を、重いトラック（科学データ）を運ぶために設計された巨大な高速道路システムだと想像してください。数十年の間、ルールはこうでした。「これらの重いトラックを安全に運ぶには、『FP64』（倍精度）と呼ばれる特定の非常に強固な橋を使わなければならない」。

しかし、この論文は、次世代のコンピュータチップ（具体的にはNVIDIAの「Blackwell Ultra」および「Rubin」GPU）が、この強固な橋を作るのをやめることに決めたと主張しています。その代わりに、彼らは「FP8」（AIで使用される低精度フォーマット）のための、数千もの小さく、信じられないほど速いレーンを建設しています。

旧来のやり方： チップには、40トンの交通量を処理できる強力な橋（FP64）がありました。
新しいやり方（B300/Rubin）： チップから強力な橋が完全に撤去されました。現在は、わずか1.3トンしか耐えられない小さな、ぐらつく歩道橋（FP64）がある一方で、巨大なAIレーン（FP8）は5,000トンを運ぶことができます。

結果： もしこれらの新しいチップで古い科学用ソフトウェアを実行しようとすると、交通は小さな歩道橋で渋滞します。巨大なAIレーンは空いたまま、使い物にならなくなります。論文ではこれを「FP解像度の崖（FP64 Cliff）」と呼んでいます。

解決策：「Ozakiスキーム」（魔法の翻訳機）

論文は、巧妙な回避策を提案しています。新しい強力な橋を建設しようとするのではなく、巨大なAIレーンを使って、あたかも強力な橋であるかのように「見せかける」方法です。

ここでOzaki Scheme IIが登場します。これは、「中国剰余定理」と呼ばれる数学的トリックを用いたマスター翻訳機のようなものです。

比喩： 非常に長く複雑な秘密のメッセージ（高精度な数値）を川の向こう側に送る必要がありますが、利用できる船は小さく、短い単純なメモしか運べないと想像してください。
トリック： 翻訳者は、メッセージを一度に送るのではなく、10個または12個の小さな単純なメモ（剰余）に分解します。
実行： 10個のメモすべてを、高速で広いAIレーンを使用して同時に川の向こう側へ送ります。
再構築： 反対側では、素早い数学公式（ガーナーのアルゴリズム）が、10個のメモを元の完璧な高精度メッセージへと縫い合わせます。

「メモ」は単純であるため、AIレーンは驚異的なスピードでそれらを運ぶことができます。論文によれば、これを行うことで、AIレーンのスピードを維持しながら、かつての強力な橋のような精度を得ることができるといいます。

「テンソル・メモリ平衡」（新しい交通法）

著者らは、これが機能することを証明するために、**テンソル・メモリ平衡（Tensor-Memory Equilibrium: TME）**という新しいモデルを作成しました。

旧来の視点： 「橋が弱いなら、システム全体が遅くなる。」
新しい視点： 「橋が弱くても、そこに至る道路さえ十分に広ければ、車を動かし続けることはできる。」

論文は、ほとんどの科学的タスク（気象シミュレーションや流体力学など）において、ボトルネックは計算ではなく、メモリ帯域幅（データをチップにロードする速さ）であることを示しています。

朗報： 新しいチップは、極めて巨大なメモリ帯域幅を持っています。
落とし穴： 古い計算ユニットは、その帯域幅を活用するには遅すぎました。
修正策： Ozakiスキームは、データをロードしている間に、高速なAI計算ユニットを使用してデータを処理します。これにより、システムは「弱い橋」の速度ではなく、「メモリ帯域幅」の速度で動作できるようになります。

結果：精度を失うことなくスピードアップ

論文は、新しいチップ（B300およびRubin）の数値を算出し、前世代（H100およびB200）と比較しています。

「重い」数学（高密度行列乗算）の場合：
- 新チップでのネイティブFP64： 極めて遅い（1.3 TFLOPS）。
- 新チップでのOzakiスキーム： 超高速（500 TFLOPS）。
- 結果： 新しいチップは、自身のネイティブモードよりも380倍速く、前世代の最高性能のチップよりも12倍速い。
「メモリ負荷が高い」タスク（ステンシル、SpMV）の場合：
- これらのタスクは通常、計算の速さではなく、データの読み込み速度によって制限されます。
- ネイティブFP64： 弱い橋の速度に足止めされます。
- Ozakiスキーム： 巨大なメモリ帯域幅の速度に一致します。
- 結果： 新しいチップは、従来の「バランスの取れた」チップと同等の性能を発揮しながら、より多くの生のパワーを利用可能です。

「4階建て」のセーフティネット

論文は、あらゆる種類の科学コードでこれを実現するためには、「4階建て」のビルが必要であると主張しています。

FP8フロア： 巨大なAIレーン（新しいチップが豊富に持っているもの）。
INT32フロア： 特定の数学的トリック（FFT）のためのバックアップレーン。
FP32フロア： 標準的な単純計算用のレーン。
FP64フロア： 旧来の強力な橋。

論文の結論： 私たちはもう、第4階（ネイティブFP64）を必要としません。最初の3つのフロアとOzaki翻訳機を組み合わせれば、建物全体を支えるのに十分な強さを持っています。

注意点：「建設作業」が必要

論文は、これが魔法ではなく、エンジニアリングであることを認めています。

単に古いソフトウェアを接続して、期待通りに動くことを期待することはできません。この翻訳機を使用するために、「配管（カーネルコード）」を書き換える必要があります。
希望の光： 著者は、AIコーディングアシスタント（この論文を書くために使われたものと同じようなもの）がパターンの翻訳に非常に優れているため、この「建設作業」は数年ではなく数ヶ月で完了できると主張しています。

まとめ

この論文は、ネイティブな倍精度（FP64）シリコンを必要とする時代は終わったと主張しています。NVIDIAの最新チップがそのためのハードウェアを取り除いたとしても、数学的トリック（Ozakiスキーム）を用いることで、彼らの巨大なAIエンジンを完璧な倍精度計算機に変えることができるのです。

結論： もはやFP64のシリコンという「聖杯」は必要ありません。十分なFP8のパワーと適切なソフトウェア翻訳機があれば、**FP8こそが、世界で最も複雑な科学シミュレーションを実行するために必要なすべて（All You Need）**なのです。

技術要約: FP8 is All You Need (Part 1)

1. 問題提起

本論文は、ハイパフォーマンス・コンピューティング（HPC）のハードウェア・アーキテクチャにおける決定的な乖離に対処している。科学シミュレーション（量子色力学、CFD、気候モデリングなど）は、数値的安定性のためにIEEE 754倍精度（fp64）演算に依存している一方で、現代のデータセンター向けGPUは低精度AIワークロードへと軸足を移している。

NVIDIA Blackwell Ultra (B300) および次世代のRubin (R200) アーキテクチャは、このシフトを象徴している。B300は低精度フォーマット（NVFP4/fp8における10–15 PFLOPS）で膨大なスループットを実現しているが、ネイティブなfp64テンソル性能は、B200と比較して約30倍の退行となる約1.3 TFLOPSへと崩落した。これにより、以下の2つの具体的な病理が生じている：

メモリ帯域制限カーネルの計算量制限化: B300における「リッジポイント」（計算とメモリの限界が交差する点）は0.16 FLOPS/Byteまで低下している。その結果、疎行列ベクトル積（SpSpMV）、ステンシル、バッチGEMVといった、従来はメモリ帯域の限界で動作していた標準的なメモリ制限カーネルが、脆弱なネイティブfp64演算ユニットによって人工的にキャップされてしまっている。
休眠シリコン: 大規模な低精度テンソルコア（fp8/NVFP4）が、fp64のみのHPCワークロード中にアイドル状態となり、「ダークシリコン」の非効率性を露呈させている。

中心的な問いは、ネイティブなfp64シリコンが依然としてHPCの「聖杯」であるのか、それとも豊富なfp8スループットとアルゴリズムによるエミュレーションの組み合わせが、完全なfp64の精度と性能を復元できるのか、という点である。

2. メソドロジーおよび解析モデル

テンソル・メモリ平衡（TME）モデル

著者らは、低精度ハードウェア上でのエミュレートされたfp64の性能を分析するために、古典的な屋根モデル（Roofline model）の拡張である**テンソル・メモリ平衡（TME）**モデルを導入している。このモデルには、エミュレーション特有の3つのパラメータが導入されている：

$\alpha$ (計算マルチプライヤー): 高精度演算1回あたりに必要な低精度テンソルコア演算の数（例：中国剰余定理における剰余 $r$ の数）。
$\beta$ (帯域幅マルチプライヤー): エミュレートされたカーネルにおけるデータ移動量と、ネイティブカーネルにおけるデータ移動量の比率。極めて重要な点として、分解と再構成がレジスタレベルで融合（fuse）される場合、 $\beta$ は1に近づくことができ、これはエミュレーションがグローバルメモリへのトラフィックオーバーヘッドを加えないことを意味する。
$\gamma$ (再構成レイテンシ): 最終的な結果を再構成する際のレイテンシコスト（例：Garnerのアルゴリズムによる）。

Ozaki Scheme II

本論文では、中国剰余定理（CRT）に基づく手法であるOzaki Scheme IIを利用している。オリジナルの「Ozaki I」（マンティッサのスライシング）は、スライスの数に対して二次関数的にスケールするが、Ozaki IIは行列乗算を互いに素な剰余に対する剰余演算へと分解する。

フェーズ1: 行列を整数にスケールさせる。
フェーズ2: 剰余 $m_i$ を法とする低精度（fp8）GEMMを実行する。
フェーズ3: Garnerのアルゴリズムを用いて整数の積を再構成し、fp64へリスケールする。

本論文は、これをfp8テンソルコア（E4M3）向けに特別に適合させている。これは、B300/Rubinにおいてint8のスループットが優先順位を下げられているため、浮動小数点ユニット上で剰余演算をエミュレートするための量子化トリックを活用している。

メモリ制限カーネルの実装戦略

主要な貢献は、 $\beta \to 1$ を実現するためのメカニズムとして**レジスタレベルの融合（register-level fusion）**を特定したことである。提案されている実装戦略は以下の通りである：

fp64オペランドを共有メモリにロードする。
オペランドをレジスタ内で剰余平面へと分解する。
これらの剰余平面に対して $r$ 回の低精度テンソルコアMMAを実行する。
再構成結果をGarnerのアルゴリズムを用いてレジスタ内で再構成してから、グローバルメモリに書き戻す。
これにより、剰余平面がHBMに触れることを防ぎ、メモリ帯域を保存する。

3. 主な貢献

統一性能モデル: エミュレーションがネイティブfp64を上回る計算強度（crossover arithmetic intensity）を予測し、 $\alpha, \beta, \gamma$ パラメータを明示的に考慮したTMEモデルの導出。
カーネル設計の規律: メモリ制限カーネルにおいて、レジスタレベルの融合が正当性の要件であることを特定。これがない場合、帯域幅の膨張（ $\beta > 1$ ）がエミュレーションの利点を打ち消してしまう。
世代別投影: B300およびRubin R200に関する性能投影により、Ozaki II + fp8が以下を実現することを示した：
- メモリ制限領域: メモリの屋根（例：B300のステンシルにおける4 TFLOPS）に一致するスループットを実現し、事実上、崩落前の性能レベルを回復する。
- 計算制限領域: 約500 TFLOPS (B300) および約400 TFLOPS (Rubin) のスループット天井を実現し、前世代のネイティブfp64天井（B200, 40 TFLOPS）を桁違いに上回る。
H100ベースライン比較: H100（最後のHPCバランス型GPU）に対する再ベースライン化。Ozaki IIをB300/Rubin上で実行することで、計算集約的なタスクにおいてネイティブB300のfp64が最大50倍退行する一方で、H100の性能に匹ると、あるいはそれを上回ることを実証している。
エンドツーエンドのカーネル網羅: 本論文の結果を、補足的なFFT分析 [19] および BLAS-1削減戦略（FP32 + Kahan）と組み合わせた包括的な監査。この監査により、主要なHPCカーネルクラス（GEMM, SpMV, Stencils, FFT, reductions）のすべてが、B300上でフルfp64精度でメモリ屋根への到達パスを有することが結論付けられた。

4. 結果

加速因子: B300において、Ozaki II/fp8は以下を提供する：
- 密なGEMM（計算制限）において約380倍の加速。
- バッチGEMV (B=8) において約24倍の加速。
- 7点ステンシルにおいて約3.1倍の加速。
- SpMV（極めてメモリ制限）において約1.2倍の加速。
Rubinの優位性: Rubin R200では、HBM帯域幅の跳躍（22 TB/sへ）とOzaki IIの組み合わせにより、メモリ制限領域においてB300に対して2.75倍、全スペクトルにおいてH100に対して6.6倍の改善をもたらす。
基質（Substrate）の選択: B300におけるint8スループットの崩壊により、Ozaki IIにとってfp8が優れた基質であることを本論文は確認している。これは、int8と比較して30倍のエミュレーション天井の優位性を提供している。
精度: エミュレーションは、剰余数 $r$ が適切に選択されている限り（通常、fp8では $r \approx 10$ ）、ネイティブfp64と同等の証明可能な成分ごとの誤差境界を維持する。

5. 意義と主張

本論文は、ネイティブなfp64シリコンの「聖杯」は、もはや信頼に足る科学計算の前提条件ではないと主張している。代わりに、豊富なfp8テンサルスループットとOzaki Scheme IIエミュレーションの組み合わせがあれば、主要なHPCカーネルの全スペクトルにおいて、フルfp64精度でメモリ屋根での実行を回復するのに十分である。

主な主張:

メモリ制限領域における同等性: エミュレーションはメモリ制限カーネルを損なわない。レジスタレベルの融合を用いることで、健全なネイティブfp64チップと同様に、メモリの屋根との一致を実現する。
計算制限領域における優越性: エミュレーションは、前世代（B200）のネイティブfp64能力、および現世代のネイティブfp64ユニットを大幅に凌駕する。
戦略的生存可能性: これらのカーネルを実装するために必要なエンジニアリング投資は、現代のAIコーディングアシスタントとアルゴリズムパターンの標準化によって、数年ではなく「数ヶ月」の時間軸で実行可能となっている。
アーキテクチャへの示唆: 将来のGPU設計は、ネイティブなfp64テンソルコアを固執するのではなく、十分なfp8テンサルスループットと、スペクトル計算のためのフォールバックパス（例：Kulisch INT32サブフロア）を確保すべきである。本論文は、「（適切なアルゴリズム的足場を備えた）fp8こそが、プロダクションHPCに必要なすべてである」と断じている。

本論文は、「post-fp64時代」は退行ではなく、ソフトウェア定義のエミュレーションによって、AI最適化から得られたシリコンの節約分を、利用可能な高精度科学スループットへと変換する戦略的な再編であると結論付けている。