💻 computer science

FP8 is All You Need (Part 1): Debunking Hardware FP64 as the HPC Holy Grail

Cet article soutient que le FP64 matériel natif n'est plus essentiel pour le calcul de haute performance, démontrant que les GPU optimisés pour l'IA comme le B300 de NVIDIA peuvent atteindre une précision FP64 complète et des performances limitées par la mémoire grâce au débit tensoriel FP8 combiné au schéma Ozaki II, surpassant ainsi les capacités des générations précédentes malgré la réduction de leur silicium de double précision natif.

Auteurs originaux : Satoshi Matsuoka

Publié 2026-06-08

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Satoshi Matsuoka

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le « Gouffre de la Haute Précision »

Imaginez le monde des supercalculateurs comme un immense réseau autoroutier conçu pour transporter de lourds camions (des données scientifiques). Pendant des décennies, la règle était : « Pour transporter ces camions lourds en toute sécurité, vous devez utiliser un pont spécifique et ultra-résistant appelé "FP64" (Précision Double). »

Cependant, l'article soutient que la nouvelle génération de puces informatiques (spécifiquement les GPU "Blackwell Ultra" et "Rubin" de NVIDIA) a décidé d'arrêter de construire ces ponts solides. À la place, elles construisent des milliers de petites voies incroyablement rapides pour le « FP8 » (un format de basse précision utilisé pour l'IA).

L'ancienne méthode : La puce possédait un pont solide (FP64) capable de supporter 40 tonnes de trafic.
La nouvelle méthode (B300/Rubin) : La puce a complètement supprimé le pont solide. Elle possède désormais un minuscule passerelle vacillante (FP64) qui ne peut supporter que 1,3 tonne, tandis que les voies massives de l'IA (FP8) peuvent en supporter 5 000 tonnes.

Le résultat : Si vous essayez d'exécuter d'anciens logiciels scientifiques sur ces nouvelles puces, le trafic s'embouteille sur la minuscule passerelle. Les voies massives de l'IA restent vides et inutiles. L'article appelle cela le « Gouffre du FP64 ».

La Solution : Le « Schéma d'Ozaki » (Le Traducteur Magique)

L'article propose un contournement ingénieux. Au lieu d'essayer de construire un nouveau pont solide, pourquoi ne pas utiliser les voies massives de l'IA pour faire semblant d'être un pont solide ?

C'est là qu'intervient le Schéma d'Ozaki II. Considérez-le comme un Maître Traducteur qui utilise un tour mathématique appelé le « Théorème des Restes Chinois ».

L'analogie : Imaginez que vous deviez envoyer un message secret très long et complexe (un nombre de haute précision) à travers une rivière, mais que le seul bateau disponible est petit et ne peut transporter que des notes courtes et simples.
L'astuce : Au lieu d'envoyer tout le message d'un coup, le traducteur le divise en 10 ou 12 petites notes simples (résidus).
L'exécution : Il envoie toutes les 10 notes simultanément via les voies rapides et larges de l'IA.
Le réassemblage : De l'autre côté, une formule mathématique rapide (l'algorithme de Garner) recoud les 10 notes pour reconstituer le message original parfait de haute précision.

Parce que les « notes » sont simples, les voies de l'IA peuvent les transporter à une vitesse fulgurante. L'article affirme qu'en procédant ainsi, vous obtenez la vitesse des voies de l'IA tout en conservant la précision de l'ancien pont solide.

L'« Équilibre Tenseur-Mémoire » (La Nouvelle Loi de Circulation)

Les auteurs ont créé un nouveau modèle appelé Équilibre Tenseur-Mémoire (TME) pour prouver que cela fonctionne.

L'ancienne vision : « Si le pont est faible, tout le système est lent. »
La nouvelle vision : « Si le pont est faible, mais que la route qui y mène est assez large, nous pouvons simplement maintenir les voitures en mouvement. »

L'article montre que pour la plupart des tâches scientifiques (comme la simulation météorologique ou la dynamique des fluides), le goulot d'étranglement n'est pas le calcul, mais la bande passante de la mémoire (la vitesse à laquelle les données sont chargées dans la puce).

La bonne nouvelle : Les nouvelles puces ont une bande passante mémoire massive.
Le bémol : Les anciennes unités de calcul étaient trop lentes pour utiliser cette bande passante.
La solution : Le schéma d'Ozaki utilise les unités de calcul rapides de l'IA pour traiter les données pendant qu'elles sont chargées. Cela permet au système de fonctionner à la vitesse de la bande passante de la mémoire, et non à la vitesse du pont faible.

Les Résultats : Accélérer sans Perdre de Précision

L'article analyse les chiffres sur les nouvelles puces (B300 et Rubin) et les compare à la génération précédente (H100 et B200).

Pour les calculs « lourds » (Multiplication de matrices denses) :
- FP64 natif sur les nouvelles puces : Extrêmement lent (1,3 TFLOPS).
- Schéma d'Ozaki sur les nouvelles puces : Super rapide (500 TFLOPS).
- Résultat : La nouvelle puce est 380 fois plus rapide que son propre mode natif et 12 fois plus rapide que la meilleure puce de la génération précédente.
Pour les tâches « gourmandes en mémoire » (Stencils, SpMV) :
- Ces tâches sont généralement limitées par la vitesse à laquelle les données sont lues, et non par la vitesse à laquelle elles sont calculées.
- FP64 natif : Bloqué à la vitesse du pont faible.
- Schéma d'Ozaki : S'aligne sur la vitesse de la massive bande passante mémoire.
- Résultat : La nouvelle puce est aussi performante que les anciennes puces « équilibrées », mais avec beaucoup plus de puissance brute disponible pour d'autres tâches.

Le « Filet de Sécurité à Quatre Étages »

L'article soutient que pour que cela fonctionne pour chaque type de code scientifique, vous avez besoin d'un bâtiment à « quatre étages » :

L'étage FP8 : Les voies massives de l'IA (dont les nouvelles puces disposent largement).
L'étage INT32 : Une voie de secours pour des astuces mathématiques spécifiques (FFT).
L'étage FP32 : Une voie standard pour les calculs simples.
L'étage FP64 : L'ancien pont solide.

La conclusion de l'article : Nous n'avons plus besoin du 4ème étage (le FP64 natif). Les trois premiers étages, combinés au traducteur Ozaki, sont assez solides pour soutenir l'ensemble du bâtiment.

Le Bémol : Cela Nécessite des « Travaux de Construction »

L'article admet que ce n'est pas de la magie ; cela demande de l'ingénierie.

Vous ne pouvez pas simplement brancher d'anciens logiciels et espérer que cela fonctionne. Vous devez réécrire la « plomberie » (le code du noyau/kernel) pour utiliser ce traducteur.
La lueur d'espoir : L'auteur soutient que puisque les assistants de codage IA (comme ceux utilisés pour écrire cet article) sont très doués pour traduire des modèles, ces « travaux de construction » peuvent être réalisés en quelques mois, et non en plusieurs années.

Résumé

L'article affirme que l'ère où l'on avait besoin de silicium à précision double « native » (FP64) est terminée. Même si les nouvelles puces de NVIDIA ont supprimé le matériel dédié, nous pouvons utiliser un tour mathématique (le schéma d'Ozaki) pour transformer leurs puissants moteurs d'IA en calculateurs de précision double parfaits.

L'essentiel : Vous n'avez plus besoin du « Saint Graal » du silicium FP64. Si vous disposez d'une puissance FP8 suffisante et du bon traducteur logiciel, le FP8 est tout ce dont vous avez besoin pour faire tourner les simulations scientifiques les plus complexes du monde.

Résumé Technique : FP8 est tout ce dont vous avez besoin (Partie 1)

1. Énoncé du Problème

Le document traite d'une divergence critique dans l'architecture du matériel de calcul haute performance (HPC). Alors que les simulations scientifiques (ex. : chromodynamique quantique, CFD, modélisation climatique) reposent sur l'arithmétique de précision double (fp64) IEEE 754 pour la stabilité numérique, les GPU modernes des centres de données pivotent vers des charges de travail d'IA à faible précision.

Les architectures NVIDIA Blackwell Ultra (B300) et la future architecture Rubin (R200) illustrent ce changement. Le B300 délivre un débit massif dans les formats de faible précision (10–15 PFLOPS en NVFP4/fp8) mais a provoqué l'effondrement des performances tensorielles fp64 natives à environ 1,3 TFLOPS — une régression de 30× par rapport au B200. Cela crée deux pathologies spécifiques :

Les noyaux (kernels) limités par la mémoire deviennent limités par le calcul : Le « point de crête » (où les limites de calcul et de mémoire s'intersectent) sur le B300 chute à 0,16 FLOPS/Byte. Par conséquent, les noyaux standards limités par la mémoire comme la multiplication matrice-vecteur creuse (SpMV), les stencils et les GEMV par lots, qui fonctionnaient auparavant à la limite de la bande passante mémoire, sont désormais artificiellement plafonnés par les faibles unités arithmétiques fp64 natives.
Silicium dormant : Les énormes cœurs tensoriels de faible précision (fp8/NVFP4) restent inactifs lors des charges de travail HPC exclusivement fp64, représentant une inefficacité de type « Silicium Sombre » (Dark Silicon).

La question centrale est de savoir si le silicium fp64 natif demeure le « Graal » du HPC, ou si l'abondance du débit fp8 combinée à l'émulation algorithmique peut restaurer la pleine précision et la performance du fp64.

2. Méthodologie et Modèle Analytique

Le Modèle d'Équilibre Tenseur-Mémoire (TME)

Les auteurs introduisent le modèle Tensor–Memory Equilibrium (TME), une extension du modèle classique de Roofline, pour analyser les performances du fp64 émulé sur du matériel à faible précision. Le modèle introduit trois paramètres spécifiques à l'émulation :

$\alpha$ (Multiplicateur de Calcul) : Le nombre d'opérations de cœurs tensoriels de faible précision requises par une opération de haute précision (par exemple, le nombre de modules $r$ dans l'approche du théorème des restes chinois).
$\beta$ (Multiplicateur de Bande Passante) : Le ratio de mouvement de données dans le noyau émulé par rapport au noyau natif. Crucialement, le document soutient que si la décomposition et la reconstruction sont fusionnées au niveau des registres, $\beta$ peut approcher 1, signifiant que l'émulation n'ajoute aucun surcoût de trafic mémoire global.
$\gamma$ (Latence de Reconstruction) : Le coût de latence de la reconstruction du résultat final (par exemple, via l'algorithme de Garner).

Le Schéma Ozaki II

Le document utilise le Schéma Ozaki II, une méthode basée sur le théorème des restes chinois (CRT). Contra lieu au « Ozaki I » original (découpage de la mantisse), qui croît de manière quadratique avec le nombre de tranches, Ozaki II décompose la multiplication de matrices en arithmétique modulaire sur des modules premiers entre eux.

Phase 1 : Mise à l'échelle des matrices en entiers.
Phase 2 : Exécution des GEMM de faible précision (fp8) modulo $m_i$ .
Phase 3 : Reconstruction du produit entier via l'algorithme de Garner et remise à l'échelle vers le fp64.

Le document adapte spécifiquement cela pour les cœurs tensoriels fp8 (E4M3), en utilisant une astuce de quantification pour émuler l'arithmétique modulaire sur des unités de calcul en virgule flottante, car le débit natif int8 a été dépriorisé sur le B300/Rubin.

Stratégie d'Implémentation pour les Noyaux Limités par la Mémoire

Une contribution centrale est l'identification de la fusion au niveau des registres comme le mécanisme pour pousser $\beta \to 1$ . La stratégie d'implémentation proposée implique de :

Charger les opérandes fp64 dans la mémoire partagée (shared memory).
Décomposer les opérandes en plans de résidus au sein des registres.
Exécuter $r$ opérations MMA de faible précision sur ces plans de résidus.
Reconstruire le résultat via l'algorithme de Garner dans les registres avant de l'écrire dans la mémoire globale.
Cela garantit que les plans de résidus ne touchent jamais la HBM, préservant ainsi la bande passante mémoire.

3. Principales Contributions

Modèle de Performance Unifié : La dérivation du modèle TME, qui prédit le point de croisement de l'intensité arithmétique où l'émulation surpasse le natif fp64, en tenant explicitement compte des paramètres $\alpha, \beta, \gamma$ .
Discipline de Conception de Noyau : L'identification de la fusion au niveau des registres comme une exigence de correction pour les noyaux limités par la mémoire. Sans cela, l'inflation de la bande passante ( $\beta > 1$ ) annule les bénéfices de l'émulation.
Projections Générationnelles : Les projections de performance pour le B300 et le Rubin R200 montrent que l'Ozaki II + fp8 peut atteindre :
- Régime Limité par la Mémoire : Un débit correspondant au plafond de la mémoire (ex. : 4 TFLOPS pour les stencils sur B300), restaurant effectivement les performances aux niveaux pré-effondrement.
- Régime Limité par le Calcul : Des plafonds de débit de ~500 TFLOPS (B300) et ~400 TFLOPS (Rubin), dépassant l'ordre de grandeur du plafond fp64 natif de la génération précédente (B200, 40 TFLOPS).
Comparaison avec la Référence H100 : Une re-baselining contre le H100 (le dernier GPU équilibré pour le HPC). Le document démontre que l'Ozaki II sur B300/Rubin égale ou dépasse les performances du H100 sur tous les workloads, alors que le fp64 natif du B300 régresse jusqu'à 50× sur les tâches sensibles au calcul.
Couverture de Noyau de Bout en Bout : Un audit complet combinant les résultats de ce document avec une analyse FFT complémentaire [19] et des stratégies de réduction BLAS-1 (FP32 + Kahan). L'audit conclut que chaque classe majeure de noyaux HPC (GEMM, SpMV, Stencils, FFT, réductions) admet une voie vers le plafond de la mémoire à pleine précision fp64 sur le B300.

4. Résultats

Facteurs d'Accélération (Speedup) : Sur B300, l'Ozaki II/fp8 fournit :
- ~380× d'accélération pour le GEMM dense (limité par le calcul).
- ~24× d'accélération pour le GEMV par lots (B=8).
- ~3,1× d'accélération pour les stencils à 7 points.
- ~1,2× d'accélération pour le SpMV (profondément limité par la mémoire).
Avantage Rubin : Sur le Rubin R200, le saut de la bande passante HBM (vers 22 TB/s) combiné à l'Ozaki II produit une amélioration de 2,75× par rapport au B300 dans le régime limité par la mémoire et une amélioration de 6,6× par rapport au H100 sur l'ensemble du spectre.
Choix du Substrat : Le document confirme que le fp8 est le substrat supérieur pour l'Ozaki II sur B300/Rubin en raison de l'effondrement du débit int8, offrant un avantage de plafond d'émulation de 30× par rapport à l'int8 sur B300.
Précision : L'émulation maintient des limites d'erreur composante par composante prouvables comparables au fp64 natif, à condition que le nombre de modules $r$ soit choisi correctement (typiquement $r \approx 10$ pour le fp8).

5. Signification et Revendications

Le document soutient que le « Graal » du silicium fp64 natif n'est plus une prérequis pour un calcul scientifique crédible. Au lieu de cela, la combinaison du débit tensoriel fp8 abondant et de l'émulation par le Schéma Ozaki II est suffisante pour récupérer l'exécution au plafond de la mémoire avec une précision fp64 complète sur l'ensemble du spectre canonique des noyaux HPC.

Revendications Clés :

Parité dans les Régimes Limités par la Mémoire : L'émulation ne pénalise pas les noyaux limités par la mémoire ; avec la fusion au niveau des registres, elle atteint la parité avec le plafond de la mémoire, tout comme le ferait une puce fp64 saine.
Supériorité dans les Régimes Limités par le Calcul : L'émulation surpasse largement les capacités fp64 natives de la génération précédente (B200) et des unités fp64 natives de la génération actuelle.
Viabilité Stratégique : L'investissement d'ingénierie requis pour implémenter ces noyaux est désormais traitable sur une échelle de « mois plutôt que des années », facilité par les assistants de codage IA modernes et la standardisation du motif algorithmique.
Implication Architecturale : Les futurs designs de GPU devraient assurer un débit tensoriel fp8 suffisant et un chemin de repli (tel qu'un sous-plancher Kulisch INT32 pour le travail spectral) plutôt que d'insister sur des cœurs tensoriels fp64 natifs. Le document pose que « le fp8 (avec le bon échafaudage algorithmique) est tout ce dont vous avez besoin pour le HPC de production ».

Le document conclut que l'ère « post-fp64 » n'est pas une régression mais un réalignement stratégique où l'émulation définie par logiciel convertit les économies de silicium issues de l'optimisation de l'IA en un débit scientifique de haute précision utilisable.