Résumé technique : FP8 is All You Need (Partie 2)

1. Énoncé du problème

L'article traite du changement architectural dans les GPU NVIDIA Blackwell Ultra (B300) et Rubin, où le débit vectoriel FP64 a été drastiquement réduit pour donner la priorité aux charges de travail d'IA (cœurs tensoriels FP8/FP16). Plus précisément, le débit vectoriel FP64 du B300 (~1,3 TFLOPS) est environ 30 fois inférieur à celui du B200 et insuffisant pour soutenir les charges de travail scientifiques limitées par la mémoire, telles que les transformées de Fourier rapides (FFT) 3D, au plafond de la bande passante mémoire.

Alors que l'article compagnon [1] a démontré que le cadre d'émulation Ozaki Scheme II (Ozaki-II) pouvait récupérer un débit équivalent au FP64 pour les opérations matricielles denses (GEMM, GEMV, Stencils, SpMV) en routant les calculs via les cœurs tensoriels FP8, une lacune critique subsistait : la FFT 3D. La FFT présente un goulot d'étranglement unique où le coût de reconstruction (reconstruction de Garner) évolue différemment des GEMM denses, ce qui pourrait rendre l'approche standard Ozaki-II inefficace ou irréalisable sur ces architectures à « effondrement FP64 ».

2. Méthodologie

Les auteurs proposent l'Ozaki-Bailey FFT, un cadre d'émulation qui combine le système de numération résiduelle Ozaki-II avec la décomposition en six étapes de Bailey pour les FFT 3D. La méthodologie implique une analyse et une reformulation en trois parties :

A. L'analyse du $\gamma$-Roof (Plafond $\gamma$)

Les auteurs analysent le modèle TME (Tensor-Memory Equilibrium) pour le noyau FFT. Contrairement au GEMM dense, où les termes de calcul ($\alpha$) et de mémoire ($\beta$) dominent, le cas de la FFT à la dimension de Bailey $k \approx \sqrt{N} = 32$ (pour $N=1024$) fait que la latence de reconstruction de Garner ($\gamma$) devient la contrainte limitante.

• Problème : La reconstruction récursive standard de Garner nécessite $O(r^2)$ opérations entières par élément de sortie. Sur le B300, cela se traduit par un temps de calcul d'environ 260 ms, soit environ 20 fois plus lent que le plafond de la mémoire (12,9 ms).
• Reformulation : Les auteurs décomposent la reconstruction de Garner en deux phases :
  • Phase A : Produits scalaires utilisant des coefficients découpés en mantisses (CRT direct) mappés sur les cœurs tensoriels FP8/INT8. Cette étape est très efficace (~0,5 ms).
  • Phase B : Une réduction par élément de sortie des résultats de la Phase A. Dans une implémentation naïve, cela s'exécute sur le pipeline vectoriel FP64 affaibli, créant un nouveau goulot d'étranglement (~163 ms).

B. La voie de sortie Kulisch (Reformulation de la Phase B)

Pour résoudre le goulot d'étranglement de la Phase B sans dépendre du faible pipeline vectoriel FP64, les auteurs passent en revue les schémas classiques d'accumulation exacte. Ils identètent l'accumulateur à virgule fixe à calcul complet de Kulisch [16, 17] comme la solution.

• Mécanisme : Au lieu d'une sommation en virgule flottante, la réduction est effectuée à l'aide d'un accumulateur à virgule fixe large (160 bits, implémenté via cinq registres INT32) sur le pipeline SIMT INT32.
• Précision : L'accumulation est exacte (pas d'arrondi intermédiaire). Le seul arrondi se produit une seule fois, lors de la conversion finale de l'entier 160 bits vers le FP64. Cela maintient une précision FP64 complète (meilleure qu'une sommation FP64 naïve, qui accumule environ 11 ulps d'erreur).
• Performance : Le débit INT32 du B300 (~75 TOPS) est environ 58 fois supérieur à son débit FP64. Le routage de la Phase B ici réduit le temps de calcul projeté à ~18 ms.

C. Règle de Co-conception à Quatre Étages (Four-Floor Codesign Rule)

L'article dérive quatre « planchers de parité de bande passante » (exigences de débit minimales relatives à la bande passante mémoire, $BHBM$) nécessaires pour atteindre la parité du plafond mémoire pour les FFT :

1. Plancher FP64 natif : $\eta_{FP64} \ge 1,56 \cdot BHBM$. (Le B300 échoue à cela par ~10×).
2. Plancher Phase B Ozaki Naïve : $\eta_{FP64} \ge 2,06 \cdot BHBM$. (Informationnel ; strictement plus difficile que le natif).
3. Sous-plancher Kulisch INT32 : $\eta_{INT32} \ge 8,25 \cdot BHBM$. (Le B300 respecte cela avec une marge de ~14 %).
4. Plancher Tensor-Core FP8 : $\eta_{FP8} \ge 170 \cdot BHBM$. (Le B300 respecte cela avec une marge de ~3,7×).

3. Contributions Clés

1. Identification du $\gamma$-Roof : L'article établit que pour les FFT 3D, le coût de reconstruction de Garner ($\gamma$) devient le goulot d'étranglement dominant à des tailles de problèmes spécifiques ($k \approx 32$), invalidant l'hypothèse selon laquelle les termes de calcul/mémoire dictent seuls la performance.
2. Reformulation de la Reconstruction de Garner par Tensor Core : Les auteurs introduisent une division de la reconstruction de Garner en Phase A (Tensor Core) et Phase B (SIMT), permettant l'utilisation du matériel FP8/INT8 à haut débit pour les tâches lourdes.
3. Sauvetage de la Phase B par Kulisch : L'article propose d'utiliser l'accumulateur à virgule fixe de Kulisch sur le pipeline SIMT INT32 pour effectuer la réduction de la Phase B. Cela est présenté comme une « voie de sortie logicielle » qui permet aux GPU à FP64 affaibli d'atteindre une précision FP64 complète sans matériel vectoriel FP64 natif.
4. Règle de Co-conception à Quatre Étages : Une nouvelle règle de conception architecturale est proposée. Pour supporter les FFT FP64 complètes sur du matériel post-FP64, un GPU doit soit satisfaire au plancher FP64 natif, SOIT satisfaire à la fois au plancher des tensor cores FP8 et au sous-plancher Kulisch INT32.
5. Projections Quantitatives :
   • B300 : La FFT native est de ~124 ms ; la Garner récursive est de ~260 ms ; la Phase B naïve est de ~163 ms. La voie Kulisch projette ~18 ms, approchant le plafond mémoire de 12,9 ms.
   • Rubin : Se situe à moins de 4 % du plancher FP64 natif, rendant l'émulation inutile pour la FFT.
   • H100/B200 : Respectent confortablement le plancher natif.

4. Résultats et Revendications

• Faisabilité : L'article affirme que le B300, malgré son pipeline vectoriel FP64 réduit, peut atteindre des performances proches du plafond mémoire pour les FFT 3D FP64 complètes uniquement grâce à l'ingénierie logicielle (Ozaki-Bailey + Kulisch).
• Précision : La méthode Kulisch offre une précision strictement meilleure que la sommation FP64 naïve (un seul arrondi final contre une erreur accumulée) tout en fonctionnant entièrement sur le pipeline INT32.
• Implications Architecturales :
  • B30ved : Est « récupérable » pour les codes spectraux si le noyau Kulisch est implémenté efficacement (en supposant une efficacité SIMT INT32 de 50–70 %).
  • Rubin : Est équilibré pour les codes spectraux ; l'émulation n'offre aucun gain de vitesse.
  • Conception Future : L'article soutient que le plancher FP64 natif ($\eta \ge 1,56 \cdot BHBM$) reste la cible d'achat sûre. La voie Kulisch est un « sauvetage » pour les architectures existantes sous le plancher, mais ne devrait pas justifier de nouvelles coupes dans le silicium FP64 ou INT32 dans les générations futures. Si les deux (FP64 et INT32) sont coupés, la voie de sortie se referme.

5. Signification

L'article conclut que la combinaison de l'émulation Ozaki-II, de la décomposition de Bailey et de l'accumulateur Kulisch fournit un audit de couverture de noyau de bout en bout pour la pile post-FP64. Il démontre que même avec un pipeline vectoriel FP64 « profondément affaibli », le calcul scientifique FP64 complet (spécifiquement les FFT) n'est pas nécessairement mort, à condition que l'architecture conserve un débit SIMT INT32 et une capacité de tensor core FP8 suffisants.

Le travail motive la création d'une bibliothèque libKulisch pour implémenter ces primitives d'accumulateurs larges pour les FFT, SpMV et d'autres noyaux de réduction limités par l'intensité opérationnelle. Les auteurs soulignent que bien que la projection soit prometteuse (~18 ms), la mesure empirique du noyau Phase B de Kulisch est la prochaine étape immédiate pour valider les hypothèses d'efficacité.