Double-Precision Matrix Multiplication Emulation via Ozaki-II Scheme with FP8 Quantization

Cet article propose une méthode novatrice pour émuler la multiplication matricielle en double précision (FP64) en utilisant des unités de calcul FP8 via le schéma Ozaki-II, surmontant ainsi les limitations des approches précédentes et réduisant significativement le nombre d'opérations nécessaires pour les architectures GPU émergentes.

L'essentiel

🏗️ Le Grand Défi : Construire une Cathédrale avec des Briques de Lego

Imaginez que vous devez construire une cathédrale ultra-précise (c'est le calcul scientifique de haute précision, ou FP64). Traditionnellement, on utilise des blocs de pierre taillés au millimètre près. C'est solide, mais construire avec ces blocs est lent et coûteux en énergie.

Aujourd'hui, les usines de puces électroniques (comme les GPU NVIDIA) ont changé. Elles produisent des briques de Lego (les formats FP8 et INT8) à une vitesse incroyable et à très bas coût. Ces briques sont petites et rapides, mais elles ne sont pas faites pour construire des cathédrales directement : si on les empile telles quelles, la tour s'effondre à cause de la moindre erreur.

Le problème ? Les nouvelles machines (comme les futures puces "Rubin" ou "Blackwell Ultra") ont réduit le stock de "briques de pierre" (FP64) et même de certaines briques de Lego carrées (INT8). Elles privilégient désormais les briques de Lego arrondies (FP8).

La question du papier est : Comment construire notre cathédrale parfaite en utilisant uniquement ces briques de Lego arrondies (FP8), sans que l'édifice ne s'effondre ?

---

🧩 La Solution : La Méthode "Ozaki" (Le Puzzle en plusieurs couches)

Les chercheurs ont une méthode appelée Ozaki. Imaginez que pour construire une grande image précise, vous ne la dessinez pas d'un coup. Vous la décomposez en plusieurs couches de couleurs simples, vous les assemblez, et le résultat final redevient une image haute définition.

Il existe deux façons de faire ce puzzle :

1. Ozaki-I : On empile beaucoup de couches fines. C'est comme faire un mille-feuille avec 121 couches. C'est précis, mais ça demande beaucoup de travail (beaucoup de multiplications).
2. Ozaki-II : C'est une technique plus intelligente, basée sur les mathématiques (le théorème des restes chinois). Au lieu de faire un mille-feuille, on prend des morceaux de l'image, on les calcule dans différents "univers" (modulos), et on les recolle à la fin. C'est beaucoup plus efficace, mais c'est très difficile à adapter aux briques FP8.

🚧 Le Problème : Les Briques FP8 ne sont pas "Carrées"

Le problème principal, c'est que la méthode Ozaki-II a été conçue pour des briques carrées (INT8).

• INT8 (Lego carré) : C'est un nombre entier. Si vous faites 3 + 4, vous avez exactement 7. Pas de surprise.
• FP8 (Lego arrondi) : C'est un nombre flottant (avec une virgule). Si vous faites 3,1 + 4,2, vous pouvez avoir un petit arrondi.

Si vous essayez d'utiliser la méthode Ozaki-II classique avec des briques FP8, les petites erreurs d'arrondi s'accumulent et détruisent la précision de votre cathédrale. C'est comme essayer de faire un puzzle avec des pièces qui ont toutes un peu de colle séchée dessus : ça ne rentre pas parfaitement.

💡 L'Innovation : Le "Super-Collage" Hybride

C'est ici que les auteurs du papier (Uchino, Ozaki, Imamura) apportent leur génie. Ils ont créé une nouvelle méthode hybride pour adapter Ozaki-II aux briques FP8.

Ils utilisent deux astuces de cuisine :

1. La Méthode Karatsuba (Le découpage en deux) :
   Imaginez que vous avez un gros gâteau trop lourd pour votre four (la brique FP8). Au lieu de le mettre entier, vous le coupez en deux petits gâteaux, vous les cuisez séparément, puis vous les recolle.

   • Avantage : Cela permet d'utiliser les briques FP8 sans erreur.
   • Inconvénient : Cela demande de faire 3 cuissons au lieu d'une.

2. La Réduction Modulaire "Magique" (Le tour de passe-passe) :
   Pour certains morceaux du puzzle, les chercheurs ont trouvé une astuce mathématique. Ils choisissent des tailles de morceaux spécifiques (des "carrés parfaits" comme 33x33, 32x32, etc.) qui permettent d'éviter le découpage complexe.

   • Résultat : Pour ces morceaux-là, on n'a besoin que de 2 ou 3 multiplications au lieu de 3, ce qui fait gagner du temps.

En résumé : Ils mélangent intelligemment le découpage (Karatsuba) et le tour de passe-passe (Modulaire) pour utiliser les briques FP8 le moins de fois possible tout en gardant une précision parfaite.

---

🏁 Les Résultats : Est-ce que ça marche ?

Les chercheurs ont testé leur méthode sur de nouvelles puces graphiques (comme la RTX 5080 et la B200).

• Comparaison avec l'ancienne méthode (INT8) :
  Sur les machines où l'on a encore beaucoup de briques carrées (INT8), l'ancienne méthode est encore un peu plus rapide et utilise moins de mémoire. C'est logique : les briques carrées sont faites pour ce type de puzzle.
• Comparaison avec la méthode FP8 "naïve" (Ozaki-I) :
  La nouvelle méthode est beaucoup plus rapide que l'ancienne façon d'utiliser les briques FP8 (Ozaki-I), car elle fait beaucoup moins de multiplications.
• Le futur (Les machines Rubin/B300) :
  Sur les toutes nouvelles machines où les briques carrées (INT8) sont presque disparues, la nouvelle méthode est la seule option viable pour faire du calcul scientifique précis. Elle permet d'atteindre des vitesses folles (jusqu'à 200 TFLOP/s, ce qui est énorme !).

🎯 Conclusion en une phrase

Ce papier nous apprend comment transformer des outils de calcul rapides mais "imprécis" (FP8) en une machine capable de faire des calculs ultra-précis (FP64), en inventant une nouvelle façon de découper et de recoller les données, garantissant que même les futures super-ordinateurs pourront continuer à faire de la science de pointe sans perdre en précision.

C'est comme apprendre à construire un château de cartes parfait en utilisant uniquement des cartes qui ont un bord légèrement arrondi : c'est difficile, mais avec la bonne technique, c'est possible ! 🃏🏰

Résumé technique

Voici un résumé technique détaillé du papier de recherche intitulé "Double-Precision Matrix Multiplication Emulation via Ozaki-II Scheme with FP8 Quantization".

1. Contexte et Problématique

Contexte :
Dans le calcul haute performance (HPC), l'arithmétique en double précision (FP64) est indispensable pour garantir la stabilité et la précision numérique. Cependant, les améliorations de performance des unités FP64 sur les architectures récentes sont modestes. À l'inverse, les unités d'arithmétique de faible précision (INT8, FP8, etc.) ont connu des gains de débit massifs, principalement pour répondre aux besoins du travail d'IA.

Problème spécifique :

• Évolution matérielle : Les architectures récentes (NVIDIA Blackwell Ultra, Rubin) réduisent considérablement les ressources de calcul INT8 au profit des formats flottants de faible précision comme le FP8. La dépendance exclusive à l'INT8 devient donc insuffisante sur ces nouvelles plateformes.
• Limitation algorithmique : La méthode d'émulation de la multiplication matricielle en double précision (DGEMM) basée sur le schéma Ozaki-II (utilisant le Théorème des Restes Chinois - CRT) fonctionne naturellement avec l'INT8 car elle repose sur une arithmétique à virgule fixe. Cependant, l'algorithme original ne peut pas être directement adapté aux unités FP8 (E4M3) en raison de la présence de champs d'exposant et de la nature flottante des données, ce qui empêche une émulation exacte sans modifications majeures.

2. Méthodologie Proposée

Les auteurs proposent une méthode novatrice pour émuler la DGEMM (FP64) en utilisant des unités de multiplication matricielle-accumulation (MMA) FP8, en surmontant les limitations du schéma Ozaki-II original.

A. Limites de la quantification directe FP8
Le format FP8 E4M3 ne peut représenter exactement que des entiers consécutifs dans une plage limitée (de -16 à 16). Une adaptation directe du schéma Ozaki-II avec des modules (moduli) $p_\ell \le 32$ conduit à un produit $P$ trop faible, ne permettant pas d'atteindre la précision requise pour le FP64 (53 bits significatifs).

B. Extension basée sur Karatsuba
Pour contourner cette limitation, les auteurs décomposent les matrices entières en sommes de matrices FP8 :

• Ils utilisent la méthode de Karatsuba pour exprimer le produit de deux matrices décomposées en trois produits matriciels FP8.
• Cela permet d'augmenter la plage de représentation effective, permettant de sélectionner des modules jusqu'à $p_\ell \le 513$.
• Coût : Cette approche nécessite 3 multiplications matricielles FP8 par module, ce qui augmente le nombre total d'opérations par rapport à l'INT8.

C. Réduction Modulaire Hybride (Innovation Clé)
Pour réduire le nombre de multiplications matricielles, les auteurs introduisent une technique hybride :

• Pour certains modules carrés ($p_\ell = s^2$), ils exploitent des propriétés de l'arithmétique modulaire pour éviter la reconstruction de Karatsuba.
• Au lieu de calculer les trois produits standards, ils calculent le produit modulo $p_\ell$ en utilisant uniquement trois multiplications FP8 sans reconstruction complexe, car le terme $s^2$ s'annule modulo $p_\ell$.
• Résultat : Cette méthode hybride permet de sélectionner des modules plus grands (jusqu'à 1089) et de réduire le nombre de modules nécessaires ($N \ge 12$) pour atteindre la précision FP64, contre $N \ge 14$ pour l'INT8 et $N \ge 13$ pour la version Karatsuba pure.

D. Choix du format FP8 vs FP16/FP4
Les auteurs justifient le choix du FP8 (E4M3) plutôt que du FP16 ou du FP4 :

• FP8 : Permet une accumulation exacte en FP32 pour des longueurs de produit scalaire $k \le 2^{16}$ sans décomposition supplémentaire, tout en offrant un débit théorique très élevé sur les GPU NVIDIA (Rubin/Blackwell).
• FP16/BF16 : Nécessiterait un blocage ($k$-blocking) très strict ($k \le 2^6$) pour éviter les erreurs d'arrondi, ce qui dégraderait l'intensité arithmétique et rendrait le noyau limité par la mémoire.
• FP4 : Trop limité en capacité de représentation pour maintenir les sommes intermédiaires exactes dans le cadre des méthodes récursives comme Karatsuba.

3. Contributions Principales

1. Analyse des limites : Identification claire des raisons pour lesquelles le schéma Ozaki-II basé sur l'INT8 ne se transpose pas directement au FP8 (problèmes de sémantique modulo et de virgule fixe).
2. Nouveau schéma FP8 : Développement d'un schéma Ozaki-II basé sur le FP8 combinant une extension Karatsuba et une réduction modulaire optimisée pour les modules carrés.
3. Modélisation de performance : Création de modèles analytiques pour prédire le débit de l'émulation FP8 et INT8, incluant une analyse de la mémoire de travail (workspace).
4. Bibliothèque Open Source : Mise à disposition d'une bibliothèque portable pour NVIDIA et AMD supportant à la fois les schémas INT8 et FP8, avec des résultats bit-à-bit reproductibles.

4. Résultats Expérimentaux

Les expériences ont été menées sur des GPU NVIDIA RTX 5080 et HGX B200.

• Précision : La méthode proposée atteint une précision proche de celle de la DGEMM native (cuBLAS) et de l'émulation Ozaki-I basée sur l'INT8, avec une erreur relative contrôlée. Le mode "accurate" (précis) offre une meilleure précision que le mode "fast".
• Débit (Throughput) :
  • Sur RTX 5080 (où l'INT8 est encore performant) : L'émulation basée sur l'INT8 est 1,3 à 2,9 fois plus rapide que celle basée sur le FP8. Cependant, les deux surpassent largement la DGEMM native FP64 (jusqu'à 24x de vitesse).
  • Sur B200 (transition vers le FP8) : L'émulation FP8 commence à rivaliser avec l'INT8, bien que l'INT8 reste légèrement plus rapide.
  • Projection sur Rubin/B300 : Les modèles prédisent que sur les futures architectures où l'INT8 est drastiquement réduit, l'émulation FP8 pourrait dépasser les 200 TFLOP/s, surpassant les performances natives FP64.
• Mémoire de travail : L'émulation FP8 nécessite une mémoire temporaire plus importante (environ 55 Go pour des matrices 16384x16384 contre 27 Go pour l'INT8) en raison de la nécessité de stocker plusieurs matrices FP8 par module et des résultats intermédiaires en INT16.

5. Signification et Conclusion

Ce travail démontre qu'il est possible d'émuler efficacement la multiplication matricielle en double précision sur des architectures futures dominées par le calcul flottant de faible précision (FP8), là où l'INT8 n'est plus viable.

• Compromis : Bien que l'approche basée sur l'INT8 reste supérieure en termes de débit et d'efficacité mémoire sur les architectures actuelles (grâce à la nature à virgule fixe de l'INT8 qui correspond parfaitement au schéma Ozaki-II), la méthode FP8 proposée est une solution de transition cruciale.
• Avenir : Elle permet de maintenir les performances HPC sur les nouvelles générations de GPU (Blackwell Ultra, Rubin) qui privilégient le FP8 au détriment de l'INT8.
• Impact : Cette recherche ouvre la voie à l'utilisation généralisée des unités Tensor Cores FP8 pour des applications scientifiques exigeant une haute précision, en comblant le fossé entre les besoins de précision du HPC et les tendances matérielles de l'IA.