Mixed precision solvers with half-precision floating point numbers for Lattice QCD on A64FX processor

Cet article présente une méthode de résolution mixte pour la QCD sur réseau utilisant l'arithmétique demi-précision (FP16) sur le processeur A64FX, qui, grâce à des étapes de redimensionnement pour assurer la stabilité numérique, démontre une viabilité pratique avec une augmentation de moins de 20 % du nombre d'itérations par rapport à la version double précision.

L'essentiel

🧱 Le défi : Construire l'univers avec des Lego trop petits

Imaginez que vous essayez de reconstruire l'histoire de l'univers, en particulier la façon dont les particules fondamentales (les quarks et les gluons) interagissent pour former la matière. C'est ce que fait la Chromodynamique Quantique sur Réseau (Lattice QCD).

Pour faire cela, les scientifiques utilisent des superordinateurs géants (comme le Fugaku au Japon) qui divisent l'espace-temps en une grille de millions de petits points, comme une immense grille de Lego.

Le problème ? Pour que ce calcul soit précis, il faut utiliser des nombres très, très précis (appelés précision double, ou FP64). C'est comme si vous deviez mesurer la distance entre deux étoiles avec une règle en millimètres. C'est précis, mais cela prend énormément de temps et d'énergie.

⚡ La solution : Le "Mix-Précision" (Le chef d'orchestre et ses assistants)

Les scientifiques ont eu une idée brillante : pourquoi ne pas utiliser des nombres moins précis pour les tâches simples, et garder les nombres très précis seulement pour les étapes critiques ? C'est ce qu'on appelle un solveur mixte.

• L'approche habituelle : On utilise des nombres "simples" (précision simple, FP32) pour faire le gros du travail, et des nombres "complexes" (FP64) pour corriger les erreurs. C'est comme avoir un chef d'orchestre (FP64) qui écoute des musiciens (FP32) et corrige les fausses notes.
• La nouvelle idée de ce papier : Et si on utilisait des nombres encore plus simples, appelés demi-précision (FP16) ? C'est comme utiliser des Lego miniatures. Ils sont beaucoup plus petits, donc on peut en manipuler beaucoup plus vite. Sur le processeur spécial A64FX du superordinateur Fugaku, ces Lego miniatures vont deux fois plus vite que les Lego standards.

🌊 Le problème : La marée basse (Le sous-débit)

Cependant, il y a un gros piège. Les nombres "demi-précision" (FP16) ont une plage de valeurs très limitée.
Imaginez que vous essayez de mesurer la hauteur d'une vague.

• Avec un grand mètre (FP64), vous pouvez mesurer de l'océan entier.
• Avec un petit mètre (FP16), si la vague est trop petite (proche de zéro), le mètre ne la voit plus ! Il l'arrondit à zéro. C'est ce qu'on appelle le sous-débit (underflow).

Dans les calculs de l'univers, les nombres deviennent parfois extrêmement petits. Avec la méthode habituelle, ces nombres disparaissent simplement, et le calcul devient instable, comme un château de cartes qui s'effondre. C'est pour cela que les scientifiques n'osaient pas utiliser ces Lego miniatures pour ce type de calcul.

🛠️ L'astuce géniale : Le "Re-Scaling" (Le zoom dynamique)

C'est ici que l'équipe de RIKEN et de KEK apporte sa solution ingénieuse. Ils ont inventé une méthode de re-échelonnement (rescaling).

Imaginez que vous regardez une photo très sombre avec une loupe. Si vous essayez de voir un détail minuscule, il disparaît dans l'obscurité.

• L'ancienne méthode : Vous regardiez fixement, et le détail disparaissait.
• La nouvelle méthode : Avant de regarder, vous zoomez (vous multipliez le nombre par un facteur) pour que le détail devienne visible sur votre petite loupe. Vous faites le calcul, puis vous dézoomez (vous divisez par le même facteur) à la fin pour retrouver la taille réelle.

En pratique, l'algorithme ajuste constamment le "volume" des nombres :

1. Si un nombre devient trop petit pour être vu par le format FP16, l'ordinateur le "gonfle" artificiellement pour qu'il reste visible.
2. Il effectue le calcul rapide avec ces nombres "gonflés".
3. À la fin de l'étape, il "dégonfle" le résultat pour le remettre à sa taille réelle.

C'est comme si vous utilisiez un télescope qui change automatiquement de grossissement pour ne jamais perdre de vue les étoiles, même les plus faibles.

🚀 Les résultats : Vitesse fulgurante

Grâce à cette astuce, les chercheurs ont pu utiliser les Lego miniatures (FP16) sur le superordinateur Fugaku avec succès :

• Stabilité : Le calcul ne s'effondre plus, même avec des nombres très petits.
• Vitesse : Le calcul est deux fois plus rapide qu'avec la méthode standard (FP32) et trois fois plus rapide qu'avec la méthode ultra-précise (FP64).
• Précision : Malgré l'utilisation de Lego miniatures, le résultat final reste aussi précis que si on avait utilisé les Lego géants, grâce aux corrections du chef d'orchestre.

🔮 Conclusion : Vers un futur plus rapide

Ce papier montre que nous pouvons accélérer considérablement les simulations de l'univers en utilisant des processeurs modernes (comme ceux d'A64FX) et des astuces mathématiques intelligentes pour éviter les erreurs de "vision" des petits nombres.

C'est une étape cruciale, car les futurs superordinateurs (comme le successeur de Fugaku) seront conçus pour être encore plus rapides avec ces petits nombres. Cette méthode ouvre la porte à des simulations plus complexes, plus rapides et plus détaillées de la matière qui nous compose.

En résumé : Ils ont appris à utiliser des outils de mesure très petits et rapides pour construire l'univers, en ajoutant un système d'agrandissement automatique pour ne jamais perdre les détails importants. Résultat : l'univers est simulé deux fois plus vite !

Résumé technique

1. Problématique

Les simulations de Chromodynamique Quantique sur réseau (Lattice QCD) sont extrêmement coûteuses en calcul, nécessitant généralement une précision en virgule flottante double (FP64) pour garantir la stabilité numérique. Cependant, les architectures modernes, notamment les processeurs équipés d'unités SIMD (comme l'A64FX du supercalculateur Fugaku) et les GPU, offrent des performances accrues avec des précisions inférieures (FP32 et FP16).

Le défi principal abordé dans cet article est l'application de la précision demi (FP16) dans les solveurs linéaires mixtes pour la Lattice QCD. Bien que les méthodes mixtes FP32/FP64 soient bien établies, l'utilisation directe du FP16 s'est révélée numériquement instable dans ce contexte. La principale cause de cette instabilité est le sous-débordement (underflow) : lors des itérations du solveur, les vecteurs de résidu deviennent si petits qu'ils tombent en dessous de la limite minimale représentable par le FP16 (environ $6.10 \times 10^{-5}$), ce qui les réduit à zéro et brise la convergence de l'algorithme.

2. Méthodologie

Les auteurs ont développé une approche basée sur un solveur mixte (FP16 pour le préconditionneur interne, FP64 pour le raffinement externe) en utilisant l'algorithme BiCGStab (Biconjugate Gradient Stabilized) sur le processeur A64FX. Pour surmonter les limitations du FP16, ils ont introduit des étapes de redimensionnement (rescaling) dynamiques :

• Redimensionnement dans le raffinement itératif (Algorithme 3) : Avant de convertir le vecteur résidu en FP16, il est mis à l'échelle par un facteur $\alpha$ pour que sa norme corresponde à une valeur optimale ($s$) proche de la limite supérieure du FP16, évitant ainsi le sous-débordement immédiat.
• Redimensionnement dans le solveur BiCGStab (Algorithme 4) : À chaque itération interne, le vecteur résidu est redimensionné par un facteur $\gamma$. Ce facteur est recalculé dynamiquement pour maintenir les éléments du vecteur dans la plage dynamique du FP16.
• Redimensionnement du vecteur solution (Algorithme 5) : Un facteur supplémentaire $\lambda$ est introduit pour redimensionner le vecteur solution, empêchant les débordements (overflow) si la solution a une norme très élevée par rapport à l'entrée.
• Implémentation matérielle : L'implémentation utilise l'extension vectorielle évolutive (SVE) du processeur A64FX avec le type _Float16 (conforme à IEEE 754) pour les opérations arithmétiques, tout en effectuant les réductions et les sommes partielles en FP32 ou FP64 pour préserver la précision globale.

3. Contributions Clés

• Stabilisation du FP16 : La démonstration que l'ajout de mécanismes de redimensionnement dynamiques permet d'utiliser le FP16 dans des solveurs BiCGStab pour la Lattice QCD, là où une approche naïve échoue.
• Nouvel algorithme de raffinement : Introduction d'une méthode de raffinement itératif qui recalcule les facteurs d'échelle ($\hat{s}$ et $\gamma$) en précision simple (FP32) ou double (FP64) pour corriger les erreurs d'arrondi et maintenir la stabilité.
• Étude de cas sur A64FX : Une analyse approfondie des performances sur l'architecture A64FX (Fugaku), exploitant les instructions SVE pour les opérations FP16, qui offrent un débit théorique quatre fois supérieur au FP64.
• Comparaison des paramètres : Une analyse systématique des paramètres de redimensionnement ($s$ pour le raffinement, $\sigma$ pour BiCGStab) pour identifier les configurations optimales minimisant le nombre d'itérations.

4. Résultats

Les expériences ont été menées sur le supercalculateur Fugaku avec une grille de taille $32^3 \times 64$ et une matrice de fermion de Wilson (matrice $D_W$).

• Stabilité et Convergence :
  • Sans redimensionnement, le solveur FP16/FP64 montre une convergence très lente et instable (stagnation) avec un nombre d'itérations explosif (plus de 5000 multiplications matrice-vecteur).
  • Avec la méthode de redimensionnement proposée, la convergence devient stable et rapide. Le nombre d'itérations internes en FP16 est comparable à celui du FP32 (environ 850-920 itérations contre 775 pour le FP64 pur), soit une augmentation inférieure à 20%.
• Performance et Temps d'exécution :
  • Le temps d'exécution total pour le solveur mixte FP16 est environ deux fois plus rapide que le solveur mixte FP32 et trois fois plus rapide que le solveur FP64 pur.
  • Les performances de pointe atteintes pour les multiplications matrice-vecteur sont de 8249 GFlops pour le FP16, contre 3895 GFlops pour le FP32 et 2045 GFlops pour le FP64.
• Réduction du sous-débordement : L'analyse montre que le redimensionnement efficace réduit drastiquement le nombre d'éléments nuls (sous-débordés) dans les vecteurs d'entrée du solveur basse précision, permettant une propagation correcte de l'information.

5. Signification et Perspectives

Ce travail prouve la faisabilité pratique de l'utilisation de la précision demi (FP16) pour des simulations scientifiques de haute précision comme la Lattice QCD sur des architectures ARM modernes (A64FX).

• Impact sur le calcul haute performance (HPC) : Cela ouvre la voie à une accélération significative des simulations sur le supercalculateur Fugaku actuel et prépare l'adoption de technologies FP16 avancées (comme les Tensor Cores) pour les futures générations de supercalculateurs (Fugaku NEXT).
• Généralité : Bien que l'étude se concentre sur la matrice de Wilson (la plus simple), les auteurs notent que la méthode de redimensionnement est applicable à des matrices plus complexes (Clover, Domain-Wall) et à d'autres solveurs itératifs.
• Futur : Les auteurs suggèrent d'étendre cette approche aux formats BF16 (Bfloat16), qui offrent une plage dynamique plus large, et d'implémenter ces algorithmes sur les GPU pour exploiter pleinement leurs cœurs Tensor.

En résumé, l'article démontre que grâce à des techniques de redimensionnement intelligentes, les limitations de la précision FP16 peuvent être contournées, offrant un gain de performance massif sans sacrifier la précision finale des résultats scientifiques.