Beyond Exascale: Dataflow Domain Translation on a Cerebras Cluster

Ce papier présente l'algorithme novateur de « Domain Translation » déployé sur un cluster de 64 systèmes Cerebras CS-3, permettant d'atteindre des performances inédites de 112 PFLOP/s et une mise à l'échelle parfaite pour simuler des phénomènes physiques complexes comme un tsunami à l'échelle planétaire.

L'essentiel

🌊 Au-delà de l'Exascale : Comment faire voyager l'eau sans embouteillages

Imaginez que vous essayez de simuler un tsunami géant qui traverse toute la planète après la chute d'un astéroïde. C'est un défi colossal pour les ordinateurs classiques.

1. Le Problème : La "Muraille de Mémoire" et les Embouteillages

Dans les supercalculateurs actuels (les machines "Exascale"), il y a un gros problème : la communication.

• L'analogie : Imaginez une ville où chaque maison (un processeur) doit calculer la météo de son quartier. Pour savoir ce qui se passe chez le voisin, elles doivent s'envoyer des courriers.
• Le souci : Dans les ordinateurs classiques, les maisons sont séparées par de grandes distances. Chaque fois qu'une maison envoie un message à sa voisine, elle doit attendre que le facteur traverse la ville (la latence du réseau). Plus la ville est grande, plus les messages s'accumulent et ralentissent tout le monde. Les ordinateurs passent leur temps à attendre, au lieu de travailler. C'est comme si une équipe de pompiers passait 90 % de son temps à courir vers le camion et 10 % à éteindre le feu.

2. La Solution : Le "Déplacement de Domaine" (Domain Translation)

Les auteurs de ce papier (venant de Cerebras Systems et du laboratoire Sandia) ont inventé une méthode géniale appelée "Domain Translation".

• L'analogie du tapis roulant : Au lieu que les maisons restent fixes et que les messages voyagent loin, imaginez que tout le quartier est sur un tapis roulant géant.
  • À chaque instant, le quartier entier glisse d'un pas sur le tapis.
  • La maison qui a besoin des données de son voisin les reçoit instantanément, car le voisin vient juste d'arriver à sa porte.
  • Le secret : On ne fait pas attendre les données. On déplace le "monde" (les données) vers le processeur, plutôt que de faire voyager le processeur vers les données.
• Le résultat : Les messages n'ont plus besoin de traverser la ville. Ils voyagent juste d'une maison à l'autre, instantanément. Le facteur ne perd plus de temps. Tout le monde travaille à 100 % de son efficacité.

3. La Machine Magique : Le "Moteur sur une Galette" (Wafer Scale Engine)

Pour que ce tapis roulant fonctionne, il faut une machine spéciale. Les chercheurs ont utilisé des puces Cerebras CS-3.

• L'analogie : La plupart des ordinateurs sont faits de plusieurs petites puces collées ensemble (comme des pièces de Lego). C'est lent car les pièces doivent se parler entre elles.
• La différence : La puce Cerebras est une seule et unique galette de silicium (la taille d'une assiette) qui contient des centaines de milliers de petits cerveaux connectés directement les uns aux autres. C'est comme si toute la ville était construite sur une seule dalle de béton, sans routes, juste des couloirs ultra-rapides.
• L'avantage : La communication est si rapide que le "tapis roulant" (l'algorithme) peut tourner à une vitesse folle sans jamais s'arrêter.

4. Les Résultats : Une Vitesse Inédite

Grâce à cette combinaison (l'algorithme intelligent + la machine géante), ils ont obtenu des résultats stupéfiants :

• Vitesse : Ils ont simulé 1,6 million d'instants (pas de temps) par seconde. C'est comme regarder une vidéo au ralenti qui défile à l'envers à une vitesse vertigineuse.
• Efficacité : La machine utilise 88 % de sa puissance théorique maximale. Les supercalculateurs classiques n'arrivent souvent qu'à 5 % pour ce genre de tâche.
• Énergie : Ils ont fait ces calculs avec une efficacité énergétique record, bien supérieure aux meilleurs ordinateurs verts actuels.

5. L'Application Réelle : Un Tsunami Planétaire

Pour prouver que ce n'est pas juste de la théorie, ils ont simulé l'impact d'un astéroïde dans l'océan.

• Ils ont modélisé une vague géante se propageant autour de la Terre entière.
• Ils ont pu voir comment l'onde frappe San Francisco 14 heures après l'impact, avec une précision incroyable (résolution de 460 mètres).
• Pourquoi c'est important ? Cela permet de comprendre les catastrophes naturelles, de prévoir le temps avec une précision inégalée et de modéliser le climat futur beaucoup plus vite et mieux qu'avant.

En résumé

Ce papier nous dit : "Arrêtons de faire attendre nos ordinateurs pour qu'ils se parlent. Déplaçons le monde virtuel vers les ordinateurs, et utilisons une machine construite comme un seul cerveau géant."

C'est un changement de paradigme qui permet de résoudre des problèmes scientifiques (comme le climat ou les astéroïdes) qui étaient jusqu'ici trop lents ou trop chers à simuler. C'est comme passer d'une voiture de ville à une fusée pour voyager dans le temps des simulations.

Résumé technique

1. Le Problème : Les Limites de l'Architecture de Von Neumann et du Décomposition de Domaine

L'article identifie un goulot d'étranglement majeur dans la simulation de systèmes physiques à grande échelle (météorologie, océanographie, physique des plasmas) sur les supercalculateurs actuels (architecture de Von Neumann).

• Le Mur de la Mémoire et la Scalabilité Forte : Bien que les systèmes Exascale permettent d'augmenter la taille des problèmes (scalabilité faible), le taux d'évolution temporelle (scalabilité forte) stagne. La latence réseau et le mur de la mémoire empêchent une utilisation efficace des ressources lors de la décomposition de domaine classique.
• Inefficacité des Méthodes Actuelles : Les méthodes traditionnelles de décomposition de domaine (avec points fantômes ou ghost points) imposent une latence à chaque pas de temps pour les points situés aux frontières des sous-domaines. Pour masquer cette latence, il faut augmenter la taille des zones de recouvrement (ghost regions), ce qui réduit drastiquement l'efficacité de calcul et la consommation énergétique.
• Résultat : Les modèles de systèmes terrestres typiques n'atteignent souvent que moins de 5 % de la performance de crête théorique des machines, limitant la résolution temporelle et la précision des simulations.

2. Méthodologie : L'Algorithme de Traduction de Domaine (Domain Translation)

Les auteurs proposent une approche novatrice basée sur l'architecture spatiale des puces Wafer Scale Engine (WSE) de Cerebras Systems, combinée à un nouvel algorithme appelé Domain Translation.

• Principe de Base : Contrairement à une décomposition statique où les données restent fixes sur les nœuds, l'algorithme fait « glisser » (traduire) la carte des points de grille vers les processeurs à chaque itération de pas de temps.
• Fonctionnement en Anneau (Torus) : Le cluster est organisé logiquement en anneau. À chaque pas de temps, la partition de domaine se décale d'une distance égale au rayon du sténile ($p$).
  • Cela transforme le trafic réseau bidirectionnel (nécessaire pour les échanges de points fantômes) en un flux unidirectionnel.
  • La latence réseau n'est appliquée qu'une seule fois par point de grille, une fois qu'il a traversé l'ensemble du sous-domaine d'un nœud.
• Masquage de la Latence : Tant que la taille du sous-domaine (nombre de points par nœud) dépasse un seuil critique, le temps de calcul nécessaire pour traiter les points intérieurs est supérieur au temps de transit des données à travers le réseau. La latence est ainsi complètement masquée par le calcul.
• Architecture Matérielle (WSE) : L'algorithme tire parti de l'architecture spatiale de Cerebras :
  • Mémoire distribuée localement (SRAM) près de chaque élément de traitement (PE), éliminant le goulot d'étranglement de la mémoire partagée.
  • Réseau sur puce (NoC) à faible latence (< 2 ns intra-puce) permettant une exécution asynchrone et décentralisée sans synchronisation globale.
  • La topologie permet de « pencher » le plan de calcul dans l'espace-temps, alignant le chemin d'exécution des données avec le chemin de communication.

3. Contributions Clés

1. Algorithme de Traduction de Domaine : Introduction d'une méthode de parallélisation qui maintient la localité physique et temporelle sur une architecture spatiale, rendant la latence réseau négligeable pour les grands sous-domaines.
2. Implémentation Distribuée sur Cluster WSE : Première résolution distribuée d'équations aux dérivées partielles (EDP) sur un cluster de 64 nœuds WSE (CS-3).
3. Framework Logiciel Léger : Développement d'un framework générique en langage Tungsten (1000 lignes de code) capable de gérer la communication, la translation de données et les noyaux de calcul pour des sténiles de différentes tailles (5 et 9 points).
4. Validation sur des Cas Réalistes : Application réussie à deux types de problèmes :
   • Équation de la chaleur (sténiles 5 et 9 points).
   • Équations de l'eau peu profonde (SWE) pour la simulation d'un tsunami planétaire suite à un impact d'astéroïde.

4. Résultats Expérimentaux

Les expériences ont été menées sur un cluster de 64 systèmes CS-3 de Cerebras.

• Performance de Calcul :
  • Débit Temporel : Simulation de plus de 1,6 million de pas de temps par seconde.
  • Efficacité de Calcul : Atteinte de 88 % de la performance de crête du système (dans un environnement non contraint par la puissance) et 57 % pour les équations de l'eau peu profonde.
  • Performance Brute : 112 PFLOP/s (en environnement non contraint) et 84,7 PFLOP/s (en mode optimisé puissance).
• Scalabilité :
  • Scalabilité Faible (Weak Scaling) : Presque parfaite (efficacité de 98,8 % à 99,9998 %) lors de l'augmentation du nombre de nœuds (de 4 à 64) tout en maintenant la charge par nœud constante.
  • Scalabilité Forte (Strong Scaling) : Démontrée jusqu'à 128 nœuds pour des problèmes de taille fixe, surpassant les limites des architectures traditionnelles.
• Efficacité Énergétique :
  • Dans un environnement limité par la puissance (1,2 GHz, 23 kW par nœud), le cluster atteint 57 GFLOP/J.
  • Ce chiffre est supérieur à celui du leader actuel du classement Green500 (JEDI) pour des charges de travail d'algèbre linéaire dense, et constitue une performance inédite pour des calculs épars (sténiles).
• Application Scientifique : Simulation réussie de la propagation d'un tsunami à l'échelle planétaire (résolution de 460 m) suite à un impact d'astéroïde, modélisant la vague jusqu'à la baie de San Francisco.

5. Signification et Perspectives

• Au-delà de l'Exascale : Cette étude démontre qu'il est possible de dépasser les limitations actuelles de l'Exascale en termes de scalabilité forte et d'efficacité énergétique pour les simulations physiques.
• Changement de Paradigme : L'approche suggère que les clusters distribués, même géographiquement séparés, pourraient être interconnectés efficacement en utilisant la traduction de domaine pour masquer les latences réseau de plusieurs millisecondes, ouvrant la voie à des applications parallèles sur plusieurs machines Exascale.
• Impact sur la Modélisation Terrestre : Les résultats prometteurs sur les équations de l'eau peu profonde (cœur des modèles climatiques et météorologiques comme CESM, E3SM, MPAS) indiquent que cette architecture pourrait permettre une augmentation d'un ordre de grandeur du débit de simulation et une amélioration de 1,5 ordre de grandeur de l'efficacité énergétique pour la prévision météorologique et l'étude du système Terre.
• Futur : Les auteurs prévoient d'étendre cette méthode à des modèles atmosphériques complets (avec couches verticales empilées) et à des clusters encore plus vastes, exploitant pleinement le potentiel de l'architecture spatiale pour les sciences computationnelles.

En résumé, ce papier présente une percée majeure en combinant une architecture matérielle radicalement nouvelle (WSE) avec un algorithme de logiciel innovant (Domain Translation) pour résoudre le problème de la latence réseau dans les simulations à haute résolution, offrant des performances et une efficacité énergétique sans précédent.