Beyond Exascale: Dataflow Domain Translation on a Cerebras Cluster

Dit artikel introduceert het innovatieve Domain Translation-algoritme, dat op een cluster van 64 Cerebras CS-3-systemen een ongeëvenaarde prestatie van 112 PFLOP/s en perfecte weak scaling bereikt bij het simuleren van fysische systemen zoals een tsunami veroorzaakt door een asteroïde-inslag.

De kern

Stel je voor dat je een gigantische puzzel moet oplossen, maar in plaats van één persoon, heb je duizenden mensen die elk een klein stukje van de puzzel vasthouden. Dit is precies wat supercomputers doen wanneer ze complexe natuurverschijnselen simuleren, zoals de beweging van water tijdens een tsunami of hoe warmte zich verspreidt in een metaal.

Dit artikel vertelt het verhaal van een revolutionaire manier om deze puzzel op te lossen, ontwikkeld door Cerebras Systems en Sandia National Laboratories. Hier is de uitleg in gewone taal:

1. Het Probleem: De "Verkeersopstopping"

In de wereld van supercomputers werken de meeste systemen als een oude fabriek. Ze hebben een centrale "hoofd" (de processor) en een grote "pakketopslag" (het geheugen). Als de processor iets nodig heeft, moet hij naar de opslag rennen, het pakje pakken en terugrennen.

Bij simuleren van natuurwetten (zoals golven of warmte) moet elke rekenplek constant praten met zijn buren. Op traditionele computers ontstaat hierdoor een enorme verkeersopstopping. De computers wachten constant op elkaar. Zelfs de krachtigste computers ter wereld (de zogenaamde "Exascale"-computers) gebruiken maar een heel klein beetje van hun echte kracht voor deze taken, omdat ze te veel tijd kwijt zijn aan wachten in plaats van rekenen.

2. De Oplossing: Een Drijvende Eilandjes-Strategie

De auteurs hebben een nieuwe methode bedacht die ze "Domain Translation" (Gebiedsvertaling) noemen.

Stel je voor dat je een lange rij mensen hebt, elk met een stukje van een lange muur die ze moeten schilderen.

• De oude manier: Iedereen schildert zijn eigen stukje. Zodra ze klaar zijn, moeten ze wachten tot de buren hun stukje hebben gedaan voordat ze verder kunnen. Als de buren ver weg wonen (in een ander gebouw), duurt het lang voordat het bericht aankomt.
• De nieuwe manier (Cerebras): In plaats van stil te staan, beweegt de hele rij mensen één stap op na elke penseelstreek.
  • Als je je stukje hebt geschilderd, loop je één stap naar voren.
  • Je "nieuwe" stukje is nu precies waar je vorige buurman zat.
  • Omdat je beweegt, hoef je niet te wachten op een boodschap van ver weg. De informatie die je nodig hebt, komt gewoon mee met de beweging.

Dit klinkt als magie, maar het werkt omdat de hardware van Cerebras speciaal is gebouwd. In plaats van één grote processor met een lange weg naar het geheugen, hebben ze een enorme chip (groot als een hele wafel) vol met duizenden kleine rekenmotortjes die allemaal direct naast elkaar zitten. Het is alsof je een hele stad hebt waar elke straatnaam direct verbonden is met de volgende, zonder lange wegen.

3. De Resultaten: Een Tsunami in een Handomdraai

De auteurs hebben deze methode getest op een cluster van 64 van deze speciale computers. Het resultaat is verbazingwekkend:

• Snelheid: Ze konden een simulatie draaien met meer dan 1,6 miljoen tijdstappen per seconde. Dat is alsof je een heel jaar weer in een paar seconden kunt voorspellen.
• Efficiëntie: De computers werkten bijna 100% van de tijd aan het rekenen, in plaats van te wachten. Ze bereikten 88% van hun maximale snelheid, wat voor dit soort taken nog nooit is gezien.
• Energie: Ze waren ook zeer energiezuinig. Ze deden meer werk per watt dan de beste computers ter wereld op dit moment.

4. Het Toepassing: Een Asteroïde-inslag

Om te laten zien hoe krachtig dit is, hebben ze een simulatie gemaakt van een asteroïde die in de oceaan terechtkomt.

• Ze berekenden hoe de tsunami-golven zich over de hele planeet verspreiden.
• De simulatie was zo gedetailleerd (tot op 460 meter nauwkeurig) dat je de golven zag aankomen bij San Francisco Bay.
• Dit soort simulaties is cruciaal voor het begrijpen van klimaatverandering, weersvoorspellingen en het voorbereiden op rampen.

Samenvatting

Kortom: Traditionele computers staan vast in de file omdat ze te veel tijd verliezen aan communiceren. De auteurs van dit artikel hebben een slimme dans gevonden waarbij de computers zelf bewegen in plaats van stil te staan. Hierdoor verdwijnt de file volledig. Ze hebben bewezen dat je met deze nieuwe architectuur problemen kunt oplossen die tot nu toe onmogelijk of te duur waren, en dat je dit kunt doen met een snelheid en energie-efficiëntie die de wereld van wetenschap en techniek op zijn kop zet.

Het is alsof ze van een stilstaande trein een rijdende trein hebben gemaakt die over de rails vliegt in plaats van erop te trappen.

Technische samenvatting

Probleemstelling

Traditionele supercomputers (Von Neumann-architecturen) kampen bij het simuleren van fysische systemen (opgelost via Partiële Differentiaalvergelijkingen of PDE's) met het "geheugenmuur"-probleem. Hoewel deze systemen goed zijn in het vergroten van de ruimtelijke resolutie (zwakke schaling), stagneert de snelheid van tijdsintegratie (sterke schaling) door communicatie-overhead.

• Dominantie van Latentie: Bij domeindecompositie moeten buren tussen knooppunten data uitwisselen. Bij vaste partities veroorzaakt netwerklatentie een vertraging bij elke tijdstap, wat de totale simulatiesnelheid beperkt tot de snelheid van de traagste netwerkverbinding.
• Inefficiëntie van Ghost Cells: Bestaande methoden gebruiken "ghost cells" (herhaalde randdata) om latentie te verbergen, maar dit vereist redundante berekeningen en leidt tot een daling van de rekenefficiëntie naarmate de netwerklatentie toeneemt of de tijdstapsnelheid hoger wordt.
• Resultaat: Exascale-systemen halen vaak minder dan 5% van hun piekprestatie voor deze werklasten.

Methodologie: Domain Translation

De auteurs introduceren een nieuw algoritme genaamd Domain Translation (Domeinvertaling), ontworpen specifiek voor ruimtelijke architecturen zoals de Wafer Scale Engine (WSE) van Cerebras.

1. Principe: In plaats van een vast domein te delen waarbij data constant heen en weer moet, verschuift de mapping van gridpunten naar processors met elke tijdstap.
   • Het domein "reist" door het netwerk in één richting.
   • Dit creëert een unidirectionele dataflow in plaats van bidirectionele uitwisseling.
   • Een gridpunt ondervindt netwerklatentie pas nadat het het volledige subdomein van een knooppunt heeft doorkruist. Hierdoor wordt de latentiekosten "geamortiseerd" over de breedte van het subdomein.
2. Hardware Synergie: De methode maakt optimaal gebruik van de Cerebras-architectuur:
   • Spatial Architecture: Processors (PE's) en lokaal SRAM-geheugen zijn vlak verdeeld zonder hiërarchie.
   • Asynchrone Uitvoering: Elke PE werkt onafhankelijk; er is geen globale synchronisatie nodig.
   • Verborgen Latentie: Zolang de rekentijd voor een tijdstap groter is dan de netwerklatentie, wordt de latentie volledig verdoezeld. De processors blijven continu rekenen terwijl data in transit is.
3. Implementatie:
   • Gecodeerd in de Tungsten dataflow taal.
   • Geïmplementeerd op een cluster van 64 Cerebras CS-3 systemen (elk met een WSE-chip).
   • Toepassing op twee systemen: de Warmtevergelijking (Heat Equation) met 5- en 9-punts stencil, en de Ondiepe Watervergelijkingen (Shallow Water Equations - SWE) voor tsunami-simulaties.

Belangrijkste Bijdragen

• Novel Algorithm: De introductie van Domain Translation, een methode die netwerklatentie volledig verbergt door de domeinmapping dynamisch te verschuiven in plaats van statisch te houden.
• Perfecte Zwake Schaling: Het aantonen dat het algoritme perfect schaalt over een groot cluster zonder verlies aan efficiëntie, zelfs bij hoge netwerklatenties.
• Unprecedented Performance: Het bereiken van prestaties die ver boven het huidige niveau van Exascale-computing uitstijgen voor stencil-berekeningen.
• Planetaire Simulatie: Het succesvol toepassen van de methode op een realistisch, complex scenario: een tsunami veroorzaakt door een asteroïde-inslag op planetaire schaal (460m resolutie).

Resultaten

De tests werden uitgevoerd op een cluster van 64 CS-3 nodes. De resultaten zijn opmerkelijk:

• Snelheid: Simulaties draaien met meer dan 1,6 miljoen tijdstappen per seconde.
• Efficiëntie:
  • Zwake schaling: Perfecte schaling (near-perfect weak scaling) over het hele cluster.
  • Piekprestatie: Bereiking van 88% van de piekprestatie (peak performance) in een power-onbeperkte omgeving. Dit is ongeëvenaard voor stencil-berekeningen.
  • Rekenkracht: 112 PFLOP/s in een power-onbeperkte omgeving.
  • Energie-efficiëntie: 57 GFLOP/J in een power-beperkte omgeving (bij 1,2 GHz), wat hoger is dan de huidige leider in de Green500-lijst voor dichte lineaire algebra.
• Toepassingsvoorbeelden:
  • Warmtevergelijking: Toonde de schaalbaarheid en de overgang van IO-bound naar compute-bound gedrag.
  • Shallow Water Equations (SWE): Simulatie van een tsunami na een asteroïde-inslag (energie-equivalent van 2,4 miljoen ton TNT). De simulatie behaalde 53% van de piekprestatie, wat bewijst dat de methode werkt voor complexe, niet-lineaire hyperbolische PDE's.

Significantie en Impact

Deze studie markeert een paradigmaverschuiving in High Performance Computing (HPC):

1. Doorbraak in Schaling: Het bewijst dat het mogelijk is om zowel ruimtelijke als temporele schaling te maximaliseren op een groot cluster, wat eerder onmogelijk leek door de "memory wall".
2. Toekomst voor Aardwetenschappen: De methode maakt real-time of snellere-than-real-time simulaties van complexe aardse systemen mogelijk (weer, oceanen, klimaat), wat cruciaal is voor voorspelling en voorbereiding op rampen (zoals tsunami's).
3. Schalbaarheid naar Exa- en Zettascale: De auteurs suggereren dat deze techniek zelfs clusters in verschillende steden kan verbinden, waarbij de milliseconden-latentie tussen locaties wordt verdoezeld, waardoor parallelle applicaties over meerdere exascale-machines mogelijk worden.
4. Energie-efficiëntie: De enorme verbetering in GFLOP/J suggereert een duurzame route voor toekomstige supercomputing, waarbij rekenkracht niet langer lineair gekoppeld is aan een onhoudbare stijging in energieverbruik.

Kortom, dit paper demonstreert dat door de combinatie van een innovatief dataflow-algoritme en een ruimtelijke hardware-architectuur, de beperkingen van traditionele supercomputers voor tijdsgevoelige PDE-simulaties effectief kunnen worden doorbroken.