Multi-GPU fast Fourier transforms in MATLAB (for large-scale phase-field crystal simulations)

Dit artikel presenteert een MATLAB-gebaseerd framework voor snelle Fourier-transformaties op meerdere GPU's dat de geheugenbeperkingen van enkele GPU's overwint en PFC-simulaties tot zestig keer sneller maakt dan CPU-gebaseerde implementaties.

De kern

🌌 De Grote Uitdaging: Het Simuleren van Kristallen

Stel je voor dat je een superkrachtige computer hebt die kan voorspellen hoe kristallen groeien, hoe defecten in metaal ontstaan of hoe ijskristallen zich vormen. Dit heet een faseveld-kristal (PFC) simulatie.

Het probleem is dat deze simulaties ontzettend veel rekenkracht nodig hebben. Het is alsof je probeert een heel groot, ingewikkeld schilderij te maken, maar je hebt maar één penseel en één klein stukje canvas. De wiskunde achter deze schilderijen (de "Fourier-transformatie") is als het snijden van een taart in duizenden stukjes: je moet dit bij elke stap van de simulatie opnieuw doen.

Tot nu toe was dit een probleem voor twee redenen:

1. Geheugen: De taart was zo groot dat hij niet op het geheugen van één videokaart (GPU) paste.
2. Snelheid: Zelfs als hij paste, duurde het snijden van de taart te lang.

🚀 De Oplossing: Een Team van Videokaarten

De onderzoekers uit deze paper hebben een nieuwe manier bedacht om dit op te lossen. In plaats van te wachten tot één videokaart alles doet, hebben ze een team van videokaarten laten samenwerken. Ze hebben twee slimme strategieën bedacht:

Strategie 1: De "Taart-deling" (Voor één heel groot probleem)

Stel je voor dat je een gigantische taart hebt die te groot is voor één persoon om te snijden.

• De oude manier: Iemand probeert de hele taart in één keer te snijden, maar zijn handen worden moe en hij past niet meer op de tafel.
• De nieuwe manier (Multi-GPU): Je deelt de taart in plakken op.
  • Videokaart A snijdt de linkerhelft.
  • Videokaart B snijdt de rechterhelft.
  • Ze wisselen even snel de randen uit (communicatie) zodat de sneden perfect aansluiten.
  • Dan snijdt A de bovenkant en B de onderkant.

In de computerwereld noemen ze dit slab-decompositie. Ze delen het rekenwerk op in lagen. Hierdoor kunnen ze simulaties draaien die zo groot zijn dat ze nooit op één enkele kaart hadden gepast.

Strategie 2: De "Specialisten" (Voor complexe situaties)

Soms moet je niet alleen een taart snijden, maar ook tegelijkertijd de room spuiten, de bessen leggen en de glazuur erover doen. Dit zijn verschillende taken die allemaal tegelijk moeten gebeuren.

• De oude manier: Eén persoon doet alles, maar moet steeds van taak wisselen, wat veel tijd kost.
• De nieuwe manier (Multiphysics): Je hebt vier mensen (videokaarten).
  • Videokaart 1 doet alleen de taart (de dichtheid).
  • Videokaart 2 doet alleen de room (snelheid).
  • Videokaart 3 doet de bessen (temperatuur).
  • Videokaart 4 doet de glazuur (andere variabelen).

Elke kaart is gespecialiseerd in één ding. Ze werken tegelijkertijd en roepen elkaar even kort aan als ze iets nodig hebben. Dit is perfect voor complexe situaties waar veel verschillende factoren (zoals stroming en temperatuur) samenwerken.

🏆 Wat hebben ze bereikt?

De onderzoekers hebben dit getest op krachtige computers in Duitsland. De resultaten zijn indrukwekkend:

• Snelheid: Hun nieuwe methode is tot 60 keer sneller dan de oude manier waarbij alleen gewone processors (CPU's) werden gebruikt. Zelfs voor standaard taken was het al 6 keer sneller.
• Grootte: Ze kunnen nu simulaties draaien die eerder onmogelijk waren omdat ze te groot waren voor het geheugen van één kaart.
• Toegankelijkheid: Ze hebben dit allemaal geschreven in MATLAB, een programmeertaal die veel wetenschappers al gebruiken. Ze hebben de code zo gemaakt dat hij makkelijk te begrijpen en uit te breiden is.

🎨 Waarom is dit belangrijk?

Dit is als het verschil tussen een handgetekend plaatje en een high-definition 3D-film.
Met deze nieuwe methode kunnen wetenschappers:

• Beter begrijpen hoe materialen breken of vervormen.
• Nieuwe, sterkere materialen ontwerpen voor de toekomst.
• Simulaties draaien die eerder dagen of weken duurden, nu in een paar uur.

Kortom: Ze hebben een sleutel gevonden om de deur naar de "grote simulaties" open te maken, zodat wetenschappers de wereld van kristallen en materialen in detail kunnen bestuderen, zonder vast te lopen in de wiskunde.

---

Kort samengevat: Ze hebben een slimme manier bedacht om meerdere videokaarten samen te laten werken als een team, zodat ze enorme, complexe rekenproblemen (zoals het groeien van kristallen) veel sneller en groter kunnen oplossen dan ooit tevoren.

Technische samenvatting

Probleemstelling

Grootschalige numerieke simulaties die gebruikmaken van de pseudospectrale Fourier-methode (zoals voor fase-veld-kristal (PFC) modellen) worden vaak beperkt door de geheugencapaciteit en prestaties van enkele GPU's.

• Aanleiding: PFC-modellen worden beheerst door tiende-orde partiële differentiaalvergelijkingen en vereisen een zeer fijne ruimtelijke resolutie op periodieke domeinen om kristalordening op atomaire schaal te modelleren.
• Bottleneck: De berekening wordt gedomineerd door herhaalde multidimensionale Fast Fourier Transforms (FFTs). Bij grote domeingroottes of bij uitbreidingen naar multiphysica (bijv. gekoppelde velden voor dichtheid, snelheid en temperatuur) overschrijdt de data de beschikbare VRAM van een enkele GPU.
• Huidige beperking: Bestaande PFC-implementaties zijn vaak beperkt tot single-GPU of CPU-parallelisatie. Er ontbreekt een specifieke, schaalbare multi-GPU FFT-implementatie binnen MATLAB, een omgeving die breed wordt gebruikt voor wetenschappelijk rekenen maar waarvoor dergelijke functionaliteit tot nu toe niet beschikbaar was.

Methodologie

De auteurs presenteren een MATLAB-framework dat twee complementaire strategieën implementeert om multi-GPU-berekeningen mogelijk te maken:

1. Strategie 1: Distributie van één FFT over meerdere GPU's (Domain Decomposition)

   • Principe: Een enkele grote 3D-FFT wordt verdeeld over meerdere GPU's via plaat-decompositie (slab decomposition) langs de z-as.
   • Werkwijze:
     1. Elke GPU voert lokale 2D-FFTs uit.
     2. Er vindt Peer-to-Peer (P2P) communicatie plaats om de data te herschikken (transpositie).
     3. Er wordt een laatste 1D-FFT uitgevoerd langs de resterende dimensie.
   • Doel: Dit maakt het mogelijk om probleemgroottes te behandelen die groter zijn dan het geheugen van één enkele GPU.

2. Strategie 2: Gelijktijdige berekening van meerdere FFT's (Multiphysics)

   • Principe: Verschillende fysische velden (bijv. dichtheid $\psi$ en snelheidscomponenten $v_1, v_2, v_3$) worden toegewezen aan aparte GPU's.
   • Werkwijze: Elk veld wordt op een aparte GPU berekend. Na elke tijdstap vindt er gesynchroniseerde communicatie plaats om de gekoppelde velden uit te wisselen.
   • Doel: Dit benut de rekenkracht van meerdere GPU's voor modellen met veel gekoppelde variabelen (zoals hydrodynamische PFC-modellen) en verhoogt de totale doorvoer.

Implementatie:

• De algoritmen zijn geschreven in MATLAB met gebruik van spmd (Single Program Multiple Data) voor parallelle GPU-sessies.
• Het framework maakt gebruik van de native FFT-functies van MATLAB, maar omzeilt de single-GPU-beperkingen door handmatige data-distributie en communicatie tussen de GPU's.

Belangrijkste Bijdragen

• Eerste multi-GPU FFT-implementatie in MATLAB: Dit paper introduceert de eerste generieke multi-GPU FFT-implementatie binnen de MATLAB-omgeving, onafhankelijk van specifieke applicaties.
• Twee schaalbare strategieën: Het biedt zowel een oplossing voor "grote" problemen (die niet in het geheugen van één GPU passen) als voor "complexe" problemen (met veel gekoppelde velden).
• Toepasbaarheid op PFC: De methoden zijn succesvol toegepast op zowel standaard PFC-modellen als geavanceerde hydrodynamische PFC-modellen in 2D en 3D.
• Open Source: De code is beschikbaar gesteld via GitHub en Zenodo, wat de toegankelijkheid voor de wetenschappelijke gemeenschap vergroot.

Resultaten

De prestaties zijn getest op HPC-clusters van de TU Dresden (met NVIDIA H100 en A100 GPU's) en vergeleken met CPU-implementaties (Intel Xeon Platinum, 100 cores).

• Standaard PFC-simulaties: Er werd een zesvoudige snelheidswinst (6x speedup) bereikt ten opzichte van een puur CPU-gebaseerde implementatie.
• Multiphysics-uitbreidingen: Voor simulaties met gekoppelde velden (hydrodynamische PFC) werd een snelheidswinst van tot wel zestig keer (60x) bereikt.
• Schaalbaarheid: De strategieën maken simulaties mogelijk op domeingroottes van $750^3$ tot $1400^3$ punten, wat met single-GPU setups onmogelijk of onpraktisch is.
• Visualisatie: De paper toont succesvolle simulaties van dendriet-vorming (2D) en polycristijne korrelgroei (3D), wat de validiteit van de numerieke methode bevestigt.

Betekenis en Impact

Dit werk is van groot belang voor de computergestuurde materiaalkunde en de numerieke analyse van complexe fysische systemen:

1. Overcoming Memory Walls: Het doorbreekt de geheugenbarrières van single-GPU systemen, waardoor onderzoekers veel grotere en realistischere simulaties kunnen uitvoeren.
2. MATLAB Ecosysteem: Het maakt MATLAB, een populaire tool voor onderzoekers, veel krachtiger voor GPU-acceleratie zonder dat men hoeft te migreren naar C++ of CUDA, wat de toegankelijkheid voor een bredere groep wetenschappers vergroot.
3. Toekomstperspectief: De strategie voor het verdelen van velden over GPU's is zeer geschikt voor toekomstige "coarse-grained" modellen die tientallen gekoppelde complexe velden vereisen, wat de weg vrijmaakt voor nog complexere multiphysica-simulaties.

Kortom, dit paper levert een cruciale infrastructuur voor het versnellen van pseudospectrale solvers op moderne GPU-clusters, specifiek gericht op de uitdagingen van fase-veld-kristal simulaties.