SFUMATO#: a GPU accelerated code for Self-Gravitational Radiation Hydrodynamics Simulation with Adaptive Mesh Refinement

Probleemstelling

Astrofysische simulaties van ster- en sterrenclusterformatie vereisen het oplossen van complexe vergelijkingen voor zelfgraviterende stralingshydrodynamica over een groot dynamisch bereik. Traditionele CPU-gebaseerde codes lopen tegen prestatielimieten aan bij het modelleren van deze processen, vooral wanneer ze worden uitgevoerd op moderne supercomputers die steeds vaker gebaseerd zijn op Graphics Processing Units (GPUs).

De belangrijkste uitdagingen bij de migratie naar GPU-architecturen zijn:

1. Warp-divergentie: Veel bestaande methoden voor niet-evenwichtschemie en thermische evolutie gebruiken iteratieve Newton-Raphson (NR) methoden. Op GPUs kan het variëren van het aantal iteraties per proces leiden tot warp-divergentie, wat de rekenprestaties aanzienlijk verlaagt.
2. Computatiekosten: De berekening van de temperatuur van stofkorrels vereist vaak iteratieve energiebalansberekeningen, wat computertijd kost.
3. Parallelle schaalbaarheid: Zelfgravitatie-oplossers (vaak gebaseerd op multigrid-methoden) hebben een complexe communicatiepatroon die de schaalbaarheid op meerdere GPUs kan beperken.

Methodologie

De auteurs presenteren SFUMATO#, een nieuwe implementatie van de SFUMATO-code, ontworpen voor GPU-versnelling via CUDA en HIP frameworks. De code gebruikt een adaptief rooster (AMR) met een octree-structuur voor zelf-similare blokken.

Kernmethodologische innovaties:

• Lineair Geïmpliceerde (LI) Methode: In plaats van de traditionele Newton-Raphson methode voor chemie en thermische evolutie, gebruiken de auteurs een lineair geïmpliceerde (LI) methode. Deze methode lineariseert de vergelijkingen en lost ze op zonder iteraties, waardoor warp-divergentie op GPUs wordt vermeden.
• Pseudo Warmtecapaciteit van Stof: Om de berekening van de stoftemperatuur ($T_d$) te versnellen zonder iteraties, wordt een "pseudo" specifieke warmtecapaciteit ($C_d$) geïntroduceerd. In plaats van de realistische, zeer kleine waarde ($~10^4$ erg g$^{-1}$ K$^{-1}$) te gebruiken, wordt deze waarde kunstmatig verhoogd (tot $10^7$ erg g$^{-1}$ K$^{-1}$). Dit verlengt de tijdschaal voor energiebalans, waardoor grotere tijdstappen mogelijk zijn zonder dat de nauwkeurigheid significant verloren gaat.
• GPU-architectuur: De code gebruikt MPI voor data-transport tussen GPUs. Geheugenbeheer kan gebeuren via apparaatgeheugen (device memory) of unified memory. Berekeningen worden parallelle op cel-niveau uitgevoerd, met gebruik van niet-blokkerende streams voor efficiënt kernel-beheer.
• Zelfgravitatie: De zwaartekracht wordt opgelost met een multigrid-oplosser (FMG- en V-cycli) die geschikt is voor AMR-roosters.
• Straling: Stralingstransport wordt opgelost met de M1-sluiting en de benadering van een gereduceerde lichtsnelheid ($\tilde{c} = 10^{-4}c$). Er worden drie frequentiebanden gebruikt (EUV, FUV, IR).

Belangrijkste Bijdragen

1. Ontwikkeling van SFUMATO#: Een volledig GPU-versnelde code voor zelfgraviterende stralingshydrodynamica met AMR, ondersteunend voor multi-GPU uitvoering.
2. Nieuwe Oplossers: Implementatie van een niet-iteratieve LI-oplosser voor chemie en thermodynamica, wat de prestaties op GPUs aanzienlijk verbetert ten opzichte van iteratieve NR-methoden.
3. Validatie van Pseudo $C_d$: Het aantonen dat het verhogen van de stofwarmtecapaciteit tot $10^7$ erg g$^{-1}$ K$^{-1}$ de rekentijd drastisch verkort zonder de fysieke resultaten (zoals gasdichtheid en temperatuur) significant te beïnvloeden, zolang $C_d$ onder de specifieke warmtecapaciteit van het gas blijft.
4. Prestatieanalyse: Een uitgebreide analyse van de strong-scaling prestaties van hydrodynamica, zelfgravitatie en chemie-oplossers op zowel uniforme als AMR-roosters.

Resultaten

• Nauwkeurigheid: Vergelijkingen met analytische oplossingen en resultaten van de Newton-Raphson methode tonen aan dat de LI-methode zeer nauwkeurig is.
  • In tests voor moleculaire waterstofvorming en foto-ionisatie worden de resultaten nauwkeurig gereproduceerd.
  • Bij de ineenstorting van Bonnor-Ebert bollen en de vorming van HII-regio's (tot dichtheden van $n_H \sim 10^{11}$ cm$^{-3}$) blijft de fout in temperatuur en dichtheid verwaarloosbaar klein, zelfs met de verhoogde $C_d$.
• Prestaties (GPU vs. CPU):
  • De GPU-implementatie is ongeveer 10 tot 20 keer sneller dan de CPU-versie voor hydrodynamica en zelfgravitatie.
  • Voor de chemie-oplosser is de LI-methode met een verhoogde $C_d$ (bijv. $10^7$) ongeveer 5 keer sneller dan de Newton-Raphson methode op GPUs in complexe scenario's zoals HII-regio's.
• Schaalbaarheid:
  • De hydrodynamica-oplosser toont goede strong-scaling (efficiëntie > 0.6 tot 8 GPUs).
  • De zelfgravitatie-oplosser vertoont een afname in schaalbaarheid naarmate het aantal GPUs toeneemt, voornamelijk door de kosten van MPI-communicatie tijdens de multigrid-cycli.
  • In realistische simulaties van gigantische moleculaire wolken (GMC) wordt de zelfgravitatie-oplosser vaak de "bottleneck" bij een groot aantal GPUs, omdat deze relatief sneller is dan de andere componenten en dus de totale rekentijd domineert wanneer de parallelle efficiëntie daalt.

Betekenis en Conclusie

SFUMATO# is een krachtige tool voor het simuleren van sterrenclusterformatie in verschillende metaliciteitsomgevingen. De belangrijkste conclusie is dat het gebruik van een lineair geïmpliceerde methode in combinatie met een verhoogde pseudo-warmtecapaciteit voor stof een optimale balans biedt tussen rekennauwkeurigheid en computerefficiëntie op GPU-architecturen.

De studie benadrukt dat voor efficiënte parallelle uitvoering het aantal GPU-apparaten zorgvuldig moet worden gekozen. Omdat de zelfgravitatie-oplosser minder goed schaalt dan de hydrodynamica, moet het aantal devices zo worden ingesteld dat de rekentijd van de zwaartekracht-oplosser vergelijkbaar blijft met die van de andere componenten. Dit zorgt voor een evenwichtige belasting en voorkomt dat de zwaartekrachtberekening de totale simulatie vertraagt.

De code maakt het mogelijk om hogeresolutie simulaties uit te voeren die voorheen onbereikbaar waren door resolutielimieten, en is klaar voor toepassing op toekomstige studies van gasaccretie en schijfformatie tijdens de vorming van sterrenclusters.