Streami: An MPI Data-Parallel Library to Compute Field Lines on GPUs

Dit artikel introduceert Streami, een open-source, uitbreidbare, door GPU versnelde bibliotheek die interfaceert met MPI-applicaties om efficiënt veldlijnen in fluïdumstromingen te berekenen voor zowel post-hoc als in-situ analyse.

De kern

Stel je voor dat je de onzichtbare stromingen van een enorme, kolkende storm binnen een supercomputer probeert te visualiseren. In de wereld van de vloeistofdynamica gebruiken wetenschappers "veldlijnen" (zoals stroomlijnen) om de paden te tekenen die kleine deeltjes zouden volgen terwijl ze op deze stromingen rijden. Het is alsof je een miljoen bladeren in een rivier gooit om te zien hoe het water stroomt.

Het probleem is dat deze simulaties enorm zijn. Ze draaien op supercomputers met tientallen krachtige grafische kaarten (GPU's) die samenwerken, verdeeld over vele verschillende machines. Normaal gesproken zou je, om deze lijnen te tekenen, de simulatie moeten stoppen, alle enorme hoeveelheden data naar een aparte computer moeten kopiëren en dan pas proberen ze te tekenen. Maar het verplaatsen van zoveel data is alsoals proberen de hele oceaan in een theekopje te gieten; het is traag, duur en creëert een flessenhals die alles stillegt.

Maak kennis met "Streami."

Beschouw Streami als een gespecialiseerde, snelle koeriersdienst die ín de supercomputer zelf leeft. In plaats van de data naar buiten te verplaatsen, verplaatst Streami de "bladeren" (de deeltjes) direct tussen de verschillende grafische kaarten die de data al vasthouden.

Zo werkt het, onderverdeeld in eenvoudige concepten:

1. De "In-Situ" Leveringsdienst

De meeste visualisatietools zijn als een bezorgdienst die een pakket oppakt, het naar een magazijn rijdt, sorteert en dan verzendt. Streami is anders. Het is als een teleportatienetwerk dat direct in de fabrieksvloer is gebouwd.

• De Opzet: De supercomputer is verdeeld in buurten (datapartities), waarbij elke buurt wordt beheerd door een specifieke GPU.
• De Taak: Streami laat een deeltje beginnen in Buurt A, door de stroming bewegen, en als het de grens naar Buurt B oversteekt, "teleporteert" het onmiddellijk (via een snelle, directe verbinding) naar de GPU die Buurt B beheert.
• Het Voordeel: De data verlaat de supercomputer nooit. De simulatie en de visualisatie vinden tegelijkertijd plaats, op dezelfde machines, zonder de trage "vrachtwagenrit" van het kopiëren van data.

2. De Twee Lagen van de Bibliotheek

Het artikel beschrijft Streami als een systeem met twee "talen" of lagen:

• De Low-Level Laag (De Motor): Dit is het zware materieel, geschreven in een zeer snelle, technische taal (CUDA/C++). Dit is het deel dat daadwerkelijk de wiskunde voor elk afzonderlijk deeltje berekent, controleert in welke buurt het zich bevindt en de directe teleportatie tussen computers afhandelt. Het is ontworpen om zo snel fysiek mogelijk te zijn, gebruikmakend van "templates" zodat het zich kan aanpassen aan verschillende typen datagroosters zonder te vertragen.
• De High-Level Laag (Het Dashboard): Dit is de gebruiksvriendelijke interface (geschreven in C++). Het is als het stuur en het dashboard van een auto. Wetenschappers hoeven niet te weten hoe de motor werkt; ze vertellen de dashboard simpelweg: "Teken een stroom deeltjes beginnend bij dit punt," en het dashboard handelt de complexe wiskunde en communicatie op de achtergrond af.

3. Omgaan met Verschillende Terreinen

Vloeistofsimulaties kunnen rommelig zijn. Soms is de data een net, uniform rooster (zoals een schaakbord). Andere keren is het een chaotisch, grillig mesh van vormen (zoals een stapel rotsen).

• Streami is uitbreidbaar. Het heeft een "universele vertaler" die zowel de nette schaakbordroosters als de rommelige rotsstapels kan begrijpen.
• Als een wetenschapper een nieuwe, vreemde soort data heeft, kunnen ze deze in de low-level motor van Streami pluggen zonder het hele systeem opnieuw te hoeven bouwen. De bibliotheek begrijpt hoe ze door het specifieke terrein van die data moeten navigeren.

4. Praktijktesten

De auteurs hebben Streami getest op een cluster met 16 krachtige GPU's. Ze volgden 100.000 deeltjes die door een gesimuleerd sterrenstelsel bewogen.

• Het Resultaat: Het systeem was ongelooflijk snel en deed er slechts ongeveer 1 tot 2 milliseconden over om alle deeltjes één stap vooruit te bewegen.
• De Flessehals: Het enige dat het proces iets vertraagde, was het "telefoongesprek" tussen de verschillende computers (MPI-communicatie) om te zeggen: "Hé, dit deeltje is nu in jouw buurt." Zelfs dan was het zeer efficiënt.

Samenvatting

Kortom, Streami is een hulpmiddel waarmee wetenschappers stroomlijnen (zoals wind- of waterstromingen) direct binnen een enorme supercomputer kunnen tekenen terwijl de simulatie draait. Het vermijdt het trage, pijnlijke proces van het kopiëren van enorme hoeveelheden data. In plaats daarvan fungeert het als een naadloze brug, waardoor deeltjes direct tussen verschillende grafische kaarten kunnen springen, wat het mogelijk maakt om complexe, massieve vloeistofstromen in real-time of bijna real-time te visualiseren.

De auteurs hebben dit hulpmiddel open-source gemaakt, wat betekent dat iedereen het kan gebruiken om eigen "interactieve seed point placement" apps (waarbij je kunt klikken en virtuele bladeren in een simulatie kunt laten vallen om te zien waar ze heen gaan) te bouwen of het te integreren in hun eigen wetenschappelijke workflows.

Technische samenvatting

Technische Samenvatting: Streami – Een MPI Data-Parallel Bibliotheek voor GPU-versnelde Veldlijn-berekening

Probleemstelling

Veldlijnen (bijv. stroomlijnen, streeplijnen) zijn essentiële primitieven voor het analyseren van fluïdumstromingen, met name in Computational Fluid Dynamics (CFD). Deze simulaties draaien doorgaans op High-Performance Computing (HPC) systemen die gebruikmaken van gedistribueerd geheugen en multi-GPU nodes. Hoewel individuele GPU-berekeningen worden versneld via API's zoals CUDA of HIP, rust de communicatie tussen nodes op MPI.

Huidige visualisatiewerkstromen kampen met significante knelpunten:

1. Datamobiliteit: Het kopiëren van enorme, gedistribueerde datasets naar een aparte werkstation voor post-processing is vaak onhaalbaar vanwege het volume en de latentie.
2. Gebrek aan Abstractie: Hoewel er bibliotheken bestaan voor scalaire veldvisualisatie (bijv. OSPRay, ANARI) of in-situ orchestratie (bijv. Catalyst, Ascent), is er geen hoogwaardige, data-parallelle abstractie specifiek voor veldlijn-berekening die naadloos integreert met bestaande MPI-domeindecompositie.
3. Onflexibiliteit: Bestaande tools vereisen vaak her-sampling of her-mapping van aangepaste stromingsvelden naar specifieke datastructuren (bijv. voxel-grids), wat leidt tot kwaliteitsverlies of excessief geheugengebruik. Bovendien is de afhandeling van load imbalans en de migratie van deeltjes tussen MPI-ranks (het "ping-pong"-effect) vaak nauw gekoppeld aan specifieke ecosystemen zoals VTK, wat de draagbaarheid beperkt.

Methodologie

De auteurs presenteren Streami, een uitbreidbare, open-source bibliotheek ontworpen om veldlijnen direct op multi-GPU clusters te berekenen met behulp van een data-parallel aanpak. Streami fungeert als een dunne laag tussen CFD-simulaties en low-level rendering, waarbij zowel in-situ als in-transit visualisatie wordt ondersteund.

Software Architectuur

Streami is verdeeld in twee primaire interfaces:

1. Low-Level Interface (CUDA/C++)
Deze laag levert de prestatie-kritische bouwstenen en maakt gebruik van compile-time polymorfisme om runtime-overhead te vermijden.

• Vector Field Abstraction: De kernabstractie is een VecField klasse met zowel host- als device-componenten. De device-klasse implementeert twee cruciale intrinsieke functies:
  • sample(position): Reconstrueert de vectorveldwaarde op een specifieke 3D-positie.
  • destinationID(position): Bepaalt de MPI-rank (GPU) die de data voor een gegeven positie bezit. Dit stelt de bibliotheek in staat om willekeurige ruimtelijke partities (bijv. uniforme grids, boom-gebaseerde structuren) te verwerken zonder een specifieke datalayout op te leggen.
• Particle Advection: Geïmplementeerd via CUDA-kernels (bijv. met behulp van Runge-Kutta integratie). De kernel samplet het veld, werkt de deeltjesposities bij en bepaalt de doel-rank.
• Inter-GPU Communicatie: De uitwisseling van deeltjes tussen ranks wordt afgehandeld door RaFI, een geoptimaliseerde bibliotheek die oorspronelijk is ontworpen voor ray tracing. RaFI behandelt deeltjes als stralen (rays), buffert ze en voert collectieve all-to-all transfers uit met behulp van CUDA-aware MPI. Dit abstraheert de complexiteit van naburige queries en halo-regio's voor de gebruiker.

2. High-Level Interface (Object-Georiënteerd C++)
Deze laag biedt een Tracer klasse die de visualisatie-algoritmen orkestreert:

• Algoritme Ondersteuning: Ondersteunt Stroomlijnen (stationaire stroming) en Streeplijnen (niet-stationaire stroming).
• Workflow: De Tracer beheert de simulatietijdstap, deeltjesgeneratie (seed placement) en de iteratieve aanroep van de low-level update() kernel.
• Flexibiliteit: De API stelt applicaties in staat om data in hun natuurlijke formaat (gestructureerd of ongestructureerd) door te geven zonder her-sampling, mits er een compatibele field-type implementatie beschikbaar is.

Field Extensies

Streami ondersteunt verschillende veldrepresentaties via C++ templates. Momenteel worden de volgende ondersteund:

• Gestructureerde Velden: Uniforme voxel-grids opgeslagen in het globale geheugen.
• Ongestructureerde Velden: Grids bestaande uit tetraëders, piramides, prisma's en hexaëders, gebruikmakend van een GPU-versnelde Bounding Volume Hierarchy (BVH) via cuBQL voor ruimtelijke queries.

Belangrijkste Bijdragen

1. Een Drop-in Bibliothek: Streami biedt een eenvoudige API voor de integratie van veldlijn-berekeningen in bestaande HPC-pipelines zonder dat er datacopies of context switches nodig zijn.
2. Data-Parallel Efficiëntie: Door gebruik te maken van de bestaande domeindecompositie van de CFD-applicatie, vermijdt Streami de problemen met load-balancing en datatransfers die gepaard gaan met traditionele post-processing.
3. Uitbreidbaarheid: Gebruikers kunnen aangepaste vectorveld-types en ruimtelijke partitioneringsschema's (bijv. boom-traversals) definiëren via compile-time templates, waardoor her-sampling overbodig wordt.
4. Open Source Release: Streami wordt uitgebracht onder de Apache 2.0 licentie en biedt een referentie-implementatie voor multi-GPU, MPI-gebaseerde stromingsvisualisatie.

Resultaten en Prestaties

De auteurs evalueerden Streami met een astrofysische dataset (1K³ voxels) op maximaal 16 A100 GPU's (twee nodes).

• Prestaties: Enkele advectie-stappen voor 100.000 deeltjes duurden gemiddeld 1–2 ms.
• Bottlenecks: De resultaten wijzen erop dat de prestaties primair worden beperkt door de MPI-communicatie-overhead in plaats van de lokale GPU-berekening.
• Schaalbaarheid: De bibliotheek slaagde erin om deeltjes over gedistribueerde ranks te traceren, waarbij de RaFI-bibliotheek de deeltjesuitwisseling efficiënt afhandelde.
• Ongestructureerde Data: De bibliotheek paste de gestructureerde dataset succesvol aan naar een ongestructureerd hexaëdrisch formaat, hoewel geheugenbeperkingen uitvoering op zeer lage GPU-aantallen (1–4 GPU's) voor de ongestructureerde variant verhinderden vanwege de overhead van de BVH-structuur.

Betekenis en Claims

Het artikel positioneert Streami als een noodzakelijke abstractie die een gat vult in de huidige stand van zaken voor multi-node, multi-GPU stromingsvisualisatie. De primaire betekenis ligt in het vermogen om:

• Te Interopereren met bestaande HPC-simulatieapplicaties door hun domeindecompositie te hergebruiken.
• Overhead te Minimaliseren door het vermijden van datacopies en context switches, wat het geschikt maakt voor zowel interactieve post-processing als in-situ analyse.
• Een Fundament te Bieden voor toekomstige uitbreidingen naar andere veldlijn-typen (bijv. padlijnen) en complexe veldtopologieën zonder de "speed-of-light" prestaties op te offeren die vereist zijn voor grootschalige HPC-visualisatie.

De auteurs concluderen dat hoewel de bibliotheek momenteel een bescheiden set functies heeft (gericht op stroomlijnen en streeplijnen), de ontwerpfilosofie — het scheiden van de low-level veldsampling van de high-level algoritmelogica — een robuust framework biedt voor efficiënte, data-parallelle veldlijn-berekening.