Streami: An MPI Data-Parallel Library to Compute Field Lines on GPUs

Questo articolo presenta Streami, una libreria open-source, estensibile e accelerata tramite GPU che si interfaccia con applicazioni MPI per calcolare efficientemente le linee di campo nei flussi fluidi sia per l'analisi post-hoc che in-situ.

L'essenziale

Immagina di cercare di visualizzare le correnti invisibili di una tempesta massiccia all'interno di un supercomputer. Nel mondo della fluidodinamica, gli scienziati usano le "linee di campo" (come le linee di flusso) per disegnare i percorsi che piccole particelle seguirebbero mentre cavalcano queste correnti. È come lanciare un milione di foglie in un fiume per vedere dove scorre l'acqua.

Il problema è che queste simulazioni sono enormi. Girano su supercomputer che hanno decine di potenti schede grafiche (GPU) che lavorano insieme, suddivise tra molte diverse macchine. Di solito, per disegnare queste linee, dovresti fermare la simulazione, copiare tutti questi massicci dati su un computer separato e poi provare a disegnarli. Ma spostare una quantità simile di dati è come cercare di versare l'intero oceano in una tazzina da tè: è lento, costoso e crea un collo di bottiglia che blocca tutto.

Entra in gioco "Streami".

Pensa a Streami come a un servizio di corriere specializzato ad alta velocità che vive dentro il supercomputer stesso. Invece di spostare i dati all'esterno, Streami sposta le "foglie" (le particelle) direttamente tra le diverse schede grafiche che già contengono i dati.

Ecco come funziona, suddiviso in concetti semplici:

1. Il servizio di consegna "In-Situ"

La maggior parte degli strumenti di visualizzazione sono come un servizio di consegna che ritira un pacco, lo guida verso un magazzino, lo smista e poi lo spedisce. Streami è diverso. È come una rete di teletrasporto costruita proprio all'interno della fabbrica.

• L'impostazione: Il supercomputer è diviso in quartieri (partizioni di dati), con ogni quartiere gestito da una specifica GPU.
• Il compito: Streami permette a una particella di iniziare nel Quartiere A, muoversi attraverso il flusso e, se attraversa il confine entrando nel Quartiere B, di "teletrasportarsi" istantaneamente (tramite una connessione diretta e veloce) alla GPU che gestisce il Quartiere B.
• Il beneficio: Nessun dato lascia mai il supercomputer. La simulazione e la visualizzazione avvengono contemporaneamente, sugli stessi macchinari, senza il lento "viaggio in camion" del copia dei dati.

2. I due livelli della biblioteca

Il documento descrive Streami come avente due "linguaggi" o livelli:

• Il livello a basso livello (Il motore): Questa è la macchina pesante scritta in un linguaggio molto veloce e tecnico (CUDA/C++). È la parte che calcola effettivamente la matematica per ogni singola particella, controlla in quale quartiere si trova e gestisce il teletrasporto istantaneo tra i diversi computer. È progettata per essere il più veloce possibile, utilizzando i "template" in modo da poter adattarsi a diversi tipi di griglie di dati senza rallentare.
• Il livello ad alto livello (La dashboard): Questa è l'interfaccia utente intuitiva (scritta in C++). È come il volante e il cruscotto di un'auto. Gli scienziati non hanno bisogno di sapere come funziona il motore; dicono semplicemente alla dashboard: "Disegnami un flusso di particelle partendo da qui", e la dashboard gestisce la matematica complessa e la comunicazione dietro le quinte.

3. Gestire terreni differenti

Le simulazioni di fluidi possono essere disordinate. A volte i dati sono una griglia uniforme e ordinata (come una scacchiera). Altre volte, sono un mesh caotico e irregolare di forme (come un mucchio di rocce).

• Streami è estensibile. Possiede un "traduttore universale" che può comprendere sia le griglie ordinate a scacchiera che i mucchi di rocce disordinati.
• Se uno scienziato ha un nuovo tipo di dati strano, può collegarlo al motore a basso livello di Streami senza dover ricostruire l'intero sistema. La libreria capisce come navigare nel terreno specifico di quei dati.

4. Test nel mondo reale

Gli autori hanno testato Streami su un cluster con 16 potenti GPU. Hanno tracciato 100.000 particelle che si muovevano attraverso una galassia simulata.

• Il risultato: Il sistema è stato incredibilmente veloce, impiegando solo circa 1 o 2 millisecondi per far avanzare tutte le particelle di un passo.
• Il collo di bottiglia: L'unica cosa che l'ha rallentata leggermente è stata la "telefonata" tra i diversi computer (comunicazione MPI) per dire: "Ehi, questa particella è ora nel tuo quartiere". Anche in questo caso, è stata molto efficiente.

Riassunto

In breve, Streami è uno strumento che permette agli scienziati di disegnare linee di flusso (come correnti di vento o d'acqua) direttamente all'interno di un enorme supercomputer mentre la simulazione è in corso. Evita il processo lento e doloroso di copiare enormi quantità di dati. Invece, agisce come un ponte fluido, permettendo alle particelle di saltare istantaneamente tra diverse schede grafiche, rendendo possibile la visualizzazione di flussi fluidi complessi e massicci in tempo reale o quasi in tempo reale.

Gli autori hanno reso questo strumento open-source, il che significa che chiunque può usarlo per costruire le proprie app di "posizionamento interattivo di punti di semina" (dove puoi cliccare e far cadere foglie virtuali in una simulazione per vedere dove vanno) o integrarlo nei propri flussi di lavoro scientifici.

Sommario tecnico

Riepilogo Tecnico: Streami – Una libreria MPI Data-Parallel per il calcolo di linee di campo accelerato su GPU

Problema

Le linee di campo (ad esempio, linee di flusso o linee di scia) sono primitive essenziali per l'analisi dei flussi fluidodinamici, in particolare nella Fluidodinamica Computazionale (CFD). Queste simulazioni vengono tipicamente eseguite su sistemi di High-Performance Computing (HPC) che utilizzano memoria distribuita e nodi multi-GPU. Sebbene i calcoli individuali sulle GPU siano accelerati tramite API come CUDA o HIP, la comunicazione tra i nodi si affida a MPI.

Gli attuali workflow di visualizzazione affrontano colli di bottiglia significativi:

1. Movimento dei Dati: Copiare enormi dataset distribuiti verso una workstation separata per il post-processing è spesso impraticabile a causa del volume e della latenza.
2. Mancanza di Astrazione: Sebbene esistano librerie per la visualizzazione di campi scalari (ad esempio, OSPRay, ANARI) o per l'orchestrazione in-situ (ad esempio, Catalyst, Ascent), non esiste un'astrazione data-parallel ad alte prestazioni specificamente progettata per il calcolo di linee di campo che si integri perfettamente con le esistenti decomposizioni di dominio MPI.
3. Inflessibilità: Gli strumenti esistenti richiedono spesso il campionamento o la rimappatura di campi di flusso personalizzati per adattarli a strutture dati specifiche (ad esempio, griglie voxel), portando a una perdita di qualità o a un uso eccessivo della memoria. Inoltre, la gestione del carico sbilanciato e della migrazione delle particelle tra i rank MPI (l'effetto "ping-pong") è spesso strettamente accoppiata a ecosistemi specifici come VTK, limitandone la portabilità.

Metodologia

Gli autori presentano Streami, una libreria estensibile e open-source progettata per calcolare linee di campo direttamente su cluster multi-GPU utilizzando un approccio data-parallel. Streami agisce come uno strato sottile tra le simulazioni CFD e il rendering a basso livello, supportando sia la visualizzazione in-situ che in-transit.

Architettura del Software

Streami è divisa in due interfacce primarie:

1. Interfaccia a Basso Livello (CUDA/C++)
Questo strato fornisce i blocchi costruttivi critici per le prestazioni, utilizzando il polimorfismo a tempo di compilazione per evitare l'overhead a runtime.

• Astrazione del Campo Vettoriale: L'astrazione centrale è una classe VecField con componenti sia host che device. La classe device implementa due funzioni intrinseche critiche:
  • sample(position): Ricostruisce il valore del campo vettoriale in una specifica posizione 3D.
  • destinationID(position): Determina il rank MPI (GPU) che detiene i dati per una data posizione. Ciò consente alla libreria di gestire arbitrarie partizioni spaziali (ad esempio, griglie uniformi, strutture ad albero) senza imporre un layout di dati specifico.
• Avvezione delle Particelle: Implementata tramite kernel CUDA (ad esempio, usando l'integrazione Runge-Kutta). Il kernel campiona il campo, aggiorna le posizioni delle particelle e determina il rank di destinazione.
• Comunicazione Inter-GPU: Lo scambio di particelle tra i rank è gestito da RaFI, una libreria ottimizzata originariamente progettata per il ray tracing. RaFI tratta le particelle come raggi, bufferizzandole e performing trasferimenti collettivi all-to-all utilizzando CUDA-aware MPI. Questo astrae la complessità delle query di vicinato e delle regioni di halo dall'utente.

2. Interfaccia ad Alto Livello (C++ Orientato agli Oggetti)
Questo strato fornisce una classe Tracer che orchestra gli algoritmi di visualizzazione:

• Supporto Algoritmico: Supporta Linee di Flusso (flusso stazionario) e Linee di Scia (flusso non stazionario).
• Workflow: Il Tracer gestisce il passo temporale della simulazione, la generazione delle particelle (posizionamento dei semi) e la chiamata iterativa del kernel di basso livello update().
• Flessibilità: L'API consente alle applicazioni di passare i propri dati nel formato nativo (strutturato o non strutturato) senza resampling, purché sia presente un'implementazione compatibile del tipo di campo.

Estensioni del Campo

Streami supporta diversi tipi di rappresentazione del campo attraverso i template C++. Attualmente supporta:

• Campi Strutturati: Griglie voxel uniformi memorizzate in memoria globale.
• Campi Non Strutturati: Griglie contenenti tetraedri, piramidi, prismi ed esaedri, utilizzando una Bounding Volume Hierarchy (BVH) accelerata su GPU tramite cuBQL per le query spaziali.

Contributi Chiave

1. Una Libreria "Drop-in": Streami offre una semplice API per integrare il calcolo delle linee di campo nei pipeline HPC esistenti senza richiedere copie di dati o cambi di contesto.
2. Efficienza Data-Parallel: Sfruttando la decomposizione di dominio esistente dell'applicazione CFD, Streami evita i problemi di bilanciamento del carico e i costi di trasferimento dati associati ai processi di post-processing tradizionali.
3. Estensibilità: La libreria consente agli utenti di definire tipi di campo vettoriale personalizzati e schemi di partizione spaziale (ad esempio, traversi di alberi) tramite template a tempo di compilazione, eliminando la necessità di resampling.
4. Rilascio Open Source: Streami è rilasciato sotto licenza Apache 2.0, fornendo un'implementazione di riferimento per la visualizzazione di flussi multi-GPU basata su MPI.

Risultati e Prestazioni

Gli autori hanno valutato Streami utilizzando un dataset astrofisico (1K³ voxel) su fino a 16 GPU A100 (due nodi).

• Prestazioni: Singoli step di avvezione per 100.000 particelle hanno mediato 1–2 ms.
• Colli di Bottiglia: I risultati indicano che le prestazioni sono limitate principalmente dall'overhead di comunicazione MPI piuttosto che dal calcolo locale della GPU.
• Scalabilità: La libreria è riuscita a tracciare particelle attraverso i rank distribuiti, con la libreria RaFI che gestisce efficientemente lo scambio di particelle.
• Dati Non Strutturati: La libreria ha adattato con successo il dataset strutturato a un formato esaedrico non strutturato, sebbene i vincoli di memoria abbiano impedito l'esecuzione su un numero molto piccolo di GPU (1–4 GPU) per la variante non strutturata a causa dell'overhead della struttura BVH.

Significato e Claim

Il paper posiziona Streami come una necessaria astrazione che colma una lacuna nello stato dell'arte per la visualizzazione di flussi multi-nodo e multi-GPU. Il suo significato primario risiede nella sua capacità di:

• Interoperare con le applicazioni di simulazione HPC esistenti riutilizzando la loro decomposizione di dominio.
• Minimizzare l'Overhead evitando copie di dati e cambi di contesto, rendendola adatta sia per il post-processing interattivo che per l'analisi in-situ.
• Fornire una Base per future estensioni ad altri tipi di linee di campo (ad esempio, pathlines) e topologie di campo complesse senza sacrificare le prestazioni "alla velocità della luce" richieste dalla visualizzazione HPC su larga scala.

Gli autori concludono che, sebbene la libreria sia modesta nel suo attuale set di funzionalità (focalizzandosi su linee di flusso e linee di scia), la sua filosofia di design — separando l'astrazione del campionamento del campo dal livello logico dell'algoritmo — fornisce un framework robusto per un calcolo di linee di campo data-parallel efficiente.