An efficient multi-GPU implementation for the Discontinuous Galerkin ocean model SLIM

Questo articolo presenta un'implementazione altamente efficiente e accelerata su più GPU del modello oceanico a elementi discontinui SLIM, che ottiene accelerazioni massive rispetto ai sistemi basati su CPU e abilita simulazioni costiere ad altissima risoluzione, come un miglioramento di cinque volte della risoluzione per la Grande Barriera Corallina.

L'essenziale

Il Quadro Generale: Rendere i Modelli Oceanici "Super-Veloci"

Immaginate di provare a simulare l'oceano. Per lungo tempo, gli scienziati hanno utilizzato una "griglia" simile a una scacchiera per mappare l'acqua. Ma l'oceano non è una scacchiera; ha coste frastagliate, fosse abissali e barriere coralline basse. Per far aderire la scacchiera, dovete o rendere i quadratini minuscoli ovunque (il che richiede un tempo infinito per il calcolo) o accettare che i bordi appaiano squadrati e sbagliati.

Il modello SLIM descritto in questo documento utilizza un approccio diverso: una mesh non strutturata. Pensate a un mosaico fatto di piastrelle di forma irregolare. Potete usare piastrelle minuscole e intricate proprio accanto a una barriera corallina rocciosa e piastrelle enormi e semplici nell'oceano profondo e aperto. Questo è perfetto per le aree costiere, ma è computazionalmente costoso. È come cercare di dipingere un capolavoro con un pennellino minuscolo; richiede molto tempo e sforzo.

Gli autori di questo documento si sono chiesti: "Come possiamo rendere questo modello oceanico dettagliato, in stile mosaico, abbastanza veloce da essere utile?" La loro risposta è stata costruire una versione specificamente progettata per le GPU (i potenti chip grafici presenti nei computer da gaming e nei supercomputer).

L'Innovazione Principale: L'Oceano "Pronto per la GPU"

Il documento si concentra su un metodo matematico specifico chiamato Galerkin Discontinuo (DG).

• L'Analogia: Immaginate un'aula scolastica.
  • Vecchi metodi (Continui): Gli studenti si tengono per mano in un cerchio gigante. Se uno studente si muove, deve dirlo a tutti gli altri nel cerchio. È connesso, ma lento da coordinare.
  • Metodo DG: Ogni studente siede alla propria scrivania. Lavorano in modo indipendente sui propri problemi di matematica. Parlano solo con i vicini immediati quando devono passare un bigliettino.
• Perché questo aiuta: Poiché gli studenti (punti dati) lavorano in modo indipendente, potete assumere 1.000 insegnanti (core GPU) per aiutarli tutti contemporaneamente senza che si diano fastidio. È esattamente ciò che le GPU amano fare: lavoro parallelo massiccio.

Come l'hanno Reso Veloce (La "Salsa Segreta")

Gli autori non hanno semplicemente spostato il codice su una GPU; hanno ridisegnato completamente come i dati vengono archiviati e spostati, utilizzando tre trucchi principali:

1. L'Organizzazione "Biblioteca" (Disposizione della Memoria)
Le GPU sono come bibliotecari super-veloci. Se i libri sono sparsi a caso, il bibliotecario perde tempo a correre in giro. Se sono organizzati perfettamente, può prenderli istantaneamente.

• Il team ha riorganizzato i dati in modo che le informazioni correlate si trovino l'una accanto all'altra nella memoria. Hanno persino utilizzato una "curva di Hilbert" (un percorso specifico a spirale) per disporre le piastrelle irregolari in modo che i vicini siano fisicamente vicini nella memoria del computer. Questo mantiene il "bibliotecario" della GPU alla massima velocità.

2. La Catena di Montaggio "Cella"
Il modello oceanico è tridimensionale, composto da colonne verticali d'acqua. Alcuni calcoli richiedono di risolvere un puzzle per l'intera colonna in una volta sola.

• Il Problema: Di solito, risolvere questi puzzle uno alla volta è lento.
• La Soluzione: Hanno creato una disposizione speciale "Cella". Immaginate una catena di montaggio in fabbrica dove 128 lavoratori (thread) sono assegnati a 128 colonne. Invece di passare pezzi avanti e indietro, organizzano i pezzi in una griglia ordinata (una matrice) in modo che tutti e 128 i lavoratori possano prendere ciò di cui hanno bisogno simultaneamente. Questo trasforma un processo lento e sequenziale in uno veloce e parallelo.

3. Il Risolutore "Senza Progetto" (Matrix-Free)
In molti problemi matematici, dovete costruire un progetto gigante (una matrice) prima di poter risolvere il problema. Costruire il progetto richiede tempo.

• Il Trucco: Per alcune parti del modello oceanico (come la pressione e il movimento verticale), gli autori hanno realizzato che il progetto segue sempre uno schema prevedibile. Invece di costruire il progetto, hanno scritto una ricetta che calcola la risposta direttamente al volo. È come conoscere la risposta a un problema di matematica senza aver bisogno di scrivere i passaggi della divisione lunga.

I Risultati: Una Rivoluzione di Velocità

Il documento presenta risultati di benchmark che mostrano quanto questo sia efficace:

• Una GPU contro una Sala di Computer: Una singola GPU di fascia alta (come una NVIDIA A100) può fare il lavoro di circa 1.500 processori computer standard.
• Il Salto "50x": Se sostituite un server massiccio con 128 core CPU con un singolo server contenente solo 4 di queste GPU, la simulazione viene eseguita 50 volte più velocemente.
• Scalabilità: Hanno testato questo su supercomputer con fino a 1.024 GPU. Il sistema si è scalato magnificamente, il che significa che aggiungere più GPU ha mantenuto la simulazione efficiente, a condizione che l'area oceanica simulata fosse abbastanza grande da tenere occupate tutte quelle GPU.

Il Test nel Mondo Reale: La Grande Barriera Corallina

Per dimostrare che non si trattava solo di un test di velocità teorico, hanno eseguito una simulazione della Grande Barriera Corallina.

• La Sfida: La barriera ha forme incredibilmente complesse. I modelli precedenti dovevano utilizzare una risoluzione "sfocata" (circa 1,5 km - 4 km per piastrella) per essere eseguiti in un tempo ragionevole.
• Il Nuovo Risultato: Utilizzando il loro nuovo modello accelerato da GPU, hanno simulato l'intera barriera con una risoluzione cinque volte più fine (fino a 200 metri).
• L'Esito: Hanno potuto vedere dettagli minuscoli come "getti di marea" (correnti d'acqua veloci) e piccoli vortici che erano precedentemente invisibili. Hanno raggiunto una velocità in cui il computer simulava 100 giorni di tempo oceanico per ogni 1 giorno di tempo reale.

Riepilogo

Questo documento dimostra che ripensando a come i dati sono organizzati e sfruttando il potere unico dei moderni chip grafici, gli scienziati possono finalmente eseguire modelli oceanici 3D altamente dettagliati di coste complesse. Hanno trasformato un processo che un tempo era troppo lento e costoso in uno strumento veloce ed efficiente, aprendo la strada a simulazioni ad altissima risoluzione di luoghi come la Grande Barriera Corallina.

Sommario tecnico

Sintesi Tecnica: Un'Implementazione Efficiente Multi-GPU per il Modello Oceanico Discontinuous Galerkin SLIM

Enunciato del Problema
I modelli oceanici a mesh non strutturata sono sempre più vitali per le applicazioni costiere grazie alla loro capacità di rappresentare geometrie complesse e di applicare raffinamenti locali della griglia. Tuttavia, la loro adozione più ampia, in particolare per i modelli basati sul metodo agli elementi finiti Discontinuous Galerkin (DG-FE), è stata ostacolata da elevati costi computazionali. L'approccio DG-FE comporta intrinsecamente più gradi di libertà e calcoli per elemento rispetto ai tradizionali metodi ai volumi finiti o agli elementi finiti continui. Inoltre, la connettività irregolare delle mesh non strutturate richiede la memorizzazione e la gestione esplicite delle relazioni di vicinato, portando a requisiti sofisticati di gestione dei dati e a un aumento del sovraccarico computazionale. Sebbene siano state impiegate strategie come il raffinamento locale della mesh e la separazione dei modi (mode-splitting), queste sono spesso insufficienti per simulazioni ad alta risoluzione o di lunga durata. La rapida emergenza di architetture di calcolo ad alte prestazioni (HPC) basate su GPU offre una potenziale soluzione, poiché le formulazioni DG-FE si prestano bene a calcoli massivamente paralleli per elemento; tuttavia, sfruttare appieno queste architetture richiede una riprogettazione completa dei codici computazionali.

Metodologia
Gli autori presentano un'implementazione completa del modello oceanico DG-FE 3D di SLIM, ottimizzata sia per sistemi a singola GPU che multi-GPU, con supporto per architetture NVIDIA e AMD. L'implementazione si basa su un livello di astrazione leggero per passare tra backend CPU, CUDA e HIP.

• Disposizione della Memoria e Assegnazione dei Thread: Il modello adotta una strategia "un thread per elemento" anziché "un thread per nodo" per aumentare il carico di lavoro computazionale per thread. Per ottimizzare la coalescenza della memoria, la mesh 2D viene riordinata utilizzando una curva di Hilbert. Viene introdotta una disposizione ibrida dei dati: un formato Struttura-di-Array (SoA) per i calcoli generali e una "disposizione cella" specializzata per la risoluzione di sistemi lineari. La disposizione cella raggruppa insiemi di colonne prismatica (tipicamente 128) in una struttura a matrice (Array-di-Struttura-di-Array), consentendo un accesso alla memoria perfettamente coalescente durante la risoluzione di sistemi lineari a banda associati alle colonne verticali.
• Schemi Numerici: Il modello utilizza uno schema split-IMEX Runge-Kutta. Il modo esterno (barotropico) impiega un metodo Runge-Kutta esplicito a tre passi sulla mesh 2D, mentre il modo interno (baroclino) avanza le equazioni 3D. Il modo interno separa i processi orizzontali e verticali; l'avvezione e la viscosità orizzontali sono esplicithe, mentre i processi verticali possono essere impliciti per mitigare le condizioni CFL rigorose.
• Solver:
  • Solver senza Matrice: Per il gradiente di pressione orizzontale e la velocità verticale, i sistemi lineari possiedono una struttura prevedibile che consente la soluzione senza assemblaggio esplicito della matrice. Un solver up-looking a passaggio singolo codifica la struttura della matrice in una formula di ricorsione.
  • Solver per Colonne Completamente Assemblati: Per la chiusura della turbolenza e i flussi verticali impliciti, il modello assembla matrici sparse che accoppiano i nodi all'interno di una colonna. Queste vengono risolte in loco utilizzando l'eliminazione di Gauss con un thread per sistema, sfruttando buffer locali per evitare lo spill dei registri.
• Strategia Multi-GPU: Il dominio viene decomposto orizzontalmente utilizzando MPI, con una GPU per rank. Per sovrapporre calcolo e comunicazione, il codice divide ogni partizione in elementi di confine/ghost e elementi interni. I calcoli di confine e gli scambi di alone (halo exchanges) vengono avviati su uno stream di comunicazione ad alta priorità, mentre i calcoli interni procedono su uno stream di calcolo. Questa sovrapposizione è critica, in particolare per il modo esterno 2D, dove la latenza di avvio dei kernel e i costi di comunicazione possono diventare colli di bottiglia.

Risultati Chiave

• Prestazioni su Singola GPU: I benchmark su una GPU NVIDIA A100 dimostrano prestazioni equivalenti a circa 1500 core CPU. Sostituire un nodo CPU da 128 core con un nodo GPU 4×A100 produce un aumento di velocità di circa 50 volte. L'implementazione mantiene fino all'80% della banda di memoria di picco per i kernel limitati dalla memoria e il 60% del throughput floating-point di picco per i kernel limitati dal calcolo, con una media sostenuta di circa il 30% per entrambi su un intero passo temporale.
• Scalabilità: L'efficienza di weak-scaling è mantenuta fino a 1024 GPU (512 GCD AMD MI250X) sul supercomputer LUMI. Lo strong scaling segue la legge di Amdahl, dove il componente baroclino 3D scala quasi idealmente, ma il modo barotropico 2D agisce come frazione sequenziale a causa della sua alta frequenza di kernel brevi e scambi di alone.
• Applicazione alla Grande Barriera Corallina (GBR): Il modello è stato applicato a una simulazione realistica della GBR con una mesh di 3,3 milioni di triangoli (34 milioni di elementi 3D), con risoluzioni che variano da 200 m vicino alle barriere a 10 km al largo. Eseguita su 32 GPU AMD MI250X (64 GCD) in doppia precisione, la simulazione ha raggiunto un throughput di circa 100 giorni simulati per giorno di tempo reale. Questa configurazione ha risolto strutture di flusso fino a poche centinaia di metri, catturando getti di marea e vortici precedentemente non risolvibili nei modelli a risoluzione uniforme.

Significato e Affermazioni
Il paper afferma che i metodi DG-FE accelerati da GPU possono avanzare drasticamente le capacità della modellazione oceanica a mesh non strutturata. Sfruttando efficacemente le architetture GPU attraverso disposizioni specifiche dei dati, solver senza matrice e strategie di sovrapposizione della comunicazione, gli autori dimostrano che il costo computazionale delle simulazioni non strutturate ad alta risoluzione può essere allineato a quello dei modelli a griglia strutturata a risoluzioni più basse. Questo rimuove un vincolo storico per l'applicazione pratica dei modelli a mesh non strutturata per domini regionali e costieri.

Gli autori sottolineano che questo lavoro abilita simulazioni costiere ultra-ad alta risoluzione precedentemente non fattibili, consentendo la risoluzione di processi multi-scala lungo il continuum terra-mare. Sebbene l'applicazione alla GBR serva come dimostrazione di capacità di scalabilità e risoluzione piuttosto che come uno studio scientifico completamente validato, essa evidenzia il potenziale per applicazioni operative nella gestione ambientale. Il paper conclude che i vantaggi intrinseci delle mesh non strutturate – flessibilità geometrica, raffinamento locale e risoluzione multi-scala – possono ora essere sfruttati senza il tradizionale sovraccarico computazionale, posizionando i modelli DG accelerati da GPU come uno strumento promettente per la prossima generazione di simulazioni oceaniche costiere.