Multi-GPU Hybrid Particle-in-Cell Monte Carlo Simulations for Exascale Computing Systems

Questo lavoro presenta un'implementazione portatile e scalabile BIT1 multi-GPU ibrida (MPI+OpenMP) per simulazioni Monte Carlo Particle-in-Cell su sistemi exascale, che ottimizza l'utilizzo di acceleratori Nvidia e AMD riducendo i tempi di esecuzione e migliorando l'efficienza delle comunicazioni e dell'I/O.

L'essenziale

Immagina di dover organizzare una festa gigantesca con miliardi di invitati (le particelle di plasma) in una stanza che cambia forma ogni millisecondo. Il tuo compito è tenere traccia di dove si trova ogni persona, con chi parla e come si muovono, tutto mentre la stanza stessa si espande e si contrae.

Questo è esattamente quello che fanno i fisici quando simulano il plasma (il "quarto stato della materia", come quello che c'è nelle stelle o nei reattori a fusione nucleare). Il loro software si chiama BIT1.

Il problema? I computer di oggi sono diventati mostruosi, pieni di centinaia di "cervelli" (i processori) e di "muscoli" (le schede grafiche o GPU) che lavorano insieme. Ma BIT1, come un vecchio chef abituato a cucinare in una cucina piccola, faceva fatica a coordinare tutti questi muscoli. Si perdeva troppo tempo a passare gli ingredienti da una mano all'altra invece di cucinare.

Ecco come gli autori di questo articolo hanno risolto il problema, trasformando BIT1 in un super-cuoco per l'era degli Exascale (computer capaci di fare un miliardo di miliardi di calcoli al secondo).

1. Il Problema: Il Traffico nella Cucina

Prima, il software era come un gruppo di persone che dovevano passare un secchio d'acqua da un capo all'altro della stanza per riempire una vasca.

• Il vecchio metodo: Ogni volta che un pezzo di codice voleva un dato, lo prendeva dalla memoria principale (il "frigo"), lo portava alla scheda grafica (il "forno"), lo usava e lo rimandava indietro.
• Il risultato: Il forno rimaneva fermo in attesa del secchio d'acqua. Il tempo era sprecato nel trasporto, non nella cottura.

2. La Soluzione: La Cucina "Tutto in Uno"

Gli autori hanno ripensato l'intera organizzazione della cucina con quattro trucchi magici:

• Trucco 1: L'Archivio Fisso (Memoria Persistente)
  Invece di portare i secchi d'acqua avanti e indietro per ogni ricetta, hanno deciso di lasciare tutti gli ingredienti direttamente sul bancone del forno.

  • Analogia: Immagina che invece di correre al frigo ogni volta che serve un uovo, tu abbia un cestino pieno di uova proprio accanto alla padella. Il forno non deve mai fermarsi in attesa. Questo è quello che fanno con la "memoria persistente sulla GPU".

• Trucco 2: La Pista d'Atterraggio dritta (Layout dei Dati 1D)
  Prima, gli ingredienti erano impilati in scatole 3D confuse (come un armadio pieno di scatole dentro scatole). Trovare il sale richiedeva tempo.

  • Analogia: Hanno rimosso tutte le scatole e hanno messo gli ingredienti in un'unica fila lunga e dritta su un nastro trasportatore. Ora, per prendere ciò che serve, il braccio robotico (il processore) scorre semplicemente lungo la fila senza dover cercare tra gli angoli. È molto più veloce.

• Trucco 3: Il Corriere Privato (Memoria "Pinned")
  Per spostare i dati dal computer principale alla scheda grafica, usano un metodo speciale che blocca i dati in modo che non possano "scivolare via" o essere spostati dalla memoria mentre vengono copiati.

  • Analogia: È come usare un corriere espresso che ha il pass per entrare direttamente nella cucina, invece di dover passare dalla reception e compilare moduli. È più veloce e sicuro.

• Trucco 4: Il Direttore d'Orchestra Asincrono (OpenMP e Task)
  Prima, tutti aspettavano che il lavoro fosse finito prima di iniziare il prossimo.

  • Analogia: Ora, il direttore d'orchestra (il software) dice: "Tu, cuoca, inizia a tagliare le verdure mentre tu, fornai, inizi a impastare il pane, e tu, lavapiatti, inizia a lavare i piatti. Non aspettate che gli altri finiscano!".
    Usano una tecnologia chiamata OpenMP per far sì che i diversi "muscoli" del computer lavorino in parallelo, sovrapponendo il calcolo (cucinare) con lo spostamento dei dati (portare le cose).

3. Il Risultato: Una Festa Perfetta

Hanno testato questo nuovo sistema sui computer più potenti del mondo, come Frontier (il primo supercomputer "Exascale" al mondo, situato negli USA) e altri in Europa.

• La velocità: Hanno fatto un esperimento su un singolo nodo (un piccolo gruppo di computer) e hanno scoperto che il nuovo sistema era 17 volte più veloce del vecchio.
• La scalabilità: Hanno provato a usare fino a 16.000 schede grafiche contemporaneamente. Il vecchio software si sarebbe bloccato o sarebbe diventato lentissimo. Il nuovo software, invece, ha continuato a lavorare quasi alla stessa velocità, come se avesse 16.000 cuochi che lavorano all'unisono senza litigare.
• I Report: Anche quando dovevano scrivere milioni di pagine di report (i dati della simulazione) mentre cucinavano, il sistema non si è bloccato. Ha usato un nuovo modo di scrivere i file (chiamato openPMD e ADIOS2) che è come avere una segretaria che scrive i report mentre il cuoco continua a cucinare, senza mai fermare il fuoco.

In Sintesi

Questo articolo racconta la storia di come un vecchio software per simulare il plasma sia stato trasformato da un'auto sportiva lenta in un treno ad alta velocità.
Grazie a questi trucchi (lasciare i dati sul posto, ordinarli in fila, usare corrieri veloci e far lavorare tutti in contemporanea), ora possiamo simulare il comportamento del plasma in reattori a fusione nucleare (come ITER) con una precisione e una velocità mai viste prima. Questo ci avvicina un passo in più alla promessa di energia pulita e illimitata derivante dalla fusione nucleare.

Sommario tecnico

Titolo: Simulazioni Ibride Multi-GPU Particle-in-Cell Monte Carlo per Sistemi di Calcolo Exascale

1. Il Problema

Le simulazioni Monte Carlo (MC) Particle-in-Cell (PIC) sono fondamentali per la fisica del plasma, ma affrontano sfide critiche sui sistemi di calcolo ad alte prestazioni (HPC) eterogenei di prossima generazione (pre-exascale ed exascale). Le limitazioni principali includono:

• Movimento eccessivo dei dati: Il trasferimento continuo di dati tra CPU e GPU riduce l'efficienza.
• Sovraccarichi di sincronizzazione: Le attese tra i processi rallentano l'esecuzione.
• Utilizzo inefficiente degli acceleratori: Le implementazioni precedenti non sfruttavano appieno la capacità di calcolo multi-GPU.
• Portabilità: La necessità di supportare diverse architetture (Nvidia e AMD) senza riscritture massive del codice.

Il codice BIT1, uno strumento PIC MC massivamente parallelo per simulare le interazioni plasma-materia (in particolare per la fisica del bordo dei tokamak), ha mostrato limitazioni nelle versioni precedenti basate solo su MPI, specialmente nella gestione della memoria, nella comunicazione intra-nodo e nell'utilizzo efficiente di più GPU.

2. Metodologia

Gli autori hanno sviluppato una nuova implementazione portabile di BIT1 basata su un modello ibrido MPI + OpenMP, ottimizzata per l'esecuzione su acceleratori GPU. Le strategie chiave includono:

• Memoria Persistente sul Dispositivo: Invece di allocare e deallocare array di dati ad ogni passo temporale, i dati risiedono permanentemente sulla GPU. Questo viene gestito tramite regioni #pragma omp target enter/exit data, eliminando i trasferimenti ridondanti.
• Layout dei Dati Ottimizzato: Le strutture dati sono state trasformate da array tridimensionali non contigui (es. x[species][cell][particle]) a layout unidimensionali contigui (1D). Questo migliora l'accesso alla memoria e la larghezza di banda sulle GPU.
• Gestione della Memoria (Unified vs. Pinned):
  • È stato abbandonato l'uso della memoria unificata (UM) in favore della memoria host "pinned" (bloccata).
  • Su Nvidia, la memoria pinned è selezionata a tempo di compilazione.
  • Su AMD, vengono utilizzati gli allocatori di memoria OpenMP (omp_allocator_handle_t) con il trait pinned per garantire trasferimenti asincroni ad alta larghezza di banda e accesso DMA diretto.
• Esecuzione Asincrona Multi-GPU:
  • Utilizzo di OpenMP Target Tasks con clausole nowait e depend per sovrapporre calcolo e comunicazione.
  • Interoperabilità dei runtime GPU tramite use_device_ptr e is_device_ptr, permettendo ai kernel di accedere direttamente ai puntatori del dispositivo senza mappature aggiuntive.
• I/O Standardizzato e Scalabile: Integrazione con openPMD e ADIOS2 (backend BP4 per I/O su file e SST per streaming in memoria). Questo permette analisi in-situ e visualizzazione senza interrompere l'esecuzione asincrona delle GPU.

3. Contributi Chiave

1. Implementazione Ibrida Portabile: Una versione di BIT1 che funziona efficientemente sia su GPU Nvidia che AMD utilizzando OpenMP target offloading, senza dipendere da API specifiche del vendor.
2. Ottimizzazione della Memoria: Transizione a memoria host "pinned" e layout 1D contigui, riducendo drasticamente l'overhead dei trasferimenti dati (HtoD e DtoH).
3. Esecuzione Asincrona: Uso avanzato delle task OpenMP per nascondere la latenza di comunicazione e massimizzare l'utilizzo delle GPU.
4. Scalabilità I/O: Integrazione di workflow in-situ e streaming dati che riducono i colli di bottiglia nell'I/O, permettendo analisi in tempo reale su sistemi exascale.

4. Risultati Sperimentali

Le prestazioni sono state valutate su sistemi pre-exascale e exascale, inclusi Dardel, MareNostrum5, LUMI e Frontier (OLCF-5).

• Ottimizzazione su Nodo Singolo (MareNostrum5):

  • Rispetto alla versione originale (layout 3D + memoria unificata), la versione ottimizzata (layout 1D + memoria pinned + parallelismo OpenMP + memoria persistente) ha raggiunto un speedup di 17.04x.
  • Il tempo totale di simulazione è sceso da ~1919s a ~113s su 4 GPU.
  • Il tempo dedicato al movimento delle particelle (mover) è stato ridotto quasi a zero (~0.06s) grazie all'esecuzione asincrona e alla persistenza dei dati.

• Scalabilità Forte e Debole (Frontier - fino a 16.000 GPU):

  • Caso I/O Leggero (800 GPU): La versione ottimizzata ha mostrato uno speedup di 12.80x rispetto alla versione base. L'efficienza parallela (PE) nella scalabilità debole è rimasta estremamente alta (97-98%), con tempi di esecuzione quasi costanti al crescere dei nodi.
  • Caso I/O Pesante (16.000 GPU): Anche sotto carichi di diagnostica intensivi, le implementazioni con ADIOS2 (backend BP4 e SST) hanno mantenuto una PE superiore (72-73.6%) rispetto alla versione ibrida originale.
  • Scalabilità Forte: Con I/O pesante, l'uso di ADIOS2 SST ha portato a uno speedup di 5.25x scalando da 50 a 2000 nodi.

5. Significato e Impatto

Questo lavoro dimostra che è possibile eseguire simulazioni PIC MC su larga scala su sistemi exascale eterogenei mantenendo alta efficienza e portabilità.

• Efficienza delle Risorse: L'approccio ibrido riduce drasticamente i tempi di esecuzione e massimizza l'utilizzo degli acceleratori, cruciale per simulazioni complesse come quelle dei divertor dei reattori a fusione (ITER/DEMO).
• Futuro dell'HPC: La capacità di gestire I/O intensivi e analisi in-situ senza bloccare il calcolo rende BIT1 pronto per l'era exascale.
• Portabilità: La soluzione basata su OpenMP target offre una via praticabile per supportare diverse architetture (Nvidia, AMD e futuri Intel) con un unico codice sorgente, riducendo i costi di sviluppo e manutenzione.

In sintesi, l'articolo presenta un passo avanti significativo nell'ottimizzazione dei codici PIC per l'era exascale, risolvendo i colli di bottiglia legati alla memoria e all'I/O attraverso un'architettura software ibrida, asincrona e portabile.