A Comparison of Massively Parallel Performance Portable Particle-in-Cell schemes for electrostatic kinetic plasma simulations

Questo lavoro valuta le prestazioni e la portabilità di vari risolutori di Poisson, inclusi FFT, PCG, FEM e gli innovativi schemi Particle-in-Fourier (PIF), all'interno della libreria IPPL per simulazioni PIC elettrostatiche su diverse architetture GPU, rilevando che, sebbene FFT sia il più veloce, lo schema PIF offre un'eccellente scalabilità come alternativa ad alta fedeltà.

L'essenziale

Immagina di dover simulare una folla enorme di persone (particelle) che si muovono attraverso una stanza, dove ognuno spinge e tira gli altri in base alla propria posizione. Questo è essenzialmente ciò che fanno gli scienziati quando simulano il plasma (un gas elettricamente carico e supercaldo) per comprenderne il comportamento.

Questo articolo è una "cronaca di gara" che confronta diversi metodi per calcolare le forze tra queste particelle, per vedere quale sia il più veloce e affidabile sui supercomputer più potenti al mondo.

Ecco la suddivisione della gara utilizzando semplici analogie:

L'ambientazione: Il ciclo "Particle-in-Cell"

Pensa alla simulazione come a un gioco giocato a turni. In ogni turno, il computer esegue quattro operazioni:

1. Scatter (Dispersione): Prende le posizioni delle particelle e "dipinge" la loro "carica" su una griglia (come una scacchiera).
2. Solve (Risoluzione): Calcola il campo elettrico (la forza di spinta/trazione) ovunque su quella griglia in base alle cariche dipinte. Questo è l'evento principale della gara.
3. Gather (Raccolta): Legge la forza dalla griglia e dice a ogni particella come muoversi.
4. Push (Spinta): Le particelle si spostano nelle loro nuove posizioni.

Gli autori hanno testato quattro diversi "Solver" (metodi per calcolare il passaggio 2) per vedere quale vince.

I quattro corridori

1. Il Solver FFT (Il velocista)

• Come funziona: Questo metodo utilizza un trucco matematico chiamato "Trasformata di Fourier Veloce" (Fast Fourier Transform). Immagina di risolvere un puzzle vedendo istantaneamente l'immagine intera in uno specchio invece di guardare un pezzo alla volta. È incredibilmente veloce.
• Il rovescio della medaglia: Funziona solo se la stanza ha confini "periodici". Pensa a un mondo di videogiochi in cui, se esci dal bordo destro, appari istantaneamente sul lato sinistro. Non può gestire muri o porte aperte.
• Il risultato: È stato assolutamente il più veloce in termini di tempo puro. Tuttavia, su un supercomputer specifico (Alps), ha inciampato perché la parte del ciclo relativa al "movimento delle particelle" si è bloccata, rallentando l'intera gara.

2. Il Solver PCG (Il cavallo da lavoro affidabile)

• Come funziona: Questo metodo scompone la griglia in piccoli quadrati e risolve la matematica passo dopo passo, come un detective che controlla ogni indizio uno alla volta. Utilizza un approccio "Preconditioned Conjugate Gradient".
• Il rovescio della medaglia: È molto più lento dell'FFT (circa 10 volte più lento in tempo puro), ma è molto flessibile. Può gestire muri (Dirichlet) o spazi aperti (Neumann), non solo il mondo di videogiochi "a riciclo".
• Il risultato: Si scala bene (diventa più veloce aggiungendo più computer), ma impiega più tempo per completare il lavoro.

3. Il Solver FEM (L'architetto ad alta precisione)

• Come funziona: Questo è il "Metodo agli Elementi Finiti". Invece di una griglia rigida, tratta lo spazio come una maglia flessibile che può piegarsi e adattarsi a forme complesse. È come usare un abito su misura invece di una camicia rigida e pronta da indossare.
• Il rovescio della medaglia: Come il PCG, è più lento dell'FFT. Incontra anche qualche difficoltà nella comunicazione tra computer perché deve controllare costantemente i bordi della sua maglia flessibile.
• Il risultato: È ottimo se hai bisogno di alta precisione o forme complesse, ma non è il campione di velocità.

4. Il Solver PIF (Il nuovo contendente)

• Come funziona: Questo è lo schema "Particle-in-Fourier". Invece di dipingere le particelle su una griglia prima, le proietta direttamente nello "spazio delle frequenze" (una rappresentazione matematica delle onde). È come saltare completamente la mappa e navigare seguendo il ritmo delle onde.
• Il rovescio della medaglia: Richiede matematica speciale (FFT Non Uniformi) per gestire particelle non perfettamente allineate.
• Il risultato: È più costoso (più lento) dell'FFT, ma è incredibilmente stabile e accurato. Non soffre degli errori di "ghosting" o "aliasing" che si verificano quando si cerca di adattare una particella rotonda su una griglia quadrata. Si scala splendidamente su tutte le macchine, il che significa che diventa più velocemente molto efficientemente man mano che si aggiunge potenza.

La pista di gara (I supercomputer)

Gli autori hanno eseguito questi test su tre diverse "piste" (supercomputer) con motori diversi:

• Alps (Svizzera): Utilizza i chip più recenti di Nvidia.
• LUMI (Finlandia): Utilizza chip AMD.
• JUWELS Booster (Germania): Utilizza chip Nvidia più vecchi.

Il podio dei vincitori

• Velocità pura: Il Solver FFT vince a mani basse, ma solo se il tuo problema rispetta le sue regole rigide (confini periodici) e non stai utilizzando la specifica macchina Alps dove un glitch tecnico lo ha rallentato.
• Flessibilità: I Solver PCG e FEM sono la scelta migliore se la tua simulazione ha muri o forme complesse. Sono più lenti ma svolgono il lavoro dove l'FFT non può arrivare.
• Alta fedeltà: Il Solver PIF è la nuova stella. Sebbene richieda un po' più di tempo rispetto all'FFT, offre il miglior equilibrio tra velocità, stabilità e accuratezza. È come una vettura sportiva che è leggermente più lenta di una Formula 1 ma gestisce le curve molto meglio ed è più sicura da guidare.

La conclusione

L'articolo conclude che non esiste un singolo "migliore" solver.

• Se hai bisogno di velocità e hai confini semplici, usa FFT.
• Se hai bisogno di flessibilità (muri, forme complesse), usa PCG o FEM.
• Se hai bisogno di alta accuratezza e stabilità senza gli errori dei metodi standard, PIF è un'alternativa eccellente e scalabile.

Gli autori hanno anche notato che stanno attualmente lavorando per correggere il glitch di "aggiornamento delle particelle" sul supercomputer Alps e per migliorare la "precondizionatura" (un modo per accelerare la matematica) per il solver FEM, per renderli ancora più veloci in futuro.

Sommario tecnico

Sintesi Tecnica: Un Confronto di Schemi Particella-Nella-Cella (PIC) Portabili e Massivamente Paralleli per Simulazioni Cinetiche di Plasma Elettrostatico

Enunciato del Problema
Il documento affronta la sfida di selezionare schemi numerici ottimali per simulazioni cinetiche di plasma elettrostatico, in particolare la risoluzione del sistema Vlasov-Poisson, nel contesto delle moderne architetture di Calcolo ad Alte Prestazioni (HPC) eterogenee. Poiché il supercalcolo si sta spostando verso sistemi eterogenei che combinano CPU e GPU di più fornitori (ad esempio AMD, Intel, Nvidia), i codici di simulazione devono essere sia massivamente paralleli che portabili in termini di prestazioni. Gli autori indagano quali risolutori di campo Particle-in-Cell (PIC) e schemi alternativi offrano il miglior compromesso tra accuratezza, scalabilità e portabilità su diverse piattaforme hardware. Lo studio si concentra sul sistema Vlasov-Poisson elettrostatico, un sistema di equazioni differenziali alle derivate parziali (PDE) non lineari accoppiato e ad alta dimensionalità, critico per la fisica dei fasci e le simulazioni di plasma.

Metodologia
Gli autori utilizzano la libreria IPPL (Independent Parallel Particle Layer), un framework C++ progettato per metodi particella-maglia portabili in termini di prestazioni e indipendenti dalla dimensionalità. IPPL sfrutta Kokkos per l'astrazione hardware, heFFTe per le FFT e MPI per la comunicazione tra nodi.

Lo studio esegue benchmark su quattro schemi distinti implementati in IPPL, utilizzando la mini-applicazione Landau damping come caso di test. Gli schemi confrontati sono:

1. Risolutore FFT: Un risolutore pseudo-spettrale che utilizza le Trasformate di Fourier Veloci, adatto per condizioni al contorno periodiche e nello spazio libero.
2. Risolutore PCG: Un risolutore Preconditioned Conjugate Gradient (Gradiente Coniugato Precondizionato) senza matrice, basato su differenze finite del secondo ordine, capace di gestire condizioni al contorno di Dirichlet, Neumann e periodiche.
3. Risolutore FEM: Un risolutore basato sul Metodo degli Elementi Finiti senza matrice, che utilizza funzioni di base di Lagrange del primo ordine (fornendo accuratezza del secondo ordine), capace di gestire mesh non strutturate e varie condizioni al contorno.
4. Schema PIF (Particle-in-Fourier): Un approccio innovativo che evita l'interpolazione sulla griglia nello spazio reale. Proietta le cariche delle particelle direttamente nello spazio di Fourier utilizzando FFT Non Uniformi (NUFFT), risolve le equazioni di campo in modo spettrale e interpola le forze nuovamente sulle particelle. Questo metodo mira a eliminare l'aliasing e migliorare le proprietà di conservazione.

Configurazione Sperimentale
La valutazione è stata condotta su tre architetture di supercalcolo distinte:

• Alps (CSCS, Svizzera): 2688 nodi con chip GH200 (Nvidia Grace-Hopper).
• LUMI-G (CSC, Finlandia): 2978 nodi con GPU AMD MI250X.
• JUWELS Booster (Jülich, Germania): 936 nodi con GPU Nvidia A100.

Due dimensioni del problema sono state testate per la scalabilità forte:

• Caso A: Griglia $512^3$ con 8 particelle per cella (~1 miliardo di particelle).
• Caso B: Griglia $1024^3$ con 8 particelle per cella (~8,5 miliardi di particelle).

Sono stati eseguiti anche studi di scalabilità debole, aumentando la dimensione del problema proporzionalmente al numero di GPU per mantenere un carico di lavoro costante per GPU.

Risultati Chiave

• Prestazioni Assolute: Il risolutore FFT ha dimostrato costantemente il tempo di esecuzione assoluto più basso su tutte le architetture, beneficiando delle ottimizzazioni nella libreria heFFTe. Tuttavia, la sua applicabilità è limitata a condizioni al contorno periodiche o nello spazio libero.
• Scalabilità e Colli di Bottiglia:
  • Su Alps (GH200), la scalabilità forte del risolutore FFT è stata limitata dal kernel di aggiornamento delle particelle. L'abilitazione della comunicazione IPC CUDA su questi nodi ha aumentato il tempo di esecuzione degli aggiornamenti delle particelle, facendo sì che la fase FFT (che era molto veloce) non fosse più il collo di bottiglia; al contrario, la comunicazione delle particelle è diventata il fattore dominante, degradando l'efficienza di scalabilità al di sotto del 50% dopo 32 GPU per il Caso A.
  • I risolutori PCG e FEM, dove il risolutore lineare o le operazioni di scatter/gather sono i principali colli di bottiglia, hanno mascherato i costi di aggiornamento delle particelle e hanno mostrato una migliore scalabilità su Alps.
  • Lo schema PIF ha mostrato un'eccellente scalabilità, mantenendo un'efficienza superiore al 50% fino a 512 GPU su LUMI e JUWELS Booster, e fino a 1024 GPU su Alps per la dimensione del problema più grande.
• Confronto tra Risolutori:
  • PCG e FEM: Questi risolutori sono stati circa un ordine di grandezza più lenti in termini di tempo assoluto rispetto al risolutore FFT, ma hanno scalato in modo simile nel contesto PIC elettrostatico. Il risolutore FEM ha sostenuto costi leggermente più elevati a causa della logica condizionale richiesta per le condizioni al contorno nelle valutazioni matrice-vettore e della comunicazione degli aloni.
  • PIF: Sebbene più costoso dello schema PIC basato su FFT, PIF ha offerto risultati ad alta fedeltà con eccellente conservazione e stabilità. Su un numero maggiore di nodi, PIF ha talvolta superato il risolutore FFT in tempo assoluto su architetture specifiche a causa del collo di bottiglia dell'aggiornamento delle particelle dell'FFT.
• Precondizionamento: Lo studio ha notato che il precondizionamento senza matrice per il FEM rimane una sfida. Un'implementazione ingenua che utilizza la logica condizionale ha ridotto il numero di iterazioni CG, ma ha aumentato il tempo di esecuzione per iterazione a causa della sub-ottimalità delle GPU con le condizioni.

Significato e Affermazioni
Gli autori affermano che questo lavoro fornisce una caratterizzazione completa di diversi schemi PIC e PIF su supercomputer massivamente paralleli ed eterogenei. I contributi principali sono:

1. Dimostrazione di Portabilità: Lo studio convalida che la libreria IPPL può fornire con successo simulazioni particella-maglia portabili in termini di prestazioni su hardware diversificato (GPU AMD e Nvidia) senza richiedere riscritture specifiche dell'architettura.
2. Guida alla Scelta del Risolutore: Il documento chiarisce i compromessi tra i risolutori. Sebbene l'FFT sia superiore in velocità per problemi periodici, PCG e FEM offrono la flessibilità necessaria per condizioni al contorno complesse. PIF è identificato come un'alternativa ad alta fedeltà che evita l'aliasing e offre una scalabilità competitiva, rendendolo un'opzione praticabile per simulazioni in cui conservazione e stabilità sono primarie.
3. Identificazione dei Colli di Bottiglia: Il lavoro evidenzia che in implementazioni FFT altamente ottimizzate su architetture specifiche (come GH200), il kernel di aggiornamento delle particelle può diventare il fattore limitante, una sfumatura spesso trascurata quando ci si concentra esclusivamente sui risolutori di campo.

Il documento conclude che la scelta del risolutore dovrebbe essere adattata ai vincoli fisici specifici (ad esempio, condizioni al contorno) e all'hardware target, notando che schemi di ordine superiore come PIF possono sfruttare appieno le moderne architetture massivamente parallele nonostante il loro costo computazionale. Come lavoro futuro è identificato il miglioramento del precondizionamento senza matrice per il FEM per aumentarne ulteriormente le prestazioni.