Accelerating High-Order Finite Element Simulations at Extreme Scale with FP64 Tensor Cores

Questo articolo presenta la prima applicazione diretta dei tensor core FP64 su GPU NVIDIA per accelerare simulazioni agli elementi finiti di alto ordine, ottenendo significativi miglioramenti nelle prestazioni e nell'efficienza energetica su larga scala e integrandoli nella libreria MFEM per applicazioni critiche come la previsione di tsunami in tempo reale.

L'essenziale

Immagina di dover prevedere lo tsunami perfetto. Non è un gioco, è una questione di vita o di morte: serve calcolare in tempo reale come l'acqua si muoverà dopo un terremoto, per salvare intere città. Per fare questo, i supercomputer devono risolvere equazioni matematiche incredibilmente complesse, come se dovessero dividere l'oceano in miliardi di piccoli cubi e calcolare come si comportano tutti insieme.

Il problema? I computer sono veloci, ma quando devono fare questi calcoli con una precisione assoluta (perché un errore piccolo può significare una previsione sbagliata), si bloccano. È come se un'auto di Formula 1 dovesse guidare in un traffico lento perché i freni non sono abbastanza potenti.

Ecco cosa hanno fatto gli autori di questo articolo: hanno dato ai supercomputer dei "super-freni" e un nuovo motore.

Ecco la spiegazione semplice, passo dopo passo:

1. Il Problema: Il "Collo di Bottiglia"

I computer moderni (i GPU) sono come chef in una cucina gigantesca. Hanno due tipi di aiutanti:

• I "Cucinatori Classici" (CUDA Cores): Sono bravi a fare un po' di tutto, ma quando devono fare calcoli matematici pesanti (moltiplicazioni di matrici) con numeri molto precisi, sono lenti.
• I "Super-Assistenti" (Tensor Cores): Sono macchine specializzate nate per fare calcoli rapidissimi, ma fino a poco tempo fa potevano usare solo numeri "semplificati" (come arrotondare 3,14159 a 3,14). Per la previsione degli tsunami, però, arrotondare è pericoloso: serve la precisione assoluta (i numeri interi e decimali completi, chiamati FP64).

Prima di questo studio, i "Super-Assistenti" non potevano lavorare con la precisione assoluta. Quindi, i computer dovevano usare i "Cucinatori Classici", che erano lenti e consumavano molta energia.

2. La Soluzione: Accendere i "Super-Assistenti" per i Calcoli Precisi

Gli scienziati hanno scoperto come insegnare ai Tensor Cores (i Super-Assistenti) a lavorare con la precisione assoluta (FP64).

• L'analogia: Immagina di dover spostare 1000 mattoni. Prima, un solo operaio li prendeva uno alla volta (lento). Ora, hanno inventato un carrello elevatore automatico (il Tensor Core) che può prendere 8 mattoni alla volta, ma solo se li impila in un modo specifico.
• Il trucco: Gli autori hanno riscritto il codice del computer per dire: "Ehi, invece di portare i mattoni uno a uno, usiamo il carrello elevatore! Ma prima, riorganizziamo i mattoni in modo che entrino perfettamente nel carrello".

3. L'Innovazione: "Fusione" e Risparmio

Non si sono limitati a usare il carrello. Hanno anche fuso i compiti.

• Prima: L'operaio prendeva i mattoni, li spostava, li metteva a terra, poi tornava a prenderne altri. Molte corse inutili.
• Ora (Kernel Fusion): L'operaio prende i mattoni, li muove e li posiziona tutto in un unico movimento fluido, senza fermarsi.
• Risultato: Il computer non deve più "spostare" i dati da una memoria all'altra (che è la parte più lenta e dispendiosa di energia). Fa tutto "in casa", velocemente.

4. I Risultati: Velocità e Risparmio Energetico

Hanno testato tutto questo su due supercomputer all'avanguardia (i chip GH200 e GB200 di NVIDIA) e sui sistemi più potenti al mondo (come il sistema "Alps" in Svizzera).

• Velocità: Hanno raddoppiato la velocità dei calcoli. Se prima ci volevano 2 ore per prevedere lo tsunami, ora ne bastano 1.
• Energia: Hanno risparmiato fino all'83% di energia. È come se la tua auto facesse il doppio del percorso con la stessa benzina.
• Scala: Hanno dimostrato che questo funziona anche quando si usano 9.000 computer collegati insieme. È come se avessero coordinato 9.000 orchestre per suonare una sola nota perfettamente sincronizzata, senza che nessuno sbagli tempo.

Perché è importante?

Questo lavoro non è solo teoria. È stato usato per creare un "gemello digitale" degli tsunami.
Grazie a queste ottimizzazioni, il sistema che ha vinto il premio Gordon Bell Prize nel 2025 può prevedere l'altezza delle onde e l'impatto di un tsunami in meno di un secondo, usando dati reali dai sensori sul fondo dell'oceano.

In sintesi: Hanno preso una tecnologia (i Tensor Cores) che era troppo veloce per essere usata con precisione, l'hanno "addomesticata" con nuovi trucchi di programmazione, e l'hanno usata per salvare vite umane rendendo i calcoli degli tsunami due volte più veloci e molto più economici da eseguire.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del documento in italiano, strutturato secondo le sezioni richieste.

Titolo

Accelerazione delle simulazioni agli elementi finiti di ordine elevato su scala estrema con Tensor Core FP64

1. Il Problema

Le simulazioni agli elementi finiti (FEM) sono fondamentali in ambiti che vanno dal design automobilistico alla modellazione degli tsunami e all'elettromagnetismo computazionale. Per ottenere risultati scientifici significativi e applicazioni pratiche, è necessario utilizzare metodi di ordine elevato su supercomputer su larga scala.
Tuttavia, molte applicazioni scientifiche critiche (come problemi di perturbazione singolare, soluzioni con singolarità geometriche o problemi di fisica multiscala) richiedono la precisione completa dell'aritmetica in doppia precisione (FP64).

• La sfida: Sebbene i Tensor Core di NVIDIA offrano prestazioni eccezionali per la moltiplicazione di matrici a bassa precisione (FP16/FP32), il loro utilizzo per calcoli in FP64 è stato limitato. Le applicazioni FEM di ordine elevato spesso non eseguono grandi moltiplicazioni di matrici dense (GEMM) che si adattano naturalmente alle API standard (come CUBLAS), ma piuttosto contrazioni tensoriali di piccole dimensioni e forme irregolari.
• Il collo di bottiglia: Le implementazioni tradizionali su CUDA Core per queste operazioni sono spesso limitate dalla bandwidth della memoria condivisa (Shared Memory) a causa di un basso rapporto FLOP/byte e di conflitti di accesso alle banche della memoria, piuttosto che dalla potenza di calcolo grezza.

2. Metodologia

Gli autori hanno lavorato sulla libreria open-source MFEM (ampiamente utilizzata nell'HPC) per ottimizzare i kernel agli elementi finiti, con un caso di studio specifico: un "gemello digitale" per la previsione degli tsunami (vincitore del Gordon Bell Prize 2025).

Le principali strategie metodologiche includono:

• Programmazione Diretta dei Tensor Core FP64 (DMMA):

  • Invece di affidarsi alle librerie standard, gli autori hanno programmato direttamente le istruzioni DMMA (Double Precision Matrix-Multiply-Accumulate) disponibili sulle architetture NVIDIA Ampere, Hopper (GH200) e Blackwell (GB200).
  • Hanno scomposto le contrazioni tensoriali degli operatori FEM in piccole moltiplicazioni di matrici dense di ordine $O(10)$ (es. $25 \times 5 \times 4$).
  • Hanno mappato gli indici logici delle matrici sugli indici dei "lane" (thread) all'interno di un warp per evitare conflitti di banco nella memoria condivisa, utilizzando tecniche di riordinamento degli indici e permutazioni specifiche.

• Ottimizzazione della Memoria Condivisa:

  • Utilizzando i Tensor Core, ogni warp carica gli elementi delle matrici di input una sola volta (condivisione tra thread), riducendo drasticamente il traffico di dati rispetto all'uso dei CUDA Core.
  • È stata implementata una mappatura personalizzata ($f_m, f_n, f_k$) per garantire che gli accessi alla memoria condivisa non causino serializzazione (bank conflicts), mantenendo l'efficienza del throughput.

• Fusione dei Kernel (Kernel Fusion):

  • Gli operatori FEM sono stati riorganizzati fondendo più passaggi computazionali (come le applicazioni di operatori di base e fisica) in un singolo kernel.
  • Questo approccio riduce la movimentazione dei dati in memoria (specialmente per l'approccio "Partial Assembly" - PA) e massimizza l'utilizzo dei registri e della memoria condivisa, eliminando la necessità di scrivere e riscrivere dati intermedi nella memoria globale.

3. Contributi Chiave

1. Primo utilizzo diretto di Tensor Core FP64 in applicazioni FEM su larga scala: Questo lavoro rappresenta, a quanto ne sanno gli autori, il primo esempio di programmazione diretta dei Tensor Core FP64 per accelerare applicazioni scientifiche complesse basate su PDE, ottenendo un aumento del throughput dei kernel fino al 59%.
2. Analisi di ottimizzazione per matrici irregolari: Un design dettagliato per gestire moltiplicazioni di matrici di forme non standard (tipiche dei metodi agli elementi finiti) evitando conflitti di memoria condivisa.
3. Analisi dell'efficienza energetica: Confronto tra le architetture Grace Hopper GH200 e Grace Blackwell GB200, dimostrando miglioramenti nell'efficienza energetica (performance per Watt) fino al 27% per i soli kernel DMMA e fino all'83% quando combinati con la fusione dei kernel.
4. Scalabilità su scala Exascale: Dimostrazione della scalabilità su quasi 10.000 GPU (9.216 GH200) sul sistema "Alps" del Centro Svizzero di Calcolo Scientifico (CSCS).

4. Risultati

I test sono stati eseguiti su problemi con centinaia di milioni di gradi di libertà (DOF) fino a scale di trilioni di DOF.

• Prestazioni su Singola GPU:

  • I kernel ottimizzati con DMMA hanno mostrato un aumento di velocità (speedup) compreso tra il 35% e il 59% rispetto ai kernel CUDA Core originali.
  • La combinazione di DMMA e fusione dei kernel ("DMMA Fused PA") ha raggiunto un speedup di 2x rispetto al kernel PA originale.
  • Efficienza Energetica: I kernel DMMA hanno migliorato le prestazioni per Watt del 18% (GB200) e 27% (GH200). Con la fusione, il miglioramento è salito al 72% (GB200) e 83% (GH200).

• Scalabilità Forte e Debole:

  • Scalabilità Debole: Su un aumento di 64x del numero di nodi (da 36 a 2.304 nodi), tutti i kernel hanno raggiunto un'efficienza di scalabilità debole quasi perfetta (~100%).
  • Scalabilità Forte: Su un problema di dimensione fissa, l'efficienza di scalabilità forte è rimasta eccellente, tra l'86% e il 91% su 9.216 GPU.

• Utilizzo delle Risorse:

  • L'uso dei Tensor Core ha ridotto le letture dalla memoria condivisa di un fattore 4.6x.
  • L'utilizzo della pipeline Tensor Op DMMA è salito dal 14% (CUDA Core) al 54% (DMMA), sebbene l'efficienza complessiva sia limitata dal disallineamento tra le dimensioni delle matrici FEM e le dimensioni native dell'istruzione Tensor Core ($8 \times 8 \times 4$).

5. Significato

Questo lavoro è significativo per diversi motivi:

• Superamento del limite di precisione: Dimostra che è possibile sfruttare l'hardware accelerato moderno (Tensor Core) anche per applicazioni che richiedono rigorosamente la doppia precisione, un requisito spesso considerato incompatibile con l'uso efficiente dei Tensor Core.
• Impatto su Applicazioni Critiche: Le ottimizzazioni sono state validate su un'applicazione reale e premiata (previsione tsunami in tempo reale), riducendo i tempi di calcolo e migliorando l'efficienza energetica, fattori cruciali per i supercomputer su scala exascale.
• Integrazione nell'Ecosistema Open Source: Le tecniche sviluppate sono state integrate nella libreria MFEM, rendendo queste ottimizzazioni accessibili alla comunità scientifica globale per l'uso in codici di produzione complessi.
• Guida per l'Architettura Futura: Fornisce un modello per come programmare direttamente le istruzioni hardware specializzate per problemi che non sono semplici moltiplicazioni di matrici dense standard, aprendo la strada a ulteriori ottimizzazioni per metodi numerici avanzati.