Beyond Exascale: Dataflow Domain Translation on a Cerebras Cluster

Questo articolo presenta l'algoritmo innovativo di "Domain Translation" che, implementato su un cluster di 64 sistemi Cerebras CS-3, supera i limiti delle attuali architetture exascale raggiungendo prestazioni senza precedenti (oltre 1,6 milioni di passi temporali al secondo e 112 PFLOP/s) nella simulazione di sistemi fisici come lo tsunami generato da un impatto asteroidale.

L'essenziale

🌊 Oltre l'Esascale: Come far correre i computer più veloci del mondo

Immagina di dover prevedere lo tsunami causato da un asteroide che colpisce l'oceano. Per farlo, devi simulare il movimento di ogni singola goccia d'acqua su tutto il pianeta. È un compito enorme, come cercare di tenere traccia di miliardi di persone che si muovono in una piazza affollata, dove ognuno deve sapere cosa fanno i vicini per decidere dove andare.

Fino a poco tempo fa, i supercomputer più potenti del mondo (quelli "Esascale") facevano fatica con questo tipo di lavoro. Perché? Perché erano come orchestre con un direttore d'orchestra lento.

Il Problema: La "Parete della Memoria"

I computer tradizionali (chiamati architettura Von Neumann) funzionano come un cuoco in una cucina enorme:

1. Il cuoco (il processore) prende gli ingredienti (i dati) da un magazzino lontano (la memoria).
2. Li prepara.
3. Li rimette nel magazzino.
4. Ripete.

Quando devi simulare un intero pianeta, il "magazzino" è così lontano che il cuoco passa più tempo a camminare avanti e indietro che a cucinare. Inoltre, quando usi molti computer insieme (un "cluster"), devono parlarsi per coordinarsi. Se il messaggio tra due computer impiega troppo tempo (latenza), tutti si fermano ad aspettare. È come se in un'orchestra, ogni musicista dovesse aspettare che il vicino gli sussurri la nota prima di poter suonare la propria. Il risultato? Il computer lavora al 5% della sua velocità massima.

La Soluzione: Il "Computer a Fetta di Pizza" (Cerebras)

Gli autori di questo studio hanno usato una macchina diversa: il Cerebras WSE.
Immagina invece di un cuoco singolo, un'intera cucina intera dove ogni singolo ingrediente ha il suo piccolo fornello e il suo piccolo frigorifero, tutti collegati da tunnel rapidissimi. Non c'è un magazzino centrale lontano; ogni "fornello" ha tutto ciò che gli serve accanto.

Questo è un computer spaziale: invece di spostare i dati, sposti il "pensiero" verso i dati. È come se ogni cellula del tuo corpo facesse il suo lavoro istantaneamente senza dover chiamare il cervello per ogni piccolo movimento.

L'Ingrediente Segreto: La "Traduzione del Dominio"

Anche con questa macchina veloce, c'era un problema: quando un computer deve parlare con un altro computer lontano (attraverso un cavo di rete), c'è sempre un piccolo ritardo. Se il ritardo è di 10 millisecondi, il computer si ferma per 10 millisecondi ogni volta che deve scambiare un dato.

Gli scienziati hanno inventato un trucco geniale chiamato Algoritmo di Traduzione del Dominio. Ecco come funziona con un'analogia:

Immagina una fila di persone che passano un secchio d'acqua da sinistra a destra per spegnere un incendio.

• Il metodo vecchio (Statico): Ogni persona ha una zona fissa. Quando la persona di sinistra finisce la sua zona, deve passare il secchio alla persona di destra. Se il passaggio è lento, tutti si fermano ad aspettare.
• Il metodo nuovo (Traduzione): Invece di fermarsi, tutta la fila si sposta di un passo ogni volta che passa un secchio.
  • La persona che prima era al centro, ora è al bordo.
  • La persona che era al bordo, ora è entrata nella zona sicura.
  • Il "confine" tra le zone si muove insieme ai dati.

Grazie a questo movimento continuo, il ritardo della rete (il tempo che impiega il secchio a viaggiare tra due gruppi) viene "nascosto". Mentre il secchio viaggia nel tunnel di rete, i computer continuano a lavorare sui dati che hanno già in mano. È come se il ritardo fosse coperto dal tempo che impieghi a camminare nella tua stanza mentre aspetti che qualcuno ti passi un pacco.

I Risultati: Cosa hanno ottenuto?

Usando questo metodo su un cluster di 64 di questi computer giganti (ognuno grande quanto un intero wafer di silicio), hanno ottenuto risultati incredibili:

1. Velocità Folle: Hanno simulato 1,6 milioni di passi temporali al secondo. Immagina di simulare un'intera giornata di eventi meteorologici in meno di un secondo.
2. Efficienza Perfetta: Hanno raggiunto l'88% della velocità massima teorica del computer. È come se un'auto da corsa andasse a 300 km/h invece di fermarsi a 30 km/h ogni volta che deve fare benzina.
3. Risparmio Energetico: Hanno fatto tutto questo consumando pochissima energia rispetto alla potenza ottenuta.
4. La Simulazione: Hanno simulato un tsunami globale causato da un asteroide che colpisce l'oceano, con una precisione di 460 metri per ogni punto della mappa. Hanno visto l'onda viaggiare per il pianeta e colpire San Francisco.

Perché è importante?

Questo non serve solo a simulare asteroidi (anche se è utile!). Significa che possiamo:

• Prevedere il meteo con una precisione mai vista prima.
• Capire i cambiamenti climatici in tempo reale.
• Progettare nuovi materiali o farmaci simulando la fisica a livello atomico senza aspettare anni.

In sintesi, gli autori hanno scoperto come trasformare un gruppo di computer lenti a causa delle distanze in un unico "super-cervello" che pensa e agisce all'istante, superando i limiti fisici della comunicazione tra le macchine. È un passo gigante verso il futuro del calcolo scientifico.

Sommario tecnico

1. Il Problema

La simulazione di sistemi fisici (come modelli climatici, fluidodinamica o onde) richiede la risoluzione di equazioni alle derivate parziali (PDE) su griglie spaziali. Le architetture di calcolo tradizionali basate su Von Neumann (come i cluster Exascale attuali) affrontano due limiti fondamentali quando si tratta di queste simulazioni:

• Muro della Memoria (Memory Wall): La comunicazione tra processore e memoria esterna crea colli di bottiglia che impediscono di raggiungere le prestazioni di picco.
• Scalabilità Forte Limitata: I metodi tradizionali di decomposizione del dominio (Domain Decomposition) richiedono scambi di dati frequenti ai confini dei sottodomini. In un cluster distribuito, la latenza di rete si somma ad ogni passo temporale, riducendo drasticamente il tasso di simulazione. Di conseguenza, i modelli su larga scala spesso raggiungono meno del 5% delle prestazioni di picco teoriche.

2. Metodologia: L'Algoritmo di "Domain Translation"

Gli autori introducono un nuovo algoritmo chiamato Domain Translation (Traduzione del Dominio), progettato specificamente per architetture spaziali e basate su flusso di dati (Dataflow), come i sistemi Cerebras Wafer Scale Engine (WSE).

• Principio di Località: L'algoritmo sfrutta il principio di località della fisica. Invece di mantenere una partizione statica dei dati su ciascun nodo (che richiederebbe comunicazione bidirezionale costante ai bordi), il dominio di calcolo "si sposta" fisicamente attraverso i processori ad ogni passo temporale.
• Flusso Unidirezionale: In ogni iterazione, la mappatura tra i punti della griglia e i processori viene traslata di $p$ punti (dove $p$ è il raggio dello stencil). Questo trasforma il traffico di rete da bidirezionale a unidirezionale.
• Nascondere la Latenza: Poiché il flusso è unidirezionale, la latenza di rete non si accumula ad ogni passo. Un punto della griglia subisce la latenza di rete solo una volta ogni volta che attraversa l'intero sottodominio di un nodo. Se la dimensione del sottodominio è sufficientemente grande, il tempo di calcolo copre interamente il tempo di latenza di rete, rendendo la latenza invisibile alle prestazioni.
• Implementazione Hardware: L'algoritmo è implementato su un cluster di 64 sistemi Cerebras CS-3 (ognuno contenente un WSE). L'architettura WSE, con la sua memoria distribuita localmente ai processori (SRAM) e l'interconnessione NoC (Network on Chip) a bassa latenza, è ideale per questo approccio.
• Codice: È stato sviluppato un framework generico in Tungsten (linguaggio dataflow di Cerebras) che gestisce la comunicazione asincrona e il calcolo degli stencil (5 punti e 9 punti per l'equazione del calore, e un sistema complesso per le equazioni delle acque poco profonde).

3. Contributi Chiave

• Primo Solutore PDE Distribuito su Cluster WSE: Dimostrazione di un solver PDE distribuito su un cluster di wafer-scale, superando i limiti delle architetture tradizionali.
• Algoritmo di Traduzione del Dominio: Una nuova tecnica che garantisce la scalabilità forte perfetta (perfect strong scaling) e la scalabilità debole perfetta (perfect weak scaling) su larga scala, eliminando l'impatto della latenza di rete.
• Efficienza Energetica e di Calcolo: Dimostrazione che è possibile raggiungere un utilizzo delle risorse vicino al 100% (88% del picco teorico) anche su cluster massicci, mantenendo un'efficienza energetica eccezionale.
• Simulazione Planetaria: Applicazione pratica del metodo per simulare uno tsunami causato da un impatto di asteroide su scala planetaria con una risoluzione di 460 metri.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su un cluster di 64 nodi Cerebras CS-3.

• Prestazioni di Calcolo:
  • Velocità di Simulazione: Il sistema ha eseguito simulazioni a un ritmo superiore a 1,6 milioni di passi temporali al secondo.
  • Scalabilità Debole: È stata dimostrata una scalabilità debole quasi perfetta (efficienza dal 98,8% al 99,9998%) variando il numero di nodi da 4 a 60.
  • Scalabilità Forte: Il sistema ha mantenuto un'alta efficienza anche riducendo il carico per processore, fino a 256 elementi per core.
• Prestazioni di Picco:
  • In un ambiente senza vincoli di potenza, il cluster ha raggiunto 112 PFLOP/s (PetaFLOP al secondo).
  • In un ambiente limitato dalla potenza (con ottimizzazione software e clock a 1,2 GHz), il sistema ha raggiunto 84,7 PFLOP/s con un'efficienza del 88% rispetto al picco teorico.
• Efficienza Energetica:
  • In modalità limitata dalla potenza, il sistema ha raggiunto 57 GFLOP/Joule. Questo è un risultato senza precedenti per calcoli sparsi (sparse computations) su cluster, superando i leader attuali della Green500 per carichi di lavoro specifici.
• Casi d'Uso:
  • Equazione del Calore: Utilizzata per caratterizzare le prestazioni con stencil a 5 e 9 punti.
  • Equazioni delle Acque Poco Profonde (SWE): Utilizzate per simulare la propagazione di onde di tsunami su scala globale. La simulazione ha modellato l'impatto di un asteroide (energia equivalente a 2,4 milioni di tonnellate di TNT) e la successiva propagazione delle onde fino alla baia di San Francisco.

5. Significato e Implicazioni

Questo lavoro segna un punto di svolta nell'High Performance Computing (HPC):

1. Superamento dell'Exascale: Dimostra che è possibile superare le barriere delle architetture tradizionali raggiungendo prestazioni e efficienze che i sistemi Von Neumann non possono eguagliare per carichi di lavoro basati su stencil.
2. Nuovo Paradigma di Scalabilità: L'approccio permette di trattare un intero cluster come un'unica unità di calcolo coerente, dove la memoria aggregata può essere utilizzata per mascherare la latenza di rete. Questo apre la possibilità di collegare cluster in città diverse (latenze di millisecondi) per creare macchine virtuali su scala multi-exascale.
3. Impatto Scientifico: La capacità di eseguire simulazioni fisiche con risoluzione temporale e spaziale senza precedenti è cruciale per la previsione meteorologica, la modellazione dei sistemi terrestri, la quantificazione dell'incertezza e la sicurezza cibernetico-fisica.
4. Futuro della Modellazione Atmosferica: Poiché le equazioni delle acque poco profonde sono il nucleo dei modelli atmosferici e oceanici moderni (come CESM, E3SM), questo successo suggerisce che l'architettura Cerebras e l'algoritmo di Domain Translation possono rivoluzionare la precisione e la velocità delle previsioni climatiche globali, offrendo un throughput aumentato di un ordine di grandezza e un'efficienza energetica migliorata di 1,5 ordini di grandezza.

In sintesi, il paper dimostra che combinando un'architettura hardware spaziale innovativa con un algoritmo software che rispetta i principi di località fisica, è possibile risolvere problemi scientifici complessi a scale e velocità precedentemente inimmaginabili.