Mixed precision solvers with half-precision floating point numbers for Lattice QCD on A64FX processor

Questo studio dimostra che l'uso di numeri in precisione half (FP16) nei solvitori misti per la QCD su reticolo sul processore A64FX è pratico e stabile, grazie all'introduzione di passaggi di ridimensionamento che limitano l'aumento delle iterazioni entro il 20% rispetto alla versione a doppia precisione.

L'essenziale

🧱 Il Problema: Costruire un grattacielo con un righello troppo corto

Immagina di dover costruire un grattacielo incredibilmente complesso (che nella fisica si chiama QCD su reticolo, ovvero la teoria che spiega come le particelle subatomiche interagiscono). Per farlo, devi calcolare miliardi di posizioni e forze.

Di solito, gli ingegneri usano un righello super preciso (chiamato precisione doppia o FP64) per assicurarsi che ogni mattone sia messo esattamente al posto giusto. È preciso, ma è anche lento e pesante da maneggiare.

Negli ultimi anni, però, i computer sono diventati così potenti che possiamo permetterci di usare dei righelli più piccoli e veloci (come la precisione singola o FP32) per la maggior parte del lavoro, usando il righello grande solo per i controlli finali. Questo ha già raddoppiato la velocità.

🚀 La Sfida: Provare con un "righello di carta" (FP16)

Gli autori di questo studio si sono chiesti: "E se provassimo a usare un righello ancora più piccolo, fatto di carta? Chiamiamolo FP16 (mezza precisione)."

Il vantaggio? Sarebbe velocissimo e consumerebbe pochissima energia. Il problema? È così piccolo che se provi a misurare qualcosa di troppo grande o troppo piccolo, il righello si rompe o non legge più nulla (questo si chiama underflow o overflow).

Nell'esperimento, quando hanno provato a usare questo "righello di carta" direttamente, il computer ha iniziato a fare errori terribili: i numeri diventavano così piccoli da sparire nel nulla, e il calcolo si bloccava. Era come cercare di misurare la distanza tra due galassie con un righello da cucina: non funziona.

💡 La Soluzione Magica: La "Ricalibrazione Continua"

Gli scienziati hanno trovato un trucco geniale per far funzionare questo righello fragile. Invece di usarlo così com'è, hanno introdotto un sistema di ricalibrazione continua (chiamato rescaling).

Ecco l'analogia:
Immagina di dover trasportare un secchio d'acqua attraverso un deserto usando un bicchiere di carta (il righello FP16).

1. Senza il trucco: Se il secchio è troppo pieno, il bicchiere si rompe (overflow). Se l'acqua è troppo poca, il bicchiere si asciuga e perdi l'acqua (underflow).
2. Con il trucco: Prima di versare l'acqua nel bicchiere, guardi quanto ce n'è.
   • Se è troppo, ne versi solo un po' nel bicchiere e tieni il resto da parte, segnando quanto hai versato.
   • Se è troppo poco, ne versi una goccia ma la "ingrandisci" mentalmente per poterla vedere nel bicchiere.
   • Alla fine, quando devi riportare il risultato, sommi tutto tenendo conto delle tue note.

In termini tecnici, gli scienziati hanno creato un algoritmo che riscalda e rinfredda i numeri durante il calcolo per assicurarsi che rimangano sempre in un range che il "righello di carta" riesce a leggere, senza mai perdere informazioni.

🏆 I Risultati: Velocità Record

Grazie a questo trucco, hanno ottenuto risultati straordinari sul supercomputer Fugaku (uno dei più potenti al mondo, situato in Giappone):

• Velocità: Il nuovo metodo è stato 3 volte più veloce rispetto all'uso del righello grande (FP64) e 2 volte più veloce rispetto al righello medio (FP32).
• Stabilità: Il calcolo non si è più bloccato. Anche se il "righello di carta" è fragile, il sistema di ricalibrazione lo ha reso robusto abbastanza da costruire il grattacielo.
• Precisione: Alla fine, il risultato è stato quasi identico a quello ottenuto con il righello super preciso, ma in una frazione del tempo.

🔮 Perché è importante?

Questo studio è come un'assicurazione per il futuro. I nuovi supercomputer (come il prossimo "Fugaku NEXT") saranno progettati per essere velocissimi proprio con questi "righelli di carta" (FP16), specialmente per l'Intelligenza Artificiale.

Dimostrando che si può usare questa tecnologia anche per la fisica delle particelle più complessa, gli autori ci dicono: "Non abbiate paura dei righelli piccoli. Se li usate con intelligenza, potete risolvere problemi enormi molto più velocemente."

In sintesi: hanno preso uno strumento fragile, gli hanno messo un'armatura di ricalibrazione e lo hanno trasformato in un motore di velocità per la scienza.

Sommario tecnico

Titolo

Solutori a precisione mista con numeri in virgola mobile a metà precisione (FP16) per la QCD reticolare sul processore A64FX

1. Il Problema

Le simulazioni di Cromodinamica Quantistica (QCD) su reticolo richiedono tipicamente precisione in virgola mobile a doppia precisione (FP64) per garantire l'accuratezza numerica dei risultati. Tuttavia, le moderne architetture hardware, in particolare le GPU e i processori vettoriali come l'A64FX di Fujitsu (utilizzato nel supercomputer Fugaku), offrono prestazioni significativamente superiori per operazioni a precisione ridotta (FP32 e FP16) grazie a unità SIMD (Single Instruction, Multiple Data) più ampie e a una minore larghezza di banda della memoria richiesta.

Il problema centrale affrontato in questo lavoro è l'instabilità numerica che si verifica quando si tenta di applicare algoritmi di precisione mista (che combinano FP64 per la precisione finale e FP16 per il precondizionamento) direttamente alla QCD reticolare.

• Instabilità da sottodimensionamento (Underflow): I numeri FP16 hanno un intervallo di esponenti molto limitato (da circa $6.10 \times 10^{-5}$ a $65504$). Durante le iterazioni di solutori lineari come BiCGStab, i vettori di residuo diventano progressivamente più piccoli. In FP16, questi valori tendono a sottodimensionarsi (underflow) diventando zero prematuramente, causando la stagnazione o la divergenza dell'algoritmo.
• Limiti degli approcci esistenti: Gli algoritmi di precisione mista standard, ottimizzati per FP32, non funzionano efficientemente con FP16 senza modifiche sostanziali a causa di questa limitata dinamica.

2. Metodologia

Gli autori hanno sviluppato un approccio innovativo per stabilizzare i solutori a precisione mista utilizzando FP16 sul processore A64FX. La metodologia si basa su tre pilastri principali:

• Ricalibrazione (Rescaling) dei vettori: Per evitare l'underflow, è stato introdotto un meccanismo di ricalibrazione sia nel passo di raffinamento iterativo esterno (algoritmo di Richardson) sia nel solutore interno BiCGStab.
  • I vettori di residuo e di soluzione vengono scalati dinamicamente durante le iterazioni per mantenere i loro valori all'interno dell'intervallo rappresentabile dai numeri FP16.
  • Vengono introdotti fattori di scala ($\gamma$ per i residui, $\lambda$ per la soluzione) che vengono ricalcolati ad ogni passo o periodicamente per correggere gli errori di arrotondamento e mantenere la normalizzazione corretta.
• Algoritmi Modificati:
  • Algoritmo 3: Una versione riscalata del raffinamento iterativo che ricalcola il fattore di scala $\hat{s}$ in FP32 (con riduzione globale in FP64) per garantire precisione nella normalizzazione.
  • Algoritmo 4 e 5: Varianti dell'algoritmo BiCGStab che includono il ricalcolo dei fattori di scala $\gamma$ e $\lambda$. L'algoritmo 5 estende il ricalcolo anche al vettore di soluzione per prevenire anche l'overflow.
• Implementazione Hardware-Specifica:
  • Sfruttamento delle estensioni vettoriali scalabili (SVE) dell'architettura ARM A64FX, che supportano nativamente le operazioni FP16 con un throughput fino a 4 volte superiore rispetto al FP64.
  • Utilizzo del tipo _Float16 (standard ISO/IEC) invece di __fp16 per garantire che le operazioni aritmetiche vengano eseguite realmente in FP16 e non convertite in FP32.
  • Gestione attenta delle conversioni di tipo e delle operazioni di riduzione (somma) per mantenere l'accuratezza, utilizzando FP32 all'interno dei thread OpenMP e FP64 per le riduzioni globali MPI.

3. Contributi Chiave

• Stabilità del FP16 nella QCD: Dimostrazione che l'uso diretto del FP16 nella QCD reticolare è fattibile se accompagnata da strategie di ricalibrazione specifiche, risolvendo il problema dell'underflow che rendeva inutilizzabili gli approcci precedenti.
• Nuovi Algoritmi di Ricalibrazione: Proposta di un metodo sistematico per ricalcolare i fattori di scala all'interno del ciclo di iterazione, correggendo le deviazioni causate dagli errori di arrotondamento del FP16. Questo metodo è presentato come applicabile anche ad altri precondizionatori a bassa precisione.
• Implementazione su A64FX: Sviluppo e ottimizzazione di un solutore ibrido (FP16 interno / FP64 esterno) specificamente per l'architettura A64FX, sfruttando le istruzioni SVE e il codice Bridge++ (con il ramo QXS).
• Analisi Comparativa: Confronto dettagliato tra solutori FP64, FP32/FP64 e FP16/FP64, fornendo linee guida pratiche sulla scelta dei parametri di ricalibrazione ($s$ e $\sigma$).

4. Risultati

Gli esperimenti sono stati condotti sul supercomputer Fugaku (RIKEN) su un reticolo di dimensioni $32^3 \times 64$ utilizzando una matrice di Wilson (la formulazione più semplice per i fermioni).

• Convergenza:
  • Il solutore BiCGStab FP16 "naive" (senza ricalibrazione) fallisce o converge estremamente lentamente a causa di stagnazione (stagflation) dovuta all'underflow.
  • Con l'applicazione delle tecniche di ricalibrazione, il solutore converge stabilmente. Il numero di iterazioni aggiuntive rispetto alla versione FP64 pura rimane entro il 20%.
• Prestazioni e Velocità:
  • Tempo di esecuzione: La versione FP16/FP64 è circa 2 volte più veloce della versione FP32/FP64 e circa 3 volte più veloce della versione FP64 pura.
  • Throughput: Le prestazioni della moltiplicazione matrice-vettore sono state misurate a:
    • FP64: ~2045 GFlops
    • FP32: ~3895 GFlops
    • FP16: ~8249 GFlops
• Analisi degli Underflow: L'analisi della frazione di elementi a zero nei vettori di input ha confermato che la ricalibrazione riduce drasticamente gli underflow, permettendo all'informazione di propagarsi correttamente attraverso il reticolo.
• Robustezza dei Parametri: È stato osservato che, per un'ampia gamma di valori dei parametri di ricalibrazione ($s$ e $\sigma$), il numero di iterazioni rimane stabile (intorno a 850-1000 moltiplicazioni matrice-vettore), indicando che il metodo è robusto.

5. Significato e Prospettive

Questo lavoro è significativo perché apre la strada all'utilizzo della metà precisione (FP16) nelle simulazioni scientifiche ad alte prestazioni (HPC) su architetture CPU moderne come A64FX, non solo su GPU.

• Preparazione per il Futuro: Con la prossima generazione di supercomputer giapponesi (Fugaku NEXT) che adotterà acceleratori NVIDIA con Tensor Core ottimizzati per FP16, questa ricerca fornisce le basi algoritmiche necessarie per sfruttare queste capacità anche per applicazioni scientifiche complesse come la QCD.
• Generalizzabilità: Sebbene lo studio si sia concentrato sulla matrice di Wilson, le tecniche di ricalibrazione proposte sono applicabili a formulazioni più complesse (come i fermioni clover o a muro di dominio) e ad altri solutori iterativi.
• Ottimizzazione delle Risorse: La possibilità di ottenere un speed-up di 3x rispetto al FP64 senza sacrificare la precisione finale del risultato (garantita dal raffinamento iterativo esterno) rappresenta un guadagno enorme in termini di efficienza energetica e tempi di calcolo per la fisica delle alte energie.

In sintesi, il paper dimostra che con le giuste correzioni algoritmiche, la precisione ridotta può essere utilizzata con successo per accelerare drasticamente le simulazioni di QCD su hardware di stato dell'arte, superando le barriere numeriche tradizionalmente associate ai formati a bassa precisione.