Sintesi Tecnica: FP8 è tutto ciò di cui hai bisogno (Parte 1)

1. Definizione del Problema

Il documento affronta una divergenza critica nell'architettura dell'hardware per l'High-Performance Computing (HPC). Mentre le simulazioni scientifiche (ad es., Cromodinamica Quantistica, CFD, modellazione climatica) si affidano all'aritmetica a doppia precisione (fp64) conforme allo standard IEEE 754 per la stabilità numerica, le moderne GPU per data center stanno virando verso carichi di lavoro AI a bassa precisione.

Le architetture NVIDIA Blackwell Ultra (B300) e la prossima Rubin (R200) esemplificano questo spostamento. La B300 offre un throughput massiccio in formati a bassa precisione (10–15 PFLOPS in NVFP4/fp8), ma ha ridotto drasticamente le prestazioni tensor native in fp64 a circa 1,3 TFLOPS — una regressione di 30× rispetto alla B200. Ciò crea due patologie specifiche:

1. Kernel limitati dalla memoria diventano limitati dal calcolo: Il "punto di cresta" (dove i limiti di calcolo e memoria si intersecano) sulla B300 scende a 0,16 FLOPS/Byte. Di conseguenza, i classici kernel limitati dalla memoria come la moltiplicazione matrice-vettore sparsa (SpMV), gli stencil e le batched GEMV, che precedentemente giravano al limite della larghezza di banda della memoria, sono ora artificialmente limitati dalle deboli unità aritmetiche fp64 native.
2. Silicio Dormiente: I massicci tensor core a bassa precisione (fp8/NVFP4) rimangono inattivi durante i carichi di lavoro HPC esclusivamente fp64, rappresentando un'inefficienza di tipo "Dark Silicon".

La domanda centrale è se il silicio fp64 nativo rimanga il "sacro Graal" dell'HPC, o se l'abbondante throughput fp8, combinato con l'emulazione algoritmica, possa ripristinare la piena accuratezza e le prestazioni fp64.

2. Metodologia e Modello Analitico

Il Modello di Equilibrio Tensor–Memory (TME)

Gli autori introducono il modello Tensor–Memory Equilibrium (TME), un'estensione del classico modello Roofline, per analizzare le prestazioni dell'emulazione fp64 su hardware a bassa precisione. Il modello introduce tre parametri specifici per l'emulazione:

• $\alpha$ (Moltiplicatore di Calcolo): Il numero di operazioni tensor-core a bassa precisione richieste per ogni operazione ad alta precisione (ad es., il numero di moduli $r$ nel metodo del Teorema Cinese del Resto).
• $\beta$ (Moltiplicatore di Banda): Il rapporto tra il movimento dei dati nel kernel emulato rispetto al kernel nativo. Fondamentalmente, il documento sostiene che se la decomposizione e la ricostruzione sono fuse a livello di registro, $\beta$ può tendere a 1, il che significa che l'emulazione non aggiunge overhead di traffico nella memoria globale.
• $\gamma$ (Latenza di Ricostruzione): Il costo di latenza per ricostruire il risultato finale (ad es., tramite l'algoritmo di Garner).

Lo Schema Ozaki II

Il documento utilizza lo Schema Ozaki II, un metodo basato sul Teorema Cinese del Resto (CRT). A differenza dell'originale "Ozaki I" (slicing della mantissa), che scala quadraticamente con il numero di slice, Ozaki II decompone la moltiplicazione tra matrici in aritmetica modulare su moduli pairwise-coprime.

• Fase 1: Scalare le matrici in interi.
• Fase 2: Eseguire le GEMM a bassa precisione (fp8) modulo $m_i$.
• Fase 3: Ricostruire il prodotto intero usando l'algoritmo di Garner e riscalare in fp64.

Il documento adatta specificamente questo schema per i tensor core fp8 (E4M3), utilizzando un trucco di quantizzazione per emulare l'aritmetica modulare su unità floating-point, poiché il throughput nativo int8 è stato deprioritizzato su B300/Rubin.

Strategia di Implementazione per Kernel Limitati dalla Memoria

Un contributo centrale è l'identificazione della fusione a livello di registro come il meccanismo per guidare $\beta \to 1$. La strategia di implementazione proposta prevede:

1. Caricare gli operandi fp64 nella memoria condivisa (shared memory).
2. Decomporre gli operandi in piani di residuo all'interno dei registri.
3. Eseguire $r$ operazioni MMA tensor-core a bassa precisione su questi piani di residuo.
4. Ricostruire il risultato tramite l'algoritmo di Garner nei registri prima di scrivere nuovamente nella memoria globale.
   Ciò garantisce che i piani di residuo non tocchino mai l'HBM, preservando la larghezza di banda della memoria.

3. Contributi Chiave

1. Modello di Prestazione Unificato: La derivazione del modello TME, che predice il crossover di intensità aritmetica dove l'emulazione supera le prestazioni native fp64, tenendo esplicitamente conto dei parametri $\alpha, \beta, \gamma$.
2. Disciplina del Design dei Kernel: L'identificazione della fusione a livello di registro come un requisito di correttezza per i kernel limitati dalla memoria. Senza di essa, l'inflazione della banda ($\beta > 1$) annulla i benefici dell'emulazione.
3. Proiezioni Generazionali: Le proiezioni delle prestazioni per B300 e Rubin R200 mostrano che Ozaki II + fp8 possono ottenere:
   • Regime Limitato dalla Memoria: Un throughput che corrisponde al tetto della memoria (ad es., 4 TFLOPS per gli stencil su B300), ripristinando efficacementamente le prestazioni ai livelli pre-collasso.
   • Regime Limitato dal Calcolo: Un tetto di throughput di circa 500 TFLOPS (B300) e ~400 TFLOPS (Rubin), superando di un ordine di grandezza il tetto fp64 nativo della generazione precedente (B200, 40 TFLOPS).
4. Confronto con il Baseline H100: Un ricalcolo del baseline rispetto a H100 (l'ultimo GPU bilanciato per l'HPC). Il documento dimostra che Ozaki II su B300/Rubin eguaglia o supera le prestazioni di H100 in tutti i carichi di lavoro, mentre l'fp64 nativo della B300 regredisce fino a 50× nei compiti sensibili al calcolo.
5. Copertura End-to-End dei Kernel: Un audit completo che combina i risultati di questo documento con un'analisi FFT complementare [19] e strategie di riduzione BLAS-1 (FP32 + Kahan). L'audit conclude che ogni classe principale di kernel HPC (GEMM, SpMV, Stencil, FFT, riduzioni) ammette una via per raggiungere il tetto della memoria con piena accuratezza fp64 su B300.

4. Risultati

• Fattori di Accelerazione (Speedup): Su B300, Ozaki II/fp8 fornisce:
  • ~380× di speedup per Dense GEMM (compute-bound).
  • ~24× di speedup per Batched GEMV (B=8).
  • ~3.1× di speedup per Stencil a 7 punti.
  • ~1.2× di speedup per SpMV (profondamente limitato dalla memoria).
• Vantaggio Rubin: Su Rubin R200, il salto nella larghezza di banda HBM (fino a 22 TB/s) combinato con Ozaki II produce un miglioramento di 2.75× rispetto a B300 nel regime limitato dalla memoria e un miglioramento di 6.6× rispetto a H100 attraverso l'intero spettro.
• Scelta del Substrato: Il documento conferma che fp8 è il substrato superiore per Ozaki II su B300/Rubin a causa del collasso del throughput int8, offrendo un vantaggio di tetto di emulazione di 30× rispetto a int8 su B300.
• Accuratezza: L'emulazione mantiene limiti di errore componentwise provabili comparabili al fp64 nativo, a condizione che il numero di moduli $r$ sia scelto correttamente (tipicamente $r \approx 10$ per fp8).

5. Significato e Rivendicazioni

Il documento sostiene che il "sacro Graal" del silicio fp64 nativo non è più un prerequisito per un calcolo scientifico credibile. Invece, la combinazione di un abbondante throughput tensor fp8 e dell'emulazione Ozaki Scheme II è sufficiente per recuperare l'esecuzione al tetto della memoria con piena accuratezza fp64 in tutto il canone dei kernel HPC.

Rivendicazioni Chiave:

• Parità nei Regimi Limitati dalla Memoria: L'emulazione non penalizza i kernel limitati dalla memoria; con la fusione a livello di registro, raggiunge la parità con il tetto della memoria, proprio come farebbe un chip fp64 sano.
• Superiorità nei Regimi Limitati dal Calcolo: L'emulazione supera di gran lunga le capacità fp64 native della generazione precedente (B200) e le unità fp64 native della generazione corrente.
• Vitalità Strategica: L'investimento ingegneristico richiesto per implementare questi kernel è ora trattabile su una scala temporale di "mesi piuttosto che anni", facilitata dai moderni assistenti di codifica AI e dalla standardizzazione del pattern algoritmico.
• Implicazione Architetturale: I futuri design delle GPU dovrebbero garantire un throughput tensor fp8 sufficiente e un percorso di fallback (come il sub-floor Kulisch INT32 per il lavoro spettrale) piuttosto che insistere su tensor core fp64 nativi. Il documento pone l'ipotesi che "fp8 (con il giusto scaffolding algoritmico) è tutto ciò di cui hai bisogno per l'HPC di produzione".

Il documento conclude che l'era "post-fp64" non è una regressione, ma un riallineamento strategico in cui l'emulazione definita dal software converte i risparmi di silicio derivanti dall'ottimizzazione AI in un throughput scientifico ad alta precisione utilizzabile.