Riassunto Tecnico: FP8 is All You Need (Parte 2)

1. Definizione del Problema

Il documento affronta il cambiamento architettonico nelle GPU NVIDIA Blackwell Ultra (B300) e Rubin, dove il throughput vettoriale FP64 è stato drasticamente ridotto per dare priorità ai carichi di lavoro AI (Tensor Core FP8/FP16). Nello specifico, il throughput vettoriale FP64 della B300 (~1,3 TFLOPS) è circa 30 volte inferiore rispetto alla B200 ed è insufficiente per sostenere carichi di lavoro scientifici limitati dalla memoria (memory-bound), come le trasformate veloci di Fourier 3D (FFT), al tetto della larghezza di banda della memoria.

Mentre il paper complementare [1] ha dimostrato che il framework di emulazione Ozaki Scheme II (Ozaki-II) potrebbe recuperare un throughput equivalente a FP64 per operazioni matriciali dense (GEMM, GEMV, Stencil, SpMV) instradando i calcoli attraverso i tensor core FP8, rimaneva una lacuna critica: la 3D FFT. La FFT presenta un collo di bottiglia unico in cui il costo di ricostruzione (ricostruzione di Garner) scala diversamente rispetto alla densa GEMM, rendendo potenzialmente inefficiente o impraticabile l'approccio standard Ozaki-II su queste architetture con "collasso FP64".

2. Metodologia

Gli autori propongono Ozaki-Bailey FFT, un framework di emulazione che combina il sistema numerico dei residui Ozaki-II con la decomposizione a sei fasi di Bailey per le 3D FFT. La metodologia prevede un'analisi e una riformulazione in tre parti:

A. L'analisi del $\gamma$-Roof

Gli autori analizzano il modello TME (Tensor-Memory Equilibrium) per il kernel FFT. A differenza della densa GEMM, dove i termini di calcolo ($\alpha$) e memoria ($\beta$) dominano, nel caso della FFT, alla dimensione interna di Bailey $k \approx \sqrt{N} = 32$ (per $N=1024$), la latenza di ricostruzione di Garner ($\gamma$) diventa il vincolo determinante.

• Problema: La ricostruzione ricorsiva standard di Garner richiede $O(r^2)$ operazioni intere per elemento di output. Sulla B300, ciò si traduce in un tempo di esecuzione di circa 260 ms, circa 20 volte più lento del tetto della memoria (12,9 ms).
• Riformulazione: Gli autori decompongono la ricostruzione di Garner in due fasi:
  • Fase A: Prodotti scalari utilizzando coefficienti a mantissa segmentata (CRT forward) mappati su tensor core FP8/INT8. Questo passaggio è altamente efficiente (~0,5 ms).
  • Fase B: Una riduzione per output dei risultati della Fase A. In un'implementazione ingenua, questa gira sul pipe vettoriale FP64 collassato, creando un nuovo collo di bottiglia (~163 ms).

B. La via di fuga Kulisch (Riformulazione della Fase B)

Per risolvere il collo di bottiglia della Fase B senza fare affidamento sul debole pipe vettoriale FP64, gli autori esaminano gli schemi classici di accumulazione esatta. Identificano l'accumulatore a virgola fissa ad alta precisione di Kulisch [16, 17] come la soluzione.

• Meccanismo: Inveve della sommatoria in virgola mobile, la riduzione viene eseguita utilizzando un accumulatore a virgola fissa esteso (160 bit, implementato tramite cinque registri INT32) sul pipe SIMT INT32.
• Precisione: L'accumulazione è esatta (nessun arrotondamento intermedio). L'unico arrotondamento avviene una sola volta, alla conversione finale dal numero intero a 160 bit a FP64. Ciò mantiene la piena accuratezza FP64 (migliore della sommatoria FP64 ingenua, che accumula circa 11 ulps di errore).
• Performance: Il throughput INT32 della B300 (~75 TOPS) è circa 58 volte superiore al suo throughput FP64. Instradare la Fase B qui riduce il tempo di esecuzione previsto a circa 18 ms.

C. Regola di Co-design a Quattro Livelli (Four-Floor Co-design Rule)

Il paper deriva quattro "pavimenti di parità di larghezza di banda" (requisiti minimi di throughput rispetto alla larghezza di banda della memoria, $BHBM$) necessari per raggiungere la parità del tetto della memoria per le FFT:

1. Pavimento FP64 Nativo: $\eta_{FP64} \ge 1.56 \cdot BHBM$. (La B300 fallisce questo punto di circa 10×).
2. Pavimento Fase B Ozaki Ingenua: $\eta_{FP64} \ge 2.06 \cdot BHBM$. (Informativo; strettamente più difficile del nativo).
3. Sotto-pavimento Kulisch INT32: $\eta_{INT32} \ge 8.25 \cdot BHBM$. (La B300 soddisfa questo con un margine del ~14%).
4. Pavimento Tensor-Core FP8: $\eta_{FP8} \ge 170 \cdot BHBM$. (La B300 soddisfa questo con un margine di ~3,7×).

3. Contributi Chiave

1. Identificazione del $\gamma$-Roof: Il paper stabilisce che per le 3D FFT, il costo di ricostruzione di Garner ($\gamma$) diventa il collo di bottiglia dominante a specifiche dimensioni del problema ($k \approx 32$), invalidando l'assunto che i termini di calcolo/memoria dettino da soli le prestazioni.
2. Riformulazione della Ricostruzione di Garner tramite Tensor Core: Gli autori introducono una divisione della ricostruzione di Garner in Fase A (Tensor Core) e Fase B (SIMT), consentendo l'uso dell'hardware ad alto throughput FP8/INT8 per il carico di lavoro pesante.
3. Soccorso della Fase B con Kulisch: Il paper propone l'uso dell'accumulatore a virgola fissa di Kulisch sul pipe SIMT INT32 per eseguire la riduzione della Fase B. Questo è presentato come una "via di fuga software" che permette alle GPU con FP64 collassato di ottenere la piena accuratezza FP64 senza l'hardware vettoriale FP64 nativo.
4. Regola di Co-design a Quattro Livelli: Viene proposta una nuova regola di progettazione architettonica. Per supportare le FFT FP64 complete su hardware post-FP64, una GPU deve soddisfare il pavimento FP64 nativo OPPURE soddisfare sia il pavimento del tensor-core FP8 che il sotto-pavimento Kulisch INT32.
5. Proiezioni Quantitative:
   • B300: La FFT nativa è ~124 ms; la Garner ricorsiva è ~260 ms; la Fase B ingenua è ~163 ms. Il percorso Kulisch proietta ~18 ms, avvicinandosi al tetto della memoria di 12,9 ms.
   • Rubin: Si posiziona entro il 4% del pavimento FP64 nativo, rendendo inutile l'emulazione per le FFT.
   • H100/B200: Soddisfano comodamente il pavimento nativo.

4. Risultati e Rivendicazioni

• Fattibilità: Il paper afferma che la B300, nonostante il suo ridotto pipe vettoriale FP64, può raggiungere prestazioni vicine al tetto della memoria per le 3D FFT FP64 complete (1024³) esclusivamente tramite ingegneria del software (Ozaki-Bailey + Kulisch).
• Accuratezza: Il metodo Kulisch fornisce un'accuratezza strettamente migliore della sommatoria FP64 ingenua (singolo arrotondamento finale contro l'errore accumulato) pur operando interamente sul pipe INT32.
• Implicazioni Architetturali:
  • B300: È "salvabile" per i codici spettrali se il kernel Kulisch viene implementato in modo efficiente (assumendo un'efficienza del pipe SIMT INT32 del 50–70%).
  • Rubin: È bilanciata per i codici spettrali; l'emulazione non offre vantaggi di velocità.
  • Design Futuro: Il paper sostiene che il pavimento FP64 nativo ($\eta \ge 1.56 \cdot BHBM$) rimanga l'obiettivo di acquisto sicuro. La via Kulisch è un "soccorso" per le architetture sub-floor esistenti, ma non dovrebbe giustificare ulteriori tagli al silicio FP64 o INT32 nelle generazioni future. Se entrambi FP64 e INT32 vengono tagliati, la via di fuga si chiude.

5. Significato

Il paper conclude che la combinazione di l'emulazione Ozaki-II, la decomposizione di Bailey e l'accumulatore Kulisch fornisce un audit della copertura del kernel end-to-end per lo stack post-FP64. Dimostra che anche con un pipe vettoriale FP64 "profondamente collassato", il calcolo scientifico FP64 completo (specificamente le FFT) non è necessariamente morto, a patto che l'architettura mantenga un throughput SIMT INT32 e una capacità di tensor-core FP8 sufficienti.

Il lavoro motiva la creazione di una libreria libKulisch per implementare queste primitive di accumulatore esteso per FFT, SpMV e altri kernel limitati dalla riduzione con bassa intensità operativa. Gli autori sottolineano che, sebbene la proiezione sia promettente (~18 ms), la misurazione empirica del kernel Kulisch Fase B è il passo immediato successivo per validare le assunzioni di efficienza.