Performance Optimization and Comparative Analysis of Generative AI Models on Advanced Accelerators

Sintesi Tecnica: Ottimizzazione delle Prestazioni e Analisi Comparativa di Modelli di IA Generativa su Acceleratori Avanzati

Problematica
Nonostante le impressionanti capacità dei modelli di IA Generativa, inclusi i Large Language Models (LLM) e i modelli di diffusione, il loro dispiegamento affronta ostacoli significativi. Queste sfide includono requisiti di memoria sostanziali, latenza di inferenza estesa, elevata domanda computazionale e costi hardware elevati. Tali problemi sono ulteriormente esacerbati quando si valutano i modelli attraverso piattaforme eterogenee, dove le variazioni nei formati numerici, nelle larghezze di banda della memoria e negli stack software interagiscono in modo complesso con le architetture dei modelli e le caratteristiche dei carichi di lavoro. Il documento affronta la necessità di uno studio sistematico per ottimizzare le prestazioni e confrontare questi modelli su diversi task a valle su moderni sistemi di High-Performance Computing (HPC) e acceleratori avanzati.

Metodologia
Gli autori hanno condotto una valutazione completa su tre distinti sistemi HPC: Perlmutter (NERSC, dotato di GPU NVIDIA A100), Expanse (SDDC, dotato di GPU NVIDIA V100, A100 e H100) e Voyager (SDSC, dotato di acceleratori Intel Gaudi). Lo studio si è concentrato su tre aree primarie:

1. Quantizzazione Post-Training (PTQ) a Precisione Mista: Gli autori hanno introdotto un nuovo framework di PTQ a precisione mista consapevole della sensibilità, progettato per ottimizzare gli LLM (specificamente TinyLlama-1.1B) attraverso gli acceleratori NVIDIA A100 e Intel Gaudi HPU.

   • Analisi della Sensibilità: Il framework impiega un approccio in due fasi. Calcola i punteggi di sensibilità a livello di layer del transformer analizzando l'ampiezza dei pesi (escludendo bias e parametri di normalizzazione) e applicando una soglia di pruning unificata basata su un obiettivo di sparsità (30%).
   • Strategia di Quantizzazione: I layer sensibili ricevono una precisione maggiore, mentre i layer robusti ricevono una precisione inferiore. Lo studio ha valutato la quantizzazione "fake" (simulata in FP32) e la quantizzazione "real" utilizzando FP16/INT8 per A100 e BF16/FP8 (tramite Intel Neural Compressor) per Gaudi.
   • Dataset: La valutazione è stata eseguita su WikiText-2 (modellazione del linguaggio), HellaSwag (ragionamento del senso comune) e BoolQ (comprensione della lettura).

2. Fine-Tuning delle Prestazioni su Gaudi: Lo studio ha valutato il fine-tuning di tre LLM open-source (Llama3.1-8B, Gemma2-27B e Llama3.3-70B) su Voyager utilizzando la libreria Optimum-Habana.

   • Parallelizzazione: Gli autori hanno confrontato le strategie Distributed Data Parallel (DDP), DeepSpeed (ZeRO3) e Fully Sharded Data Parallel (FSDP).
   • Ottimizzazione: È stato analizzato l'impatto di Flash Attention (FA) e le differenze generazionali tra Gaudi1, Gaudi2 e Gaudi3.

3. Addestramento di Modelli di Diffusione: Un modello di Super-Risoluzione, utilizzato per migliorare immagini astrofisiche di polvere galattica, è stato addestrato su nodi Gaudi e confrontato con GPU NVIDIA (V100, A100, H100) su Expanse. Il modello è stato parallelizzato utilizzando PyTorch DDP ed eseguito in modalità SynapseAI Lazy.

Risultati Chiave

• Prestazioni della Quantizzazione: La quantizzazione reale su A100 e Gaudi2 ha raggiunto rapporti di compressione compresi tra 2x e 6x con una perdita di accuratezza minima. Ad esempio, sul task WikiText-2, Gaudi2 ha ottenuto un rapporto di compressione di 5.93x con una perplexity di 12.39 (rispetto a 12.02 per FP32), mentre A100 ha ottenuto una compressione di 3.77x con una perplexity di 12.02. I miglioramenti del throughput sono stati significativi, con Gaudi2 che ha mostrato fino a 34.081 token/sec in scenari di quantizzazione simulata.
• Efficienza del Fine-Tuning:
  • Guadagni Generazionali: Le schede Gaudi2 hanno dimostrato una riduzione del tempo di esecuzione da 2.5x a 3x rispetto a Gaudi1, attribuita all'aumento da 8 a 24 Tensor Processing Cores (TPC). Gaudi3 ha offerto un ulteriore guadagno di prestazioni da 1.8x a 2x rispetto a Gaudi2.
  • Flash Attention: L'abilitazione di Flash Attention su Gaudi1 e Gaudi2 ha portato a un miglioramento delle prestazioni dal 10% al 20%, minimizzando il movimento di dati tra i tipi di memoria.
  • Overhead di Sharding: Per il modello Gemma2 da 27 miliardi di parametri, il DDP ha superato decisamente i metodi di sharding del modello (DeepSpeed e FSDP). Gli autori hanno riscontrato che, sebbene lo sharding riduca l'impronta di memoria, introduce un overhead significativo che degrada le prestazioni. Di conseguenza, lo sharding dovrebbe essere impiegato solo quando un modello non può rientrare nella HBM di una singola scheda.
• Scaling dei Modelli di Diffusione:
  • GPU NVIDIA: Hanno mostrato uno scaling quasi perfetto con un aumento di velocità di circa 2x da V100 ad A100 e un altro di circa 2x da A100 ad H100.
  • Intel Gaudi: Ha mostrato un aumento di velocità di 4x da Gaudi1 a Gaudi2. Tuttavia, questa tendenza non è continuata linearmente da Gaudi2 a Gaudi3, indicando un plateau nell'efficienza di scaling per questo specifico carico di lavoro.

Significatività e Rivendicazioni
Il documento rivendica di fornire un'analisi comparativa sistematica delle prestazioni dell'IA Generativa attraverso ambienti HPC eterogenei, offrendo intuizioni pratiche per il dispiegamento. I suoi contributi primari includono:

1. Un nuovo framework di quantizzazione a precisione mista consapevole della sensibilità che bilancia l'accuratezza del modello e la compressione attraverso diverse architetture hardware.
2. Evidenza empirica che dimostra come, per i modelli che rientrano nella memoria di una singola scheda, il DDP standard sia superiore alle complesse strategie di sharding come DeepSpeed o FSDP, che introducono un overhead non necessario.
3. Un benchmarking dettagliato dell'evoluzione degli acceleratori Intel Gaudi, evidenziando i guadagni di prestazione specifici (e i limiti) negli aggiornamenti generazionali e l'efficacia di Flash Attention in questo ecosistema.
4. La validazione delle capacità di addestramento dei modelli di diffusione su acceleratori Gaudi, fornendo una base per applicazioni di calcolo scientifico come il miglioramento delle immagini astrofisiche.

Il lavoro sottolinea che, sebbene gli acceleratori avanzati offrano sostanziali guadagni di prestazione, un dispiegamento ottimale richiede una considerazione attenta della dimensione del modello, dei vincoli di memoria e dei trade-off specifici tra quantizzazione, strategie di parallelizzazione e generazioni hardware.