WattGPU: Predicting Inference Power and Latency on Unseen GPUs and LLMs

Sintesi Tecnica: WattGPU

Problematica
La rapida proliferazione dei carichi di lavoro di inferenza dei Large Language Model (LLM), in particolare nelle implementazioni di piccole e medie imprese, ha creato un'impronta energetica significativa e in crescita. Ottimizzare queste implementazioni richiede l'abbinamento di specifici LLM alle GPU più efficienti dal punto di vista energetico. Tuttavia, gli operatori attualmente mancano di strumenti per eseguire questo abbinamento senza profilare esaustivamente ogni potenziale combinazione LLM-GPU sull'hardware fisico. Questo processo di profilazione è proibitivo in termini di costi, richiedendo l'accesso fisico a hardware diversificati, competenze specializzate e risorse significative. I modelli predittivi esistenti si affidano a dati di profilazione o non riescono a generalizzare su hardware non visto durante l'addestramento, lasciando un vuoto nella capacità di stimare il consumo di potenza e la latenza per configurazioni inedite utilizzando solo metadati pubblici.

Metodologia
Per affrontare questa sfida, gli autori introducono WattGPU, un framework caratterizzato da due modelli predittivi per il Consumo Medio di Potenza della GPU ($\bar{P}$) e la Latenza Inter-Token (ITL). L'innovazione principale è che questi modelli richiedono zero accesso all'hardware o profilazione una volta addestrati; essi si affidano esclusivamente ai metadati pubblici degli LLM (ad esempio, numero di parametri, layer, teste di attenzione da Hugs Face) e alle specifiche dei produttori di GPU (ad esempio, TDP, larghezza di banda della memoria, velocità di clock).

• Ingegneria delle Caratteristiche (Feature Engineering): Gli autori hanno derivato caratteristiche per catturare la dinamica dell'hardware, tra cui un Boosting ratio (scaling della frequenza), Bandwidth Latency (tempo di lettura dei pesi) e Compute Latency (limite teorico inferiore per il calcolo dei token).
• Architettura del Modello: Gli autori hanno valutato vari algoritmi e hanno selezionato XGBoost (Gradient-Boosted Regression Trees) come il modello ottimale.
  • Per la previsione della potenza, la variabile target è normalizzata rispetto al Thermal Design Power (TDP) della GPU per apprendere un comportamento invariante rispetto alla scala, facilitando la generalizzazione a GPU non viste.
  • Gli iperparametri sono stati ottimizzati tramite grid search, con configurazioni specifiche per la potenza (max_depth=6, n_estimators=100) e la latenza (max_depth=5, n_estimators=200).
• Strategia di Valutazione: I modelli sono stati valutati su un dataset composto da 42 LLM open-source (da 0.1B a 27B di parametri) e 8 GPU di classe server (che vanno da V100 a H200). La valutazione ha utilizzato rigorose strategie di cross-validazione:
  1. 5-fold Cross-Validation (CV): Generalizzazione a combinazioni (GPU, LLM) non viste di hardware/modelli noti.
  2. Leave-One-GPU-Out (LOGO): Generalizzazione a GPU completamente nuove.
  3. Leave-One-LLM-Out (LOLO): Generalizzazione a LLM completamente nuovi.
     Gli scenari includevano modalità Offline (throughput massimo) e Server (richieste con distribuzione di Poisson con vincoli di latenza).

Risultati Chiave
I modelli WattGPU dimostrano miglioramenti significativi rispetto ai baseline analitici (Load-Scaled TDP per la potenza e Roofline per la latenza), particolarmente negli scenari di generalizzazione.

• Consumo Medio di Potenza ($\bar{P}$):
  • GPU non viste (LOGO): Ha raggiunto un Median Absolute Percentage Error (MdAPE) ≤3,4% per gli scenari offline e ≤13,5% per gli scenari server.
  • Classifica (Ranking): Ha mantenuto forti correlazioni di classificazione delle GPU per gli scenari server (Kendall $\tau \ge 0,76$).
  • Confronto con i Baseline: Ha ridotto l'MdAPE di circa 2× per le GPU completamente nuove e di 4× per le combinazioni LLM-GPU non viste negli scenari server rispetto ai baseline più forti.
• Latenza Inter-Token (ITL):
  • Scenari Server: Ha raggiunto un MdAPE ≤8,5% su GPU non viste (LOGO).
  • Scenari Offline: Le prestazioni sono state più difficili, con un MdAPE del 24,9% su GPU non viste, sebbene il modello superi comunque il baseline Roofline in errore assoluto (24,9% vs 80,2% per LOGO).
  • Classifica (Ranking): I modelli hanno ottenuto un'alta qualità di classifica, con Kendall $\tau \ge 0,76$ per gli scenari server.

Significatività e Rivendicazioni
Il documento sostiene di presentare i primi modelli predittivi per la potenza e la latenza di inferenza degli LLM valutati specificamente su GPU non viste. La sua importanza primaria risiede nel consentire decisioni di deployment consapevoli dell'energia senza la necessità di benchmarking fisico.

• Impatto Pratico: Gli autori illustrano che le euristiche standard (come TDP o TFLOPS/Watt) possono essere fuorvianti. Ad esempio, selezionare una H100 invece di una A30 per un deployment a basso carico di Llama 3.1 8B potrebbe sembrare efficiente in base a TFLOPS/Watt, ma WattGPU prevede che essa consumerebbe il 43% in più di potenza pur soddisfacendo lo stesso SLA di latenza.
• Sostenibilità: Consentendo agli operatori di selezionare la GPU più efficiente per uno specifico LLM e scenario di carico di lavoro, lo strumento contribuisce direttamente alla riduzione dei costi operativi e delle emissioni di carbonio, allineandosi agli obiettivi di sostenibilità e alle normative emergenti come l'AI Act dell'UE.
• Limitazioni e Lavori Futuri: Gli autori riconoscono che la previsione della ITL negli scenari offline rimane difficile (MdAPE 24,9%) perché le caratteristiche statiche non possono catturare completamente i comportamenti di batching dinamico (ad esempio, il continuous batching di vLLM). Il lavoro futuro mira a incorporare caratteristiche sensibili al carico di lavoro ed estendere l'approccio ai modelli Mixture-of-Experts (MoE) e quantizzati. L'attuale valutazione è limitata a modelli densi su configurazioni a singola GPU.