Riepilogo Tecnico: EnergyLens

Enunciato del Problema

Mentre i Large Language Models (LLM) evolvono includendo architetture dense, mixture-of-experts (MoE) e state-space, e vengono distribuiti su acceleratori eterogenei (NVIDIA, Intel, AMD) per carichi di lavoro multimodali diversificati (testo, immagine, video), l'ottimizzazione dell'energia di inferenza è diventata critica quanto l'ottimizzazione della latenza e del throughput. Tuttavia, gli approcci esistenti alla previsione dell'energia soffrono di tre limitazioni primarie:

1. Proxy di Latenza: Molti modelli analitici trattano la latenza come proxy per l'energia. Gli autori dimostrano che gli ottimi di latenza ed energia divergono in oltre il 20% delle configurazioni testate, portando a penalità energetiche fino al 79,8% quando si utilizzano strategie basate sulla latenza.
2. Surrogati Black-Box: I modelli di machine learning basati sui dati (ad esempio, Random Forest, Reti Neurali) raggiungono un'accuratezza ragionevole ma sono "affamati di dati", richiedendo centinaia di campioni di profilazione per generalizzare. Mancano di interpretabilità, non offrendo alcuna intuizione fisica sul perché una configurazione sia efficiente, e falliscono nell'estrapolare in modo affidabile a dimensioni di batch o hardware non visti.
3. Mancanza di Generalizzabilità: I modelli analitici esistenti spesso non riescono a disaccoppiare gli effetti fisici distinti del Tensor Parallelism (TP) e del Pipeline Parallelism (PP), oppure non tengono conto della scalatura non lineare dell'energia con la dimensione del batch e la lunghezza della sequenza attraverso diverse modalità.

Metodologia: Il Framework EnergyLens

Gli autori propongono EnergyLens, un framework che utilizza la regressione simbolica per scoprire espressioni matematiche compatte e a forma chiusa per il consumo energetico delle GPU. A differenza dei modelli black-box, EnergyLens deriva formule in cui i termini corrispondono direttamente a proprietà misurabili del sistema.

1. Modello Energetico Unificato

Il cuore di EnergyLens è un'equazione a forma chiusa con dodici parametri che scompone l'energia ($E$) in tre componenti fisicamente fondate:
$$E = E_{prefill} + E_{decode} + E_{overhead}$$

• Decomposizione delle Fasi: Il modello separa esplicitamente la fase prefill legata al calcolo (elaborazione dei token di input) dalla fase decode legata alla memoria (generazione dei token di output).
• Disaccoppiamento del Parallelismo: Il modello distingue tra Tensor Parallelism ($d_{TP}$) e Pipeline Parallelism ($d_{PP}$). Riconosce che il TP riduce il calcolo per GPU tramite un efficiente utilizzo dei tensor-core ma introduce un sovraccarico di sincronizzazione, mentre il PP introduce bolle di pipeline e mantiene i dispositivi alimentati durante le fasi inattive.
• Scalatura Non Lineare: La formula cattura l'ammortizzazione sublineare dei costi fissi (come l'avvio dei kernel e l'inizializzazione della KV-cache) all'aumentare della dimensione del batch, e le leggi di scalatura specifiche per diverse modalità (ad esempio, compressione logaritmica per carichi di lavoro video/immagine).

La forma generale (Equazione 4 nel documento) è:
$$E = \alpha_p \frac{\text{total input tokens}}{(\text{batch size}^{\beta_p} + \epsilon_p)} d_{TP}^{\gamma_{1,p}} d_{PP}^{\gamma_{2,p}} + \alpha_d \frac{\text{max tokens}}{(\text{batch size}^{\beta_d} + \epsilon_d)} d_{TP}^{\gamma_{1,d}} d_{PP}^{\gamma_{2,d}} + \delta_1 d_{TP} + \delta_2 d_{PP}$$

2. Addestramento e Adattamento

• Raccolta Dati: Un framework di profilazione esplora sistematicamente strategie di parallelismo, schemi di quantizzazione, dimensioni di batch e lunghezze di sequenza su GPU NVIDIA, Intel e AMD.
• Regressione Simbolica: Il framework cerca nello spazio delle espressioni matematiche la struttura che meglio si adatta ai dati di profilazione.
• Stima dei Parametri: Una volta fissata la struttura della formula, i dodici parametri scalari ($\phi$) vengono adattati utilizzando l'ottimizzazione L-BFGS-B su un piccolo dataset rappresentativo.
• Efficienza dei Campioni: Il modello richiede solo 50 misurazioni di profilazione per raggiungere un'alta accuratezza, una riduzione di 10 volte rispetto ai metodi ML d'insieme che richiedono ~500 campioni.

Contributi Chiave

1. Modello Unificato a Forma Chiusa: Sviluppo di un singolo modello energetico che disaccoppia i contributi di TP e PP e separa l'energia prefill da quella decode, con parametri che portano un significato fisico esplicito.
2. Scoperta tramite Regressione Simbolica: Dimostrazione che la regressione simbolica può rivelare strutture di formule non lineari che generalizzano attraverso architetture diverse (Dense, MoE, SSM), modalità (testo, immagine, video) e fornitori hardware senza modificare il modello della formula.
3. Framework di Profilazione Sistematico: Implementazione di un framework che esplora lo spazio congiunto di parallelismo, quantizzazione e parametri del carico di lavoro per generare i dati strutturati necessari alla modellazione analitica.
4. Modellazione Diretta dell'Energia: Modellando direttamente l'energia invece di utilizzare la latenza come proxy, il framework identifica configurazioni di parallelismo più efficienti dal punto di vista energetico che gli ottimizzatori basati sulla latenza trascurano sistematicamente.

Risultati Sperimentali

Gli autori hanno valutato EnergyLens su 940 scenari che coinvolgono transformer densi, MoE e modelli state-space su GPU NVIDIA A100, AMD MI100 e Intel Max 1550.

• Accuratezza nella Selezione della Configurazione: EnergyLens raggiunge un'accuratezza del 88,2% nella selezione della configurazione Top-1 (identificando la singola configurazione energetica migliore), superando significativamente la baseline analitica più vicina, MAVERIQ, che ha raggiunto il 60,9%.
• Classificazione a Coppie: EnergyLens raggiunge un'accuratezza del 95,8% nella classificazione a coppie (prevedendo correttamente quale delle due configurazioni è più efficiente) rispetto al 91,5% di MAVERIQ.
• Efficienza dei Campioni: EnergyLens eguaglia l'accuratezza predittiva dei metodi ML d'insieme (Random Forest, Gradient Boosting) richiedendo 10 volte meno campioni di profilazione (13,0% MAPE a $n=50$ contro il 49,0% MAPE per Random Forest a $n=50$).
• Generalizzazione:
  • Cross-Hardware: Il modello si trasferisce tra fornitori di GPU (NVIDIA, Intel, AMD) con il solo rifitting dei coefficienti scalari.
  • Cross-Modality: Si comporta in modo robusto su carichi di lavoro testo, immagine+testo e video+testo.
  • Estrapolazione: EnergyLens estrapola in modo affidabile a dimensioni di batch non viste (da 3x a 10x più grandi dei dati di addestramento) con un'accuratezza a coppie ≥93% su cinque dei sette dataset, mentre le baseline lineari per il batch falliscono significativamente.
• Robustezza: A differenza dei proxy basati sulla latenza che richiedono misurazioni di potenza precise per configurazione, EnergyLens modella l'energia nativamente e mantiene un'alta accuratezza anche quando la telemetria della potenza non è disponibile.

Significato e Affermazioni

Il documento afferma che EnergyLens fornisce uno strumento pratico e interpretabile per la distribuzione ottimale dal punto di vista energetico degli LLM. Il suo significato risiede in:

• Interpretabilità: A differenza dei surrogati black-box, EnergyLens offre previsioni "auditabili" dove gli operatori possono ispezionare i termini per comprendere i driver fisici del consumo energetico (ad esempio, verificando il costo relativo della scalatura TP vs PP).
• Azionabilità: Il modello consente l'identificazione di configurazioni Pareto-ottimali per la distribuzione senza misurazioni esaustive.
• Efficacia dei Costi: Riducendo il budget di profilazione da centinaia di campioni a ~50, rende fattibile l'ottimizzazione della configurazione consapevole dell'energia per ambienti di produzione.
• Fondamento Fisico: La scoperta che gli ottimi di latenza ed energia divergono, e che il pipeline parallelism può ridurre l'energia anche quando non riduce la latenza, sfida l'assunzione prevalente secondo cui la latenza è un proxy sufficiente per l'efficienza energetica.

Gli autori concludono che, sebbene il modello attuale utilizzi termini additivi, il lavoro futuro potrebbe esplorare interazioni moltiplicative per MoE e carichi di lavoro a lungo contesto, e l'integrazione con scheduler dinamici per la riconfigurazione online. Il framework e i dataset sono destinati a essere rilasciati come open-source.