Technische Samenvatting: EnergyLens

Probleemstelling

Naarmate Large Language Models (LLM's) evolueren naar dichte, mixture-of-experts (MoE) en state-space architecturen, en naarmate ze worden ingezet op heterogene accelerators (NVIDIA, Intel, AMD) voor diverse multimodale werklasten (tekst, afbeelding, video), is het optimaliseren van de inferentie-energie even kritiek geworden als het optimaliseren van latentie en doorvoer. Bestaande benaderingen voor energievoorspelling lijden echter onder drie primaire beperkingen:

1. Latentie-Proxy's: Veel analytische modellen behandelen latentie als een proxy voor energie. De auteurs tonen aan dat de optima voor latentie en energie in meer dan 20% van de geteste configuraties uiteenlopen, wat leidt tot energiestrafpenningen tot wel 79,8% wanneer op latentie gebaseerde strategieën worden gebruikt.
2. Black-Box Surrogaatmodellen: Datagedreven machine learning-modellen (bijv. Random Forests, Neurale Netwerken) bereiken een redelijke nauwkeurigheid, maar zijn "data-hongerig" en vereisen honderden profileringsteekproeven om te generaliseren. Ze missen interpreteerbaarheid, bieden geen fysiek inzicht in waarom een configuratie efficiënt is, en falen in het betrouwbaar extrapoleren naar onbekende batchgroottes of hardware.
3. Gebrek aan Generaliseerbaarheid: Bestaande analytische modellen falen vaak om de onderscheiden fysieke effecten van Tensor Parallelisme (TP) en Pipeline Parallelisme (PP) te ontkoppelen, of ze houden geen rekening met de niet-lineaire schaling van energie met batchgrootte en sequentielengte over verschillende modaliteiten.

Methodologie: Het EnergyLens Framework

De auteurs stellen EnergyLens voor, een framework dat symbolische regressie gebruikt om compacte, gesloten-vorm wiskundige uitdrukkingen voor GPU-energieverbruik te ontdekken. In tegenstelling tot black-box modellen, leidt EnergyLens formules af waarbij termen direct corresponderen met meetbare systeemeigenschappen.

1. Unificerend Energiemodel

De kern van EnergyLens is een gesloten-vorm vergelijking met twaalf parameters die energie ($E$) decomposeert in drie fysiek onderbouwde componenten:
$$E = E_{prefill} + E_{decode} + E_{overhead}$$

• Fasedecompositie: Het model scheidt expliciet de compute-bound prefill-fase (verwerken van input-tokens) van de memory-bound decode-fase (genereren van output-tokens).
• Ontkoppeling van Parallelisme: Het model onderscheidt tussen Tensor Parallelisme ($d_{TP}$) en Pipeline Parallelisme ($d_{PP}$). Het erkent dat TP de berekening per GPU verlaagt via efficiënt gebruik van tensor-kernen, maar synchronisatie-overhead introduceert, terwijl PP pipeline-bellen introduceert en apparaten in stand-by-stadia aanhoudt.
• Niet-lineaire Schaling: De formule vangt de sublineaire amortisatie van vaste overheads (zoals kernel-lanceseringen en KV-cache-initialisatie) naarmate de batchgrootte toeneemt, en de specifieke schalingswetten voor verschillende modaliteiten (bijv. logaritmische compressie voor video-/afbeelding-werklasten).

De algemene vorm (Vergelijking 4 in het paper) is:
$$E = \alpha_p \frac{\text{totaal aantal input-tokens}}{(\text{batchgrootte}^{\beta_p} + \epsilon_p)} d_{TP}^{\gamma_{1,p}} d_{PP}^{\gamma_{2,p}} + \alpha_d \frac{\text{max tokens}}{(\text{batchgrootte}^{\beta_d} + \epsilon_d)} d_{TP}^{\gamma_{1,d}} d_{PP}^{\gamma_{2,d}} + \delta_1 d_{TP} + \delta_2 d_{PP}$$

2. Training en Fitting

• Datacollectie: Een profileringframework scant systematisch parallelle strategieën, kwantisatieschema's, batchgroottes en sequentielengtes over NVIDIA-, Intel- en AMD-GPU's.
• Symbolische Regressie: Het framework doorzoekt de ruimte van wiskundige uitdrukkingen om de structuur te vinden die het beste past bij de profileringdata.
• Schatting van Parameters: Zodra de formulestructuur vaststaat, worden de twaalf scalair parameters ($\phi$) gefit met L-BFGS-B-optimalisatie op een kleine representatieve dataset.
• Efficiëntie van Steekproeven: Het model vereist slechts 50 profileringsteekproeven om hoge nauwkeurigheid te bereiken, een 10-voudige reductie ten opzichte van ensemble ML-methoden die ~500 steekproeven vereisen.

Belangrijkste Bijdragen

1. Unificerend Gesloten-vorm Model: Ontwikkeling van een enkel energiemodel dat TP- en PP-bijdragen ontkoppelt en prefill-energie van decode-energie scheidt, met parameters die een expliciete fysieke betekenis dragen.
2. Ontdekking via Symbolische Regressie: Aantonen dat symbolische regressie niet-lineaire formulestructuren kan blootleggen die generaliseren over diverse architecturen (Dense, MoE, SSM), modaliteiten (tekst, afbeelding, video) en hardwareleveranciers zonder de formuletemplate te wijzigen.
3. Systematisch Profileringframework: Implementatie van een framework dat de gezamenlijke ruimte van parallelisme, kwantisatie en werklastparameters verkent om de gestructureerde data te genereren die nodig is voor analytische modellering.
4. Directe Energiemodellering: Door energie direct te modelleren in plaats van latentie als proxy te gebruiken, identificeert het framework energie-efficiëntere parallelle configuraties die systematisch worden over het hoofd gezien door op latentie gebaseerde optimalizers.

Experimentele Resultaten

De auteurs evalueerden EnergyLens over 940 scenario's met dichte transformers, MoE en state-space modellen op NVIDIA A100, AMD MI100 en Intel Max 1550 GPU's.

• Nauwkeurigheid Configuratiekeuze: EnergyLens bereikt 88,2% Top-1 nauwkeurigheid bij configuratiekeuze (het identificeren van de enige beste energieconfiguratie), wat aanzienlijk beter is dan de dichtstbijzijnde analytische baseline, MAVERIQ, die 60,9% behaalde.
• Paarsgewijze Ranking: EnergyLens bereikt 95,8% nauwkeurigheid in paarsgewijze ranking (het correct voorspellen welke van twee configuraties efficiënter is) vergeleken met 91,5% voor MAVERIQ.
• Efficiëntie van Steekproeven: EnergyLens komt overeen met de voorspellende nauwkeurigheid van ensemble ML-methoden (Random Forest, Gradient Boosting) terwijl het 10x minder profileringsteekproeven vereist (13,0% MAPE bij $n=50$ versus 49,0% MAPE voor Random Forest bij $n=50$).
• Generalisatie:
  • Cross-Hardware: Het model transferreert over GPU-leveranciers (NVIDIA, Intel, AMD) met slechts opnieuw gefitte scalair coëfficiënten.
  • Cross-Modaliteit: Het presteert robuust op werklasten voor tekst, afbeelding+tekst en video+tekst.
  • Extrapolatie: EnergyLens extrapoleert betrouwbaar naar onbekende batchgroottes (3x tot 10x groter dan trainingsdata) met ≥93% paarsgewijze nauwkeurigheid op vijf van de zeven datasets, terwijl lineaire-batch baselines significant falen.
• Robuustheid: In tegenstelling tot op latentie gebaseerde proxy's die nauwkeurige powermetingen per configuratie vereisen, modelleert EnergyLens energie op een native manier en behoudt hoge nauwkeurigheid zelfs wanneer power-telemetrie niet beschikbaar is.

Betekenis en Claims

Het paper claimt dat EnergyLens een praktisch, interpreteerbaar hulpmiddel biedt voor energie-optimale LLM-inzet. De betekenis hiervan ligt in:

• Interpreteerbaarheid: In tegenstelling tot black-box surrogaatmodellen biedt EnergyLens "controleerbare" voorspellingen waarbij operators termen kunnen inspecteren om de fysieke drijfveren van energieverbruik te begrijpen (bijv. het verifiëren van de relatieve kosten van TP- versus PP-schaling).
• Actiegericht: Het model maakt het mogelijk om Pareto-optimale configuraties voor inzet te identificeren zonder exhaustieve meting.
• Kosteneffectiviteit: Door het profileringbudget te reduceren van honderden steekproeven naar ~50, maakt het energiebewuste configuratie-aanpassing haalbaar voor productieomgevingen.
• Fysische Grondslag: De ontdekking dat de optima voor latentie en energie uiteenlopen, en dat pipeline parallelisme energie kan verlagen zelfs wanneer het latentie niet verlaagt, daagt de heersende aanname uit dat latentie een voldoende proxy is voor energie-efficiëntie.

De auteurs concluderen dat hoewel de huidige template additieve termen gebruikt, toekomstig werk multiplicatieve interacties kan verkennen voor MoE en long-context werklasten, en integratie met dynamische schedulers voor online herconfiguratie. Het framework en de datasets zijn bedoeld om als open-source vrijgegeven te worden.