WattGPU: Predicting Inference Power and Latency on Unseen GPUs and LLMs

Technische Samenvatting: WattGPU

Probleemstelling
De snelle proliferatie van Large Language Model (LLM) inferentie-workloads, met name in de context van implementaties door kleine tot middelgrote ondernemingen, heeft geleid tot een significante en groeiende energievoetafdruk. Het optimaliseren van deze implementaties vereist het matchen van specifieke LLM's aan de meest energiezuinige GPU's. Echter, operators missen momenteel instrumenten om deze koppeling uit te voeren zonder elke potentiële LLM-GPU-combinatie uitputtend te profileren op fysieke hardware. Dit profileringsproces is prohibitief duur, omdat het toegang tot diverse hardware, gespecialiseerde expertise en aanzienlijke middelen vereist. Bestaande predictieve modellen vertrouwen ofwel op profileringsgegevens, ofwel falen in het generaliseren naar hardware die niet tijdens de training aanwezig was, wat een gat creëert in het vermogen om het stroomverbruik en de latentie voor ongeziene configuraties te schatten met enkel publieke metadata.

Methodologie
Om dit aan te pakken, introduceren de auteurs WattGPU, een framework bestaande uit twee predictieve modellen voor het Gemiddeld GPU-stroomverbruik ($\bar{P}$) en Inter-Token Latentie (ITL). De kerninnovatie is dat deze modellen geen hardware-toegang of profilering vereisen zodra ze getraind zijn; ze vertrouwen uitsluitend op publiekelijk beschikbare LLM-metadata (bijv. aantal parameters, lagen, attention heads van Hugging Face) en specificaties van GPU-fabrikanten (bijv. TDP, geheugenbandbreedte, kloksnelheden).

• Feature Engineering: De auteurs hebben features afgeleid om hardware-dynamiek te vangen, waaronder een Boosting ratio (frequentieschaling), Bandwidth Latency (tijd om gewichten te lezen) en Compute Latency (theoretische ondergrens voor token-berekening).
• Modelarchitectuur: De auteurs evalueerden verschillende algoritmen en selecteerden XGBoost (Gradient-Boosted Regression Trees) als het optimale model.
  • Voor de voorspelling van het stroomverbruik wordt de doelvariabele genormaliseerd door de Thermal Design Power (TDP) van de GPU om schaal-invariante gedragingen te leren, wat generalisatie naar ongeziene GPU's vergemakkelijkt.
  • Hyperparameters werden getuned via grid search, met specifieke configuraties voor vermogen (max_depth=6, n_estimators=100) en latentie (max_depth=5, n_estimators=200).
• Evaluatiestrategie: De modellen werden geëvalueerd op een dataset bestaande uit 42 open-source LLM's (0.1B–27B parameters) en 8 server-grade NVIDIA GPU's (variërend van V100 tot H200). De evaluatie maakte gebruik van rigoureuze cross-validatie strategieën:
  1. 5-voudige Cross-Validatie (CV): Generalisatie naar ongeziene (GPU, LLM) combinaties van bekende hardware/modellen.
  2. Leave-One-GPU-Out (LOGO): Generalisatie naar volledig ongeziene GPU's.
  3. Leave-One-LLM-Out (LOLO): Generalisatie naar volledig ongeziene LLM's.
     Scenario's omvatten Offline (maximale throughput) en Server (Poisson-verdeelde verzoeken met latentie-restricties).

Belangrijkste Resultaten
De WattGPU-modellen vertonen significante verbeteringen ten opzichte van analytische baselines (Load-Scaled TDP voor vermogen en Roofline voor latentie), met name in generalisatiescenario's.

• Gemiddeld Stroomverbruik ($\bar{P}$):
  • Ongeziene GPU's (LOGO): Bereikte een Median Absolute Percentage Error (MdAPE) van ≤3,4% voor offline scenario's en ≤13,5% voor server-scenario's.
  • Ranking: Behield sterke GPU-rankingcorrelaties voor server-scenario's (Kendall $\tau \ge 0,76$).
  • Vergelijking met Baseline: Verminderde de MdAPE met ongeveer 2× voor volledig ongeziene GPU's en 4× voor ongeziene LLM-GPU-combinaties in server-scenario's vergeleken met de sterkste baselines.
• Inter-Token Latentie (ITL):
  • Server-scenario's: Bereikte een MdAPE van ≤8,5% op ongeziene GPU's (LOGO).
  • Offline Scenario's: Prestaties waren uitdagender, met een MdAPE van 24,9% op ongeziene GPU's, hoewel het model nog steeds de Roofline-baseline overtrof in absolute fout (24,9% vs. 80,2% voor LOGO).
  • Ranking: De modellen bereikten een hoge kwaliteit van ranking, met een Kendall $\tau \ge 0,76$ voor server-scenario's.

Betekenis en Claims
Het artikel beweert de eerste predictieve modellen voor LLM inferentie vermogen en latentie te presenteren die specifiek zijn geëvalueerd op ongeziene GPU's. De primaire betekenis ligt in het mogelijk maken van energiebewuste implementatiebeslissingen zonder de noodzaak van fysieke benchmarking.

• Praktische Impact: De auteurs illustreren dat standaard heuristieken (zoals TDP of TFLOPS/Watt) misleidend kunnen zijn. Bijvoorbeeld, het kiezen van een H100 boven een A30 voor een lage-belasting Llama 3.1 8B implementatie lijkt efficiënt op basis van TFLOPS/Watt, maar WattGPU voorspelt dat deze 43% meer vermogen zal verbruiken terwijl aan dezelfde latentie SLA wordt voldaan.
• Duurzaamheid: Door operators in staat te stellen de meest efficiënte GPU voor een specifieke LLM en workload-scenario te selecteren, draagt de tool direct bij aan het verminderen van operationele kosten en koolstofemissies, wat aansluit bij duurzaamheidsdoelstellingen en opkomende regelgeving zoals de EU AI Act.
• Beperkingen en Toekomstig Werk: De auteurs erkennen dat ITL-voorspelling in offline scenario's moeilijk blijft (MdAPE 24,9%) omdat statische features dynamische batching-gedragingen (bijv. vLLM's continuous batching) niet volledig kunnen vangen. Toekomstig werk is gericht op het integreren van workload-bewuste features en het uitbreiden van de aanpak naar Mixture-of-Experts (MoE) en gekwantiseerde modellen. De huidige evaluatie is beperkt tot dense modellen op single-GPU configuraties.