Technische Samenvatting: Van Tokens naar Wattuur: Analytische Energie-inschatting voor LLM-inferentie op Moderne GPU's

1. Probleemstelling

Het operationele energieverbruik van Large Language Model (LLM) inferentie is een kritieke component van de ecologische voetafdruk van uitgerolde AI-systemen. Terwijl Green AI-onderzoek uitgebreid de kosten van training heeft behandeld, blijft de energie van inferentie—gedreven door continue, op vraag schaalbare autoregressieve token-generatie—een aanzienlijke duurzaamheidszorg.

Huidige benaderingen voor het inschatten van AI-energieverbruik kampen met een dichotomie:

• Meetgebaseerde studies vertrouwen op hardware-telemetrie, vermogensinstrumentatie of infrastructuurspecifieke monitoring. Hoewel waardevol, zijn deze resultaten gekoppeld aan specifieke hardware, servingsystemen en runtime-configuraties, wat hun toepasbaarheid beperkt in vergelijkende studies, vroege systeemontwerpfases en duurzaamheidsrapportage waar dergelijke instrumentatie niet beschikbaar is.
• Analytische modellen gebaseerd op transformer scaling laws en microarchitecturale benchmarks leveren FLOP-aantallen, maar slagen er vaak niet in om request-niveau of token-niveau energie-inschattingen te bieden die rekening houden met geheugentrafiek en hardware-specifieke coëfficiënten.

Dit creëert een kloof voor een transparante, reproduceerbare estimator die transformer compute-modellering, geheugentrafiek-attributie en hardware-specifieke energiecoëfficiënten combineert om de GPU-inferentie-energie te schatten zonder dat runtime-instrumentatie vereist is.

2. Methodologie

De auteurs stellen een semi-analytische, empirisch gekalibreerde methodologie voor om de acceleratorzijde GPU-energieconsumptie voor LLM-inferentie op NVIDIA H100-klasse versnellers te schatten. Het framework scheidt expliciet de prompt prefill fase van de autoregressieve decode fase, aangezien deze verschillende compute- en geheugentoegangspatronen vertonen.

2.1. Energie-decompositie

De totale GPU-energie ($E_{GPU}$) voor een request wordt gemodelleerd als de som van de tensor-core compute energie ($E_{compute}$) en de high-bandwidth memory (HBM) bewegingsenergie ($E_{memory}$):
$$E_{GPU} = E_{compute} + E_{memory}$$

• Compute Term: Proportioneel aan het aantal tensor-core floating-point operaties (FLOPs).
  $$E_{compute} = \alpha_{TC} C_{TC}$$
  Waar $\alpha_{TC}$ de hardware-specifieke energie per FLOP is en $C_{TC}$ het totale FLOP-aantal.
• Memory Term: Proportioneel aan het aantal bits dat via HBM wordt getransfereerd.
  $$E_{memory} = e_{HBM} Q_{HBM} \eta(N)$$
  Waar $e_{HBM}$ de energie per bit is, $Q_{HBM}$ het totale verkeer in bits, en $\eta(N)$ een gekalibreerde geheugen-inefficiëntiefactor.

2.2. Trafiekmodellering

De geheugentrafiek ($Q_{HBM}$) wordt gedecomposeerd in drie primaire componenten:

1. Parameter Access: Verkeer vereist voor het laden van modelgewichten.
2. KV-Cache Write: Verkeer voor het opslaan van nieuwe key-value paren tijdens generatie.
3. Attention-Related Read: Verkeer voor het lezen van de geaccumuleerde context uit de KV-cache.

Het model onderscheidt tussen dense transformer operaties (schalen lineair met parameters en tokens) en attention correcties (schalen super-lineair met sequentielengte door kwadratische KV-cache leesvereisten).

2.3. Kalibratie en Coëfficiënten

De methodologie gebruikt vaste hardware-coëfficiënten afgeleid van microarchitecturale metingen van GPU tensor-core computation en HBM-toegang (specifiek voor FP16/BF16 op H100-klasse GPU's):

• $\alpha_{TC} = 0,52$ pJ/FLOP
• $e_{HBM} = 11,68$ pJ/bit

Om rekening te houden met niet-ideale hardwaregedragingen (bijv. parameterhergebruik, cache-residency en geheugeninefficiëntie), gebruiken de auteurs gekalibreerde schalingfactoren ($\gamma(N)$, $s_{attn}(N)$, $\eta(N)$ die zijn aangepast aan gerapporteerde energiemetingen uit eerdere literatuur.

2.4. Vereenvoudigde Estimator

Voor scenario's waarin gedetailleerde architectuurmetadata (bijv. aantal lagen, verborgen dimensie) niet beschikbaar is, wordt een vereenvoudigde parameter-alleen estimator gedefinieerd. Deze benadert de output-token energie als lineair proportioneel aan het aantal parameters ($N$) en gebruikt een prompt-lengte-afhankelijke multiplier voor input-tokens.

3. Belangrijkste Bijdragen

• Analytisch Framework: Een gestructureerde methodologie om de request-niveau en genormaliseerde token-niveau GPU-inferentie-energie te schatten zonder directe runtime-meting.
• Fase-scheiding: Expliciete decompositie van energie in prompt prefill en autoregressieve decode fasen, wat een granulaire analyse mogelijk maakt van de kosten van input versus output tokens.
• Component-decompositie: Decompositie van totale energie in compute, parameter-access, KV-cache write en attention-read componenten, wat het schaalgedrag van elk onderdeel onthult.
• Empirische Kalibratie: Integratie van hardware-specifieke energiecoëfficiënten met empirisch gekalibreerde geheugentrafiekfactoren om de kloof tussen theoretische FLOP-aantallen en werkelijke energieconsumptie te overbruggen.
• Actiegerichte Inzichten: Identificatie van specifieke mechanismen voor het verminderen van energie, waaronder reductie van modelgrootte, kortere generaties, KV-cache kwantisatie, prompt compressie en verbeterde batching.

4. Resultaten en Evaluatie

De estimator werd geëvalueerd tegen een set transformer-gebaseerde LLM's (variërend van <3B tot >120B parameters) en vergeleken met meetgebaseerde studies.

• Schaling met Sequentielengte: Compute energie en KV-cache write verkeer schalen lineair met het aantal gegenereerde tokens ($T_{out}$). Echter, attention-gerelateerd geheugentrafiek vertoont super-lineaire (kwadratische) groei, waardoor het een dominante energiebijdrager wordt naarmate de sequentielengte toeneemt.
• Schaling met Modelgrootte: Totale request energie schaalt ongeveer lineair met de modelgrootte ($N$) op een log-log schaal. Echter, geheugenenergie vertoont niet-monotoon gedrag over verschillende modellen door architecturale variaties (bijv. verborgen dimensie en aantal lagen) die niet uniform schalen met het aantal parameters.
• Energie-decompositie: Voor korte tot gemiddelde sequentielengtes domineert de compute energie. Naarmate de sequentielengte toeneemt, groeit de attention-gerelateerde geheugencomponent snel, wat zorgt voor een opwaartse kromming in de totale energietrend.
• Nauwkeurigheid: Wanneer vergeleken met meetgebaseerde resultaten voor een workload van 500 input-tokens/500 output-tokens, kwamen de analytische schattingen binnen 4,73% tot 27,23% overeen met de gemeten waarden. De laagste fout (4,73%) werd waargenomen voor het 70B parameter model.
• Token-niveau Schattingen: De studie biedt vereenvoudigde token-niveau energie-inschattingen (bijv. ~218 mJ/output token voor een 70B model), wat de lineaire afhankelijkheid van energie van het aantal parameters aantoont.

5. Betekenis en Claims

Het artikel positioneert deze methodologie niet als een vervanging voor fysieke vermogensmetingen, maar als een transparante, reproduceerbare en assumptie-expliciete benadering.

• Scope: De schattingen zijn strikt beperkt tot acceleratorzijde operationele energie (GPU compute en HBM-beweging). Ze sluiten expliciet systeem-niveau overheads uit zoals CPU-executie, host geheugen, netwerken, opslag, koeling en Power Usage Effectiveness (PUE).
• Nut: Het framework is ontworpen voor:
  • Modelvergelijking: Het vergelijken van energie-efficiëntie over heterogene model-inventarissen.
  • Green-Coding Analyse: Het beoordelen van de impact van architecturale keuzes en interventies.
  • Ontwerp-evaluatie: Het nemen van deployment beslissingen wanneer volledige datacenter-niveau instrumentatie niet beschikbaar is.
• Beperkingen: De auteurs erkennen dat het model specifieke effecten zoals tensor-parallel communicatie, kernel fusie, batching policies en specifieke inference engine implementaties abstraheert. Bij gevolg is het noodzakelijk de factoren te herkalibreren voor verschillende GPU-generaties of serving configuraties.

Concluderend biedt het artikel een fundamenteel instrument voor het begrijpen van de energie-schaling van LLM-inferentie, waarbij wordt benadrukt dat hoewel compute dominant is bij korte sequenties, geheugentrafiek (specifiek attention reads) een kritieke bottleneck wordt voor lang-context generatie.