🤖 AI

The Illusion of Power Capping in LLM Decode: A Phase-Aware Energy Characterisation Across Attention Architectures

Dit artikel toont aan dat power capping inefficiënt is voor autoregressieve decode van LLM's vanwege geheugengebonden knelpunten die GPU-energieheadroom ongebruikt laten, en bewijst dat het vergrendelen van de SM-klok een superieure strategie is die tot 32% van de decode-energie terugwint terwijl het doorvoerverlies over diverse attention-architecturen wordt geminimaliseerd.

Oorspronkelijke auteurs: Bole Ma, Ayesha Afzal, Jan Eitzinger, Gerhard Wellein

Gepubliceerd 2026-05-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bole Ma, Ayesha Afzal, Jan Eitzinger, Gerhard Wellein

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Valse" Energieschakelaar

Stel je voor dat je een enorme bibliotheek runt (een datacenter) waar robots (GPUs) boeken lezen en nieuwe pagina's schrijven (tekst genereren voor AI).

De bibliotheekbeheerders hebben een standaardregel om elektriciteit te besparen: "Als een robot te veel stroom gaat gebruiken, verlaag dan zijn snelheid totdat hij onder een specifieke limiet blijft." Dit heet Power Capping (stroombeperking). Het werkt uitstekend voor zware klusjes, zoals het verplaatsen van zware dozen (modellen trainen of enorme batches gegevens tegelijk verwerken).

Echter, dit artikel ontdekte een truc. Wanneer de robots één zin tegelijk lezen en het volgende woord schrijven (een proces dat "decode" heet), werkt de stroomregel helemaal niet. De robots zijn zo gefocust op het halen van de volgende pagina uit de boekenkast dat ze niet eens hard genoeg werken om de stroomlimiet te activeren. De "stroomdop" is als een snelheidslimietbord op een weg waar niemand snel genoeg rijdt om een boete te krijgen. Het is een illusie.

Het Echte Probleem: De "Boekenkast"-Flesnek

Waarom werkt de robot niet hard?

De Robot (GPU): Hij heeft een supersnel brein (Compute) en een supersnel geheugen (HBM).
De Taak: Om het volgende woord te schrijven, moet de robot naar de boekenkast rennen, een zwaar boek pakken, een klein beetje lezen en terugrennen.
De Flesnek: De robot wordt niet beperkt door hoe snel zijn brein kan denken; hij wordt beperkt door hoe snel hij naar de boekenkast kan rennen.

Omdat de robot constant heen en weer rent naar de boekenkast, zit zijn brein het grootste deel van de tijd inactief. Zelfs als je de robot zegt om "te vertragen" om energie te besparen, kan hij niet veel langzamer omdat hij al wacht op de boekenkast. Als je probeert zijn totale stroomverbruik te beperken, negeert de robot je gewoon omdat hij al heel weinig stroom gebruikt (slechts ongeveer 200–300 Watt op een machine die is goedgekeurd voor 700 Watt).

De Oplossing: De "Handmatige Versnelling"

Omdat de automatische energieschakelaar (Power Capping) nutteloos is, vonden de auteurs een betere manier: SM Clock Locking (klokvergrendeling).

Denk hierbij aan het handmatig schakelen van de versnelling van de robot.

De Oude Manier (Power Capping): "Gebruik niet meer dan 280 Watt!" (De robot zegt: "Ik gebruik al maar 200 Watt, dus ik doe wat ik wil.")
De Nieuwe Manier (Clock Locking): "Hé robot, aangezien je alleen maar wacht op de boekenkast, laten we je in Lage Versnelling zetten."

Door de robot handmatig te vertellen om zijn brein op een langzamere, constante snelheid te laten draaien (de klok vergrendelen), bespaart de robot een enorm hoeveelheid energie (tot wel 32%) zonder dat de schrijfsnelheid daadwerkelijk vertraagt. Waarom? Omdat de robot al op de boekenkast wachtte, dus het vertragen van het brein zorgde er niet voor dat hij langer moest wachten. Hij verspilde gewoon minder elektriciteit terwijl hij wachtte.

De "Nieuwe Robots" (Verschillende Architecturen)

Het artikel testte vier verschillende soorten robotontwerpen (GQA, MLA, GDN, Mamba2). Ze gedragen zich allemaal op dezelfde manier tijdens de "schrijf"-fase: ze zitten allemaal vast en wachten op de boekenkast.

Ze hebben echter verschillende "startkosten":

De Zware Starters (GDN, Mamba2): Deze robots hebben veel tijd en energie nodig om op gang te komen (de "prefill"-fase). Maar zodra ze beginnen met schrijven, zijn ze ongelooflijk efficiënt. Als je hen vraagt een lang verhaal te schrijven, worden ze uiteindelijk de goedkoopste optie omdat ze zo snel zijn in het "schrijf"-gedeelte.
De Gecomprimeerde Starters (MLA): Deze robots dragen een kleinere rugzak (gecomprimeerd geheugen). Ze hebben iets extra tijd nodig om hun rugpak uit te pakken aan het begin, maar zodra ze schrijven, zijn ze zeer efficiënt.
De Standaard Starter (GQA): De betrouwbare, standaardrobot. Hij heeft geen zware startkosten, maar is niet zo efficiënt in het schrijven van lange verhalen als de nieuwe modellen.

De Les: Als je een kort briefje schrijft, is de standaardrobot prima. Als je een hele roman schrijft, besparen de "Zware Starters" of "Gecomprimeerde Starters" je op de lange termijn het meeste geld, zelfs al kosten ze meer om op gang te komen.

De "Valse" Snelheidslimiet

Er was nog één verwarrende zaak die de auteurs ontdekten. Toen ze probeerden de snelheid van de robot handmatig in te stellen op zijn maximum (1980 MHz), beperkte de interne software van de robot (firmware) deze stiekem tot een lagere snelheid (1830 MHz).

Het is alsof je een auto vraagt om 120 mijl per uur te rijden, maar de computer van de auto deze stiekem beperkt tot 110 mijl per uur.
Erger nog, de auteurs ontdekten dat rijden op 110 mijl per uur versus 95 mijl per uur geen enkel verschil maakte in hoe snel de robot het verhaal schreef. De robot wachtte nog steeds op de boekenkast. De extra snelheid verbrandde dus alleen maar extra elektriciteit zonder reden.

Samenvatting

Power Capping is een Mythe voor AI-Schrijven: Het bespaart geen energie wanneer AI tekst genereert, omdat de AI niet genoeg stroom gebruikt om de limiet te activeren.
Handmatige Snelheidsregeling Wint: In plaats van een stroomlimiet in te stellen, moet je de snelheid van het robotbrein handmatig vertragen. Dit bespaart tot 32% energie met bijna geen verlies aan snelheid.
Verschillende Robots voor Verschillende Taken: Nieuwe AI-ontwerpen zijn geweldig voor lange gesprekken omdat ze super-efficiënt zijn in het schrijven, zelfs als ze wat traag zijn om op gang te komen.
De Boekenkast is Koning: De snelheid van de AI wordt beperkt door hoe snel het gegevens uit het geheugen kan halen, niet door hoe snel zijn brein kan denken.

De Conclusie: Datacenters gebruiken het verkeerde gereedschap om geld te besparen. Ze moeten stoppen met vertrouwen op automatische stroomlimieten en beginnen met het handmatig afstellen van de snelheid van hun AI-robots om te matchen met de realiteit van de taak.

Technische Samenvatting: De Illusie van Power Capping bij LLM Decode

Probleemstelling

Datacenters vertrouwen steeds vaker op GPU power capping als primaire mechanisme voor het beheer van het energievoetafdruk van inferentie van Large Language Models (LLM). Het heersende operationele model gaat ervan uit dat het instellen van een watt-dak op board-niveau de GPU-driver dwingt om de kloksnelheid te vertragen, waarbij doorvoer wordt geruild voor gegarandeerde energiebesparingen. Hoewel dit model opgaat voor rekenkundig gebonden werklasten (bijvoorbeeld training of dichte HPC-kernen) die GPUs drijven tot vlakbij hun Thermal Design Power (TDP), betoogt dit artikel dat het model structureel gebrekkig is voor de fase die productie-LLM-servings domineert: autoregressieve decode.

Het kernprobleem is dat power capping inert is tijdens decode, omdat de werklast geheugen-gebonden is en niet rekenkundig-gebonden. Bijgevolg trekt de GPU nooit voldoende stroom om de cap te activeren, waardoor de energiehefboom inefficiënt wordt. Bovendien creëren firmware-niveau gedragingen, zoals stille kloksnelheidsvertraging bij gebruik van nvidia-smi --lock-gpu-clocks, een "dubbel masker" dat de ware relatie tussen frequentie, vermogen en doorvoer verbergt.

Methodologie

De auteurs voerden een systematische energiecharacterisatie uit over vier verschillende attention-paradigma's op een enkele NVIDIA H200 SXM GPU (700 W TDP, 4,8 TB/s HBM3e-bandbreedte):

GQA (Grouped-Query Attention, bijv. Qwen3-4B)
MLA (Multi-Head Latent Attention, bijv. Minitron-4B via TransMLA)
Gated DeltaNet (Lineaire recurrentie, bijv. Qwen3.5-4B)
Mamba2 (State Space Models, bijv. Nemotron-Nano)

Experimentele Opstelling:

Hardware/Software: Modellen werden bediend via vLLM in BF16-precisie zonder aangepaste kernen om standaard implementaties door practitioners te reflecteren.
Controles: Een gecontroleerde ablatie werd uitgevoerd met TransMLA om GQA-ctrl (Minitron-4B) om te zetten naar MLA, zodat energieverschillen uitsluitend aan het attention-mechanisme konden worden toegeschreven en niet aan modelgewichten of vocabulaire.
Metingen: Energie per token (mJ/tok) werd gemeten voor zowel de prefill- als de decode-fase.
Variabelen: Het onderzoek doorliep vijf SM-klokniveaus (390–1980 MHz), vijf power cap-niveaus (280–700 W), batchgroottes (1–32) en sequentielengtes (1K–64K tokens).
Analyse: Roofline-modellering werd gebruikt om de rekenkundige intensiteit te bepalen, en Pareto-fronten werden geconstrueerd om doorvoer versus energie-efficiëntie te vergelijken onder verschillende controlemechanismen.

Belangrijkste Bevindingen

1. De Illusie van Power Capping

In tegenstelling tot de aanname dat power caps GPU's actief vertragen tijdens LLM-serving, vond de studie dat tijdens decode de GPU slechts 137–300 W trekt op een kaart met 700 W TDP.

Inerte Caps: Omdat de werklast geheugen-gebonden is (HBM-bandbreedte verzadigen in plaats van rekenkracht), bereikt de GPU nooit zelfs de laagst geconfigureerde cap (280 W). De driver negeert de cap en handhaaft een standaardklok van ≈1830 MHz.
Firmware-artefacten: De opdracht nvidia-smi --lock-gpu-clocks klemt stil elke gevraagde vergrendeling ≥1830 MHz naar 1830 MHz, onderscheiden van de vrij draaiende boost van 1980 MHz. Dit creëert een kloof van 240 MHz waar hogere klokken geen doorvoerwinst opleveren maar het vermogen met 7–13% verhogen, wat energie-metingen verder verwarrend maakt.

2. SM-klokvergrendeling als de Correcte Hefboom

Omdat decode geheugen-gebonden is, ligt het kritieke pad in het geheugensubsysteem, niet in de rekenfrequentie.

Pareto-dominantie: Statische SM-klokvergrendeling presteert bij elk gematcht operationeel punt beter dan power capping. Door de SM-klok te verlagen (bijvoorbeeld naar 780 MHz), recupereert het systeem tot 32% van de decode-energie met minder dan 1% doorvoerverlies.
Architectuurklassen: De auteurs identificeerden drie gedragsklassen met betrekking tot Dynamic Voltage and Frequency Scaling (DVFS):
- Batch-invariant (GQA, GQA-ctrl): Blijven geheugen-gebonden zelfs bij grote batchgroottes (BS=32); een enkele lage klok is optimaal.
- Batch-gevoelig (MLA, Mamba2): Bevatten voldoende rekenkracht per stap (KV-decompressie of SSM-scans) zodat grote batches hen naar rekenkundig-gebonden regimes duwen, waarbij hogere klokken vereist zijn naarmate de batchgrootte toeneemt.
- Rekenlicht (GDN): Gedomineerd door elementaire bewerkingen; tolereren de meest agressieve onderkloking zonder voorwaarde.

3. Energie Landschap over Architecturen

Nieuwe architecturen (MLA, GDN, Mamba2) delen een gemeenschappelijk energiepatroon: een zware prefill-kost die uiteindelijk wordt terugverdiend door efficiënte decode.

Prefill-boete: GDN en Mamba2 vertonen een prefill-energie per token die een orde van grootte hoger is, vanwege sequentiële staterecurrentie en niet-gefuseerde uitvoering in vLLM. MLA lijdt aan een kleinere maar aanhoudende boete door KV-decompressie-overhead en niet-macht-van-2 tensorcorebenutting.
Decode-uitbetaling: In de decode-fase worden deze architecturen zeer efficiënt.
- Mamba2: Bereikt constante latentie per stap ( $O(1)$ ) en daalt onder GQA in totale verzoekenergie na ongeveer 1.000 output-tokens bij productiebatchgroottes.
- MLA: Daalt onder GQA bij een batchgrootte-afhankelijke contextdrempel (bijvoorbeeld 4K tokens bij BS=32). Bij BS=32 en 65K context gebruikt MLA minder dan de helft van de decode-energie van GQA.
Totale Verzoekenergie: Bij productiebatchgroottes (BS=32) stelt de efficiëntie van de decode-fase nieuwe architecturen in staat de totale verzoekenergie te halveren ten opzichte van standaard GQA, ondanks hun prefill-boetes.

Betekenis en Claims

Het artikel beweert dat de afhankelijkheid van de industrie van power capping voor LLM-inferentie structureel inefficiënt is voor de dominante decode-fase. De auteurs stellen dat:

Power capping een "dubbel masker" is: Het faalt om te activeren omdat de GPU qua vermogen onderbenut is (door geheugenknelpunten), en firmware-klokverkramping introduceert niet-gerelateerde afwijkingen die doorvoermetingen corrumperen.
SM-klokvergrendeling de universele oplossing is: Het richt zich direct op de kritieke-pathsbron (frequentie) voor geheugen-gebonden werklasten, en biedt een Pareto-dominante trade-off tussen energie en doorvoer die power capping niet kan bereiken.
Architecturale implicaties: De energievoordelen van nieuwe attention-mechanismen (MLA, Mamba2) zijn strikt decode-specifiek. Dit ondersteunt de adoptie van gedisaggregeerde serving-architecturen, waarbij prefill en decode worden gerouteerd naar verschillende GPU-pools die zijn geoptimaliseerd voor hun respectieve fasen.

De auteurs concluderen dat voor datacenters die LLM-inferentie beheren, het vervangen van power capping door statische SM-klokvergrendeling voor decode-pools een rechttoe-rechtaan, hoog-impact interventie is die megawatts aan continu vermogenbesparing op schaal kan opleveren, een resultaat dat met huidige power-capping-strategieën niet haalbaar is.