🤖 machine learning

The Model Parking Tax: Quantifying the Hidden Energy Cost of Always-On GPU Model Deployment

Dit artikel toont empirisch aan dat de energiekosten voor het in het GPU-geheugen geladen houden van AI-modellen voornamelijk worden gedreven door een discrete stroomtoename als gevolg van de DVFS-overgang van de CUDA-context en niet door VRAM-bezetting, wat aantoont dat de energie-optimaliserende strategie voor modelimplementatie afhangt van de aankomstfrequentie van verzoeken en de cold-start-latentie in plaats van van de modelgrootte.

Oorspronkelijke auteurs: Sai Sathvik Vadari

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sai Sathvik Vadari

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: De "Parkeerbelasting" op AI

Stel je voor dat je een druk restaurant runt. Je hebt een regel: "Zodra een tafel is gedekt voor een VIP-gast, houden we die tafel voor altijd gedekt, zelfs als er niemand aan zit."

Waarom? Omdat als er een nieuwe gast aankomt, je geen tijd wilt verspillen aan het dekken van de tafel (bestek, servetten, menukaart). Je wilt dat ze direct kunnen gaan zitten en eten.

In de wereld van AI doen bedrijven hetzelfde met krachtige computerchips die GPU's heten. Wanneer ze een AI-model (zoals een chatbot) op een GPU laden, laten ze het daar, 24 uur per dag, 7 dagen per week draaiend, zelfs als niemand er vragen aan stelt. Ze doen dit om de "koude start"-vertraging te voorkomen – de tijd die het kost om het model vanaf nul te laden.

Het Probleem: Dit paper stelt dat het houden van deze AI-modellen "geparkeerd" op de GPU enorm veel elektriciteit verspillen, en om een reden die niemand had verwacht.

De Verborgen Kosten: Het Gaat Niet om de "Grootte" van de Auto

De meeste mensen gaan ervan uit dat het houden van een groot AI-model (zoals een 70 miljard-parameter monster) op een GPU veel meer elektriciteit kost dan het houden van een klein model (zoals een 7 miljard-parameter model), omdat het grote model meer ruimte inneemt in het geheugen van de GPU (VRAM).

De grote ontdekking van het paper: Dit is onjuist.

De auteurs hebben dit gemeten bij drie verschillende soorten high-end GPU's (H100, A100 en L40S). Ze ontdekten dat de elektriciteitskosten van het "parkeren" van een model bijna volledig worden bepaald door het starten van de motor, en niet door hoeveel ruimte de auto inneemt in de garage.

De Analogie: De Stationerende Auto

Denk aan de GPU als een automotor:

Bare Idle: De auto staat uit. De motor is koud. Het verbruikt bijna geen benzine.
De "Context" (De Motor Aan): Zodra je de sleutel omdraait om de auto te starten (een "CUDA context" creëren), draait de motor op tot een hoog toerental om direct klaar te zijn om te rijden.
- Het Verbluffende Deel: Zodra die motor draait, maakt het niet uit of je een klein fietsje in de kofferbak legt of een enorme vrachtwagen. De motor draait nog steeds op hetzelfde hoge toerental en verbrandt dezelfde hoeveelheid benzine.

Het paper noemt dit de "Model Parking Tax" (Modelparkeerbelasting).

De Belasting: Een vast bedrag aan elektriciteit (tussen de 26 en 66 Watt, afhankelijk van de chip) dat je betaalt op het moment dat je elk model laadt.
De Verrassing: Het toevoegen van meer geheugen om een groter model te bevatten, voegt bijna nul extra kosten toe. Of je nu een 1GB-model of een 64GB-model parkeert, de elektriciteitsrekening is hetzelfde.

Hoe Ze Dit Vonden

De onderzoekers deden niet alleen maar gissingen; ze deden twee dingen:

Real-world Spionage: Ze observeerden 14 echte GPU's in een datacenter gedurende 18 dagen, waarbij ze honderdduizenden metingen namen. Ze zagen dat wanneer een model werd geladen, het vermogen omhoog sprong, maar dat het veranderen van de modelgrootte het vermogen niet veranderde.
Gecontroleerde Experimenten: Ze namen drie verschillende soorten GPU's en vulden systematisch hun geheugen van leeg tot vol, alsof je water in een emmer giet. Ze maten het vermogen bij elke stap.
- Resultaat: De vermogenslijn was vlak. Het gieten van meer "water" (geheugen) in de emmer liet de "motor" niet harder werken.

Het "Break-even" Moment

Dus, moeten we de motor uitzetten om benzine te besparen? Het paper zegt ja, maar alleen als je lang genoeg wacht.

Ze berekenden een "Break-even Point". Dit is de hoeveelheid tijd die je moet wachten voordat het goedkoper is om de motor uit te zetten en later opnieuw te starten, in plaats van hem stationair te laten draaien.

De Wiskunde: Voor de meeste moderne setups is het eigenlijk goedkoper om het model uit te zetten en opnieuw te laden wanneer iemand erom vraagt, als je 1 tot 5 minuten geen verzoek ontvangt.
De Haken en Ogen: Kleine modellen zijn de ergste overtreders. Ze laden in seconden, dus ze moeten direct na gebruik worden uitgeschakeld. Maar grote modellen duren langer om te laden, dus je zou ze misschien iets langer aan laten staan. Het paper merkt echter op dat de "belasting" voor beide hetzelfde is, dus kleine modellen zijn het meest verspillend als ze aan blijven staan.

De Oplossing: Een Slimmere Planner

De auteurs bouwden een simpele "slimme parkeermeter" (een planner). In plaats van modellen voor altijd aan te houden, controleert dit systeem: "Is het meer dan 5 minuten geleden sinds het laatste verzoek?"

Als Ja: Zet het uit.
Als Nee: Houd het aan.

Toen ze dit testten, bespaarden ze 8% tot 23% van de elektriciteit in vergelijking met de standaard "altijd-aan"-methode, met bijna geen merkbare vertraging voor de gebruiker.

De Conclusie

De Mythe: "We moeten grote AI-modellen 24/7 op de GPU houden omdat ze te lang duren om te laden."
De Realiteit: De kosten van het aanhouden ervan zijn een vaste "parkeergeld" veroorzaakt door het optoeren van de GPU-motor. De grootte van het model maakt niet uit.
De Oplossing: We moeten deze modellen veel vaker uitzetten. Als een model een paar minuten niet is gebruikt, zet het uit. Het bespaart een enorme hoeveelheid energie (potentieel honderden gigawattuur per jaar in de hele industrie) zonder de prestaties te schaden.

Kortom: Je hoeft de motor niet draaiende te houden alleen omdat je een grote kofferbak hebt. Als je niet rijdt, zet de auto uit.

Technische Samenvatting: De Modelparkeertaks

Probleemstelling

Het heersende operationele model voor AI-inferentie omvat het implementeren van modellen op GPU's en het onbeperkt geladen houden ervan in VRAM om de latentie die gepaard gaat met "koude starts" te vermijden. Hoewel de latentievoordelen van deze "warm houden"-strategie goed gedocumenteerd zijn, is de voortdurende energiekost van paraatheid behandeld als een niet-gekwantificeerde constante. Industrierapporten schatten het idle-energieverbruik van GPU's op ongeveer 20% van het Thermisch Ontwerpvermogen (TDP), maar de marginale energiekost van het toewijzen van specifieke hoeveelheden VRAM is nooit empirisch ontleed.

De kernvraag die wordt behandeld, is of het opslaan van modelgewichten in GPU-VRAM een meetbare marginale idle-energiekost met zich meebrengt, en of deze kost varieert tussen verschillende GPU-architecturen en geheugentechnologieën. Huidige literatuur suggereert dat CUDA-contexts GPU's dwingen tot hogere klokkfrequenties, zelfs wanneer ze idle zijn, maar het blijft onduidelijk of de grootte van het model (VRAM-bezettingsgraad) het stroomverbruik verder verhoogt boven de kost van het simpelweg handhaven van de context.

Methodologie

De auteurs hanteren een tweefasige aanpak die grote productie-telemetrie combineert met gecontroleerde dosis-respons-experimenten over drie verschillende GPU-architecturen: NVIDIA H100 (HBM3), A100 (HBM2e) en L40S (GDDR6).

Fase 1: Productie-telemetrie

Scope: 18 dagen aan data van 14 NVIDIA H100 GPU's verspreid over twee Kubernetes-nodes.
Datavolume: 335.267 idle-staatsteekproeven (0% benutting) met VRAM-toewijzingen variërend van 3 MB tot 79 GB.
Instrumentatie: Metingen werden verzameld via de NVIDIA Data Center GPU Manager (DCGM) Exporter in intervallen van 30 seconden.

Fase 2: Gecontroleerde experimenten

Ontwerp: Within-subject dosis-responsstudies op één GPU van elke architectuur (H100, A100, L40S).
Protocol:
1. "Bare idle" vermogen opnemen (geen CUDA-context).
2. Een persistente CUDA-context aanmaken.
3. Sequentieel toenemende VRAM toewijzen (0 tot 40–72 GB) met behulp van torch.empty-tensors.
4. Vermogen opnemen via nvidia-smi gedurende 20 minuten per toewijzingsniveau.
Validatie: De experimenten werden gevalideerd met een echt HuggingFace-model (Qwen2.5-7B) om ervoor te zorgen dat echte modelgewichten en CUDA-kernels het idle-vermogensprofiel niet veranderden in vergelijking met lege tensors.
Statistische strengheid: De studie maakt gebruik van Two One-Sided Tests (TOST) om equivalentie vast te stellen, waarbij wordt getest of de marginale vermogenscoëfficiënt ( $\beta$ ) praktisch nul is (begrensd door $\pm 0.1$ W/GB).

Belangrijkste bevindingen

1. De "Parkeertaks" is een stapfunctie, geen gradiënt

De studie identificeert een "Modelparkeertaks" die bestaat uit twee distincte componenten:

De CUDA-context overhead ( $\Delta P_{DVFS}$ ): Het aanmaken van een CUDA-context triggert een discrete Dynamic Voltage and Frequency Scaling (DVFS)-overgang. De Streaming Multiprocessor (SM)-klokspringen van low-power idle-staten (210–345 MHz) naar maximale boost-frequenties (1410–2520 MHz), ongeacht de benutting.
- H100: +49,9 W overhead.
- A100: +26,3 W overhead.
- L40S: +66,4 W overhead.
  Deze stap is verantwoordelijk voor >98% van de totale idle-vermogenskost op alle geteste architecturen.
Het marginale VRAM-effect ( $\beta$ ): Zodra een CUDA-context actief is, resulteert het variëren van de toegewezen VRAM van 0 GB tot de maximale geteste capaciteit (tot 72 GB) in een vermogensverandering van minder dan 1 W.
- De regressieslope $\beta$ bleek op de H100 en L40S statistisch niet te onderscheiden van nul.
- Op de A100 werd een statistisch significante negatieve slope waargenomen, maar de auteurs schrijven dit toe aan thermische drift (temperatuurdaling in de tijd) in plaats van een geheugenfysisch effect, en merken op dat de grootte verwaarloosbaar is (<0,1 W totaal).
- Conclusie: $\frac{\partial P}{\partial C} \gg \frac{\partial P}{\partial V}$ . De kost wordt bepaald door de aanwezigheid van een context, niet door de bezettingsgraad van het geheugen.

2. Consistentie tussen architecturen

De bevinding dat idle-vermogen stuksgewijs constant is, geldt voor drie fundamenteel verschillende geheugentechnologieën (HBM3, HBM2e, GDDR6) en micro-architecturen (Hopper, Ampere, Ada Lovelace). Deze consistentie ondersteunt de theoretische voorspelling dat bij idle-stand het geheugenvermogen wordt gedomineerd door achtergrond- en verfriscircuits (die alle rijen scannen ongeacht de data-inhoud), waardoor het vermogen onafhankelijk is van de bezettingsgraad.

3. Koude-start-evenwichtsmodel

De auteurs leiden een evenwichtsmodel ( $T^*$ ) af om de optimale tijd te bepalen om een model te verwijderen versus het warm te houden:
$T^* = \frac{P_{load} \cdot t_{load}}{P_{park}}$
Waarbij $P_{park}$ de parkeertaks (context-overhead) is, $P_{load}$ het vermogen tijdens het laden, en $t_{load}$ de laadduur.

Resultaat: Evenwichtsintervallen zijn kort, doorgaans 1–5 minuten, afhankelijk van de architectuur en de laadmethode.
Implicatie: Voor kleine modellen die in seconden laden, overschrijdt de energiekost van het warm houden ervan vaak de kost van een koude start, zelfs bij gematigde aanvraagfrequentie. Het evenwichtspunt hangt af van laadlatentie en vermogen, niet van modelgrootte.

Betekenis en claims

Het paper claimt de eerste cross-architectuurmeting van idle-GPU-vermogen als functie van VRAM-toewijzing te leveren. De primaire bijdragen zijn:

Ontleding van idle-kost: Het scheidt empirisch idle-vermogen op in een enorme, vaste DVFS-kost ( getriggerd door de CUDA-context) en een verwaarloosbare, praktisch nul marginale VRAM-kost.
Uitdaging aan huidige praktijken: Het daagt de industrie-aanname uit dat grotere modellen proportioneel hogere idle-energiekosten met zich meebrengen. Het paper stelt dat een 1 GB-model en een 64 GB-model dezelfde "parkeertaks" betalen omdat de kost wordt gedreven door de context, niet door de geheugenvoetafdruk.
Operationele richtlijnen: De auteurs stellen dat "grootte-bewuste planning" (koude-starten van kleine modellen) en "evenwicht-bewuste verwijdering" energie-efficiënter zijn dan altijd-aan implementatie.
Schatting van industriële impact: Gebaseerd op verzendgegevens van 2023 en een benuttingsgraad van 65%, schatten de auteurs dat de CUDA-context-overhead alleen al 92–1.745 GWh/jaar wereldwijd vertegenwoordigt, met een basisschatting van 462 GWh/jaar (ongeveer 180 kT CO2).

Het paper concludeert dat GPU-leveranciers idle-staten moeten onderzoeken die klokkfrequentie ontkoppelen van contextaanwezigheid, en dat serverloze platforms prioriteit moeten geven aan het elimineren van CUDA-contexts boven het verkleinen van modelvoetafdrukken om energiebesparingen te realiseren. Een proof-of-concept planner die het afgeleide evenwichtsmodel gebruikt, toonde 8–23% energiebesparing over 24-uurs simulaties aan in vergelijking met always-on baselines.