🤖 machine learning

The Model Parking Tax: Quantifying the Hidden Energy Cost of Always-On GPU Model Deployment

Diese Arbeit zeigt empirisch, dass die Energiekosten für das Halten von KI-Modellen im GPU-Speicher primär durch einen diskreten Leistungsanstieg infolge des DVFS-Übergangs des CUDA-Kontexts und nicht durch die VRAM-Auslastung getrieben werden, was offenbart, dass die energieoptimale Strategie für das Modell-Deployment von den Ankunftsraten der Anfragen und der Kaltstart-Latenz und nicht von der Modellgröße abhängt.

Ursprüngliche Autoren: Sai Sathvik Vadari

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sai Sathvik Vadari

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Die „Parkgebühr" für KI

Stellen Sie sich vor, Sie betreiben ein belebtes Restaurant. Sie haben eine Regel: „Sobald ein Tisch für einen VIP-Gast gedeckt ist, bleibt er für immer gedeckt, auch wenn niemand dort sitzt."

Warum? Denn wenn ein neuer Gast ankommt, wollen Sie keine Zeit damit verschwenden, den Tisch zu decken (Besteck, Servietten, Speisekarte). Sie möchten, dass er sich sofort hinsetzt und isst.

In der Welt der KI machen Unternehmen dasselbe mit leistungsstarken Computerchips, den sogenannten GPUs. Wenn sie ein KI-Modell (wie einen Chatbot) auf eine GPU laden, lassen sie es dort laufen, 24 Stunden am Tag, 7 Tage die Woche, auch wenn niemand Fragen stellt. Sie tun dies, um die Verzögerung durch den „kalten Start" zu vermeiden – die Zeit, die es dauert, das Modell von Grund auf neu zu laden.

Das Problem: Dieses Papier argumentiert, dass das „Parken" dieser KI-Modelle auf der GPU aus einem unerwarteten Grund extrem verschwenderisch mit Strom ist.

Die versteckten Kosten: Es geht nicht um die „Größe" des Autos

Die meisten gehen davon aus, dass das Halten eines großen KI-Modells (wie eines 70-Milliarden-Parameter-Monsters) auf einer GPU weitaus mehr Strom verbraucht als das Halten eines winzigen Modells (wie eines 7-Milliarden-Parameter-Modells), weil das Große mehr Platz im Speicher (VRAM) der GPU einnimmt.

Die große Entdeckung des Papiers: Das ist falsch.

Die Autoren maßen dies an drei verschiedenen Typen von High-End-GPUs (H100, A100 und L40S). Sie stellten fest, dass die Stromkosten für das „Parken" eines Modells fast ausschließlich davon bestimmt werden, den Motor zu starten, und nicht davon, wie viel Platz das Auto in der Garage einnimmt.

Die Analogie: Der im Leerlauf laufende Motor

Stellen Sie sich die GPU wie einen Automotor vor:

Leerer Leerlauf: Das Auto ist aus. Der Motor ist kalt. Er verbraucht fast kein Benzin.
Der „Kontext" (Motor an): Sobald Sie den Schlüssel drehen, um das Auto zu starten (ein „CUDA-Kontext" erstellen), dreht der Motor auf hohe Drehzahl hoch, um sofort fahrbereit zu sein.
- Der schockierende Teil: Sobald dieser Motor auf hoher Drehzahl läuft, ist es egal, ob Sie ein winziges Fahrrad oder einen riesigen Lkw in den Kofferraum stellen. Der Motor dreht immer noch mit derselben hohen Drehzahl und verbrennt die gleiche Menge Benzin.

Das Papier nennt dies die „Modell-Parkgebühr".

Die Gebühr: Ein fester Strombetrag (zwischen 26 und 66 Watt, je nach Chip), den Sie sofort zahlen, sobald Sie ein beliebiges Modell laden.
Die Überraschung: Mehr Speicher für ein größeres Modell hinzuzufügen, verursacht fast keine zusätzlichen Kosten. Ob Sie ein 1-GB-Modell oder ein 64-GB-Modell parken, die Stromrechnung ist dieselbe.

Wie sie dies herausfanden

Die Forscher haben nicht nur geraten; sie taten zwei Dinge:

Echtzeit-Spionage: Sie beobachteten 14 echte GPUs in einem Rechenzentrum über 18 Tage hinweg und nahmen Hunderttausende von Messungen vor. Sie sahen, dass der Stromverbrauch sprang, sobald ein Modell geladen wurde, aber die Änderung der Modellgröße den Verbrauch nicht veränderte.
Kontrollierte Experimente: Sie nahmen drei verschiedene GPU-Typen und füllten ihren Speicher systematisch von leer bis voll, wie Wasser in einen Eimer. Sie maßen den Stromverbrauch bei jedem Schritt.
- Ergebnis: Die Stromlinie war flach. Mehr „Wasser" (Speicher) in den Eimer zu gießen, ließ den „Motor" nicht härter arbeiten.

Der „Break-even"-Moment

Sollten wir also den Motor ausschalten, um Benzin zu sparen? Das Papier sagt ja, aber nur, wenn Sie lange genug warten.

Sie berechneten einen „Break-even-Punkt". Das ist die Zeitspanne, die man warten muss, bevor es günstiger wird, den Motor auszuschalten und später neu zu starten, anstatt ihn im Leerlauf laufen zu lassen.

Die Mathematik: Für die meisten modernen Setups ist es tatsächlich günstiger, das Modell auszuschalten und erneut zu laden, wenn jemand eine Anfrage stellt, wenn Sie 1 bis 5 Minuten keine Anfrage erhalten.
Der Haken: Kleine Modelle sind die größten Übeltäter. Sie laden in Sekunden, also sollten sie sofort nach Gebrauch ausgeschaltet werden. Große Modelle brauchen länger zum Laden, also könnte man sie etwas länger laufen lassen. Das Papier stellt jedoch fest, dass die „Gebühr" für beide gleich ist, weshalb kleine Modelle am verschwenderischsten sind, wenn sie eingeschaltet gelassen werden.

Die Lösung: Ein intelligenter Zeitplaner

Die Autoren entwickelten einen einfachen „intelligenten Parkautomaten" (einen Zeitplaner). Anstatt Modelle für immer laufen zu lassen, prüft dieses System: „Ist seit der letzten Anfrage mehr als 5 Minuten vergangen?"

Wenn Ja: Schalten Sie es aus.
Wenn Nein: Lassen Sie es an.

Als sie dies testeten, sparten sie 8 % bis 23 % des Stroms im Vergleich zur Standardmethode „immer eingeschaltet", ohne dass für den Benutzer eine spürbare Verzögerung entstand.

Das Fazit

Der Mythos: „Wir müssen große KI-Modelle 24/7 auf der GPU laufen lassen, weil sie zu lange zum Laden brauchen."
Die Realität: Die Kosten für das Laufenlassen sind eine feste „Parkgebühr", verursacht durch das Hochdrehen des GPU-Motors. Die Größe des Modells spielt keine Rolle.
Die Lösung: Wir sollten diese Modelle viel öfter ausschalten. Wenn ein Modell seit ein paar Minuten nicht verwendet wurde, schalten Sie es aus. Das spart eine massive Menge an Energie (potenziell Hunderte von Gigawattstunden pro Jahr in der gesamten Branche), ohne die Leistung zu beeinträchtigen.

Kurz gesagt: Sie müssen den Motor nicht laufen lassen, nur weil Sie einen großen Kofferraum haben. Wenn Sie nicht fahren, schalten Sie das Auto aus.

Technische Zusammenfassung: Die Modell-Parkgebühr

Problemstellung

Das vorherrschende Betriebsmodell für die KI-Inferenz umfasst das Bereitstellen von Modellen auf GPUs und das ununterbrochene Halten dieser Modelle im VRAM, um die mit „Cold Starts" verbundene Latenz zu vermeiden. Während die Latenzvorteile dieser „Keep-Warm"-Strategie gut dokumentiert sind, wurde die laufende Energiekosten der Bereitschaft als eine nicht quantifizierte Konstante behandelt. Branchenberichte schätzen die Leerlaufleistung von GPUs auf etwa 20 % der Thermischen Designleistung (TDP), doch die marginale Energiekosten für die Zuweisung spezifischer VRAM-Mengen wurde nie empirisch zerlegt.

Die zentrale Frage lautet, ob das Speichern von Modellgewichten im GPU-VRAM messbare marginale Leerlaufenergiekosten verursacht und ob diese Kosten über verschiedene GPU-Architekturen und Speichertechnologien hinweg variieren. Die aktuelle Literatur deutet darauf hin, dass CUDA-Kontexte GPUs auch im Leerlauf in höhere Taktfrequenzen zwingen, doch bleibt unklar, ob die Größe des Modells (VRAM-Belegung) den Stromverbrauch über die Kosten des bloßen Aufrechterhaltens des Kontexts hinaus weiter erhöht.

Methodik

Die Autoren verwenden einen zweiphasigen Ansatz, der große Produktions-Telemetriedaten mit kontrollierten Dosis-Wirkungs-Experimenten über drei unterschiedliche GPU-Architekturen kombiniert: NVIDIA H100 (HBM3), A100 (HBM2e) und L40S (GDDR6).

Phase 1: Produktions-Telemetrie

Umfang: 18 Tage Daten von 14 NVIDIA H100 GPUs auf zwei Kubernetes-Knoten.
Datenvolumen: 335.267 Leerlaufzustands-Proben (0 % Auslastung) mit VRAM-Zuweisungen von 3 MB bis 79 GB.
Instrumentierung: Die Messwerte wurden im 30-Sekunden-Takt über den NVIDIA Data Center GPU Manager (DCGM) Exporter erfasst.

Phase 2: Kontrollierte Experimente

Design: Within-subject Dosis-Wirkungs-Studien an je einer GPU jeder Architektur (H100, A100, L40S).
Protokoll:
1. Erfassung der „nackten Leerlauf"-Leistung (ohne CUDA-Kontext).
2. Erstellen eines persistenten CUDA-Kontexts.
3. Sequenzielle Zuweisung zunehmender VRAM-Mengen (0 bis 40–72 GB) mittels torch.empty-Tensoren.
4. Erfassung der Leistung via nvidia-smi über 20 Minuten pro Zuweisungsstufe.
Validierung: Die Experimente wurden mit einem echten HuggingFace-Modell (Qwen2.5-7B) validiert, um sicherzustellen, dass echte Modellgewichte und CUDA-Kernel den Leerlaufleistungsprofil im Vergleich zu leeren Tensoren nicht verändern.
Statistische Strenge: Die Studie verwendet Two One-Sided Tests (TOST), um Äquivalenz nachzuweisen, indem getestet wird, ob der marginale Leistungskoeffizient ( $\beta$ ) praktisch null ist (begrenzt durch $\pm 0,1$ W/GB).

Wichtige Ergebnisse

1. Die „Parkgebühr" ist eine Sprungfunktion, kein Gradient

Die Studie identifiziert eine „Modell-Parkgebühr", die aus zwei unterschiedlichen Komponenten besteht:

Der CUDA-Kontext-Overhead ( $\Delta P_{DVFS}$ ): Das Erstellen eines CUDA-Kontexts löst einen diskreten Dynamic Voltage and Frequency Scaling (DVFS)-Übergang aus. Die Taktfrequenzen der Streaming Multiprocessors (SM) springen von leistungssparenden Leerlaufzuständen (210–345 MHz) auf maximale Boost-Frequenzen (1410–2520 MHz), unabhängig von der Auslastung.
- H100: +49,9 W Overhead.
- A100: +26,3 W Overhead.
- L40S: +66,4 W Overhead.
  Dieser Sprung macht >98 % der gesamten Leerlaufleistungskosten auf allen getesteten Architekturen aus.
Der marginale VRAM-Effekt ( $\beta$ ): Sobald ein CUDA-Kontext aktiv ist, führt die Variation der zugewiesenen VRAM-Menge von 0 GB bis zur maximal getesteten Kapazität (bis zu 72 GB) zu einer Leistungsänderung von weniger als 1 W.
- Die Regressionssteigung $\beta$ war bei H100 und L40S statistisch nicht von null unterscheidbar.
- Beim A100 wurde eine statistisch signifikante negative Steigung beobachtet, die die Autoren jedoch auf thermische Drift (Temperaturabnahme über die Zeit) zurückführen und nicht auf einen Speichereffekt, wobei die Größenordnung als vernachlässigbar eingestuft wird (<0,1 W insgesamt).
- Fazit: $\frac{\partial P}{\partial C} \gg \frac{\partial P}{\partial V}$ . Die Kosten werden durch die Präsenz eines Kontexts bestimmt, nicht durch die Belegung des Speichers.

2. Konsistenz über Architekturen hinweg

Die Erkenntnis, dass die Leerlaufleistung stückweise konstant ist, gilt über drei grundlegend verschiedene Speichertechnologien (HBM3, HBM2e, GDDR6) und Mikroarchitekturen (Hopper, Ampere, Ada Lovelace) hinweg. Diese Konsistenz stützt die theoretische Vorhersage, dass im Leerlauf die Speicherleistung von Hintergrund- und Refresh-Schaltungen dominiert wird (die alle Zeilen unabhängig vom Dateninhalt durchlaufen), was die Leistung unabhängig von der Belegung macht.

3. Breakeven-Modell für Cold Starts

Die Autoren leiten ein Breakeven-Modell ( $T^*$ ) ab, um den optimalen Zeitpunkt für das Entfernen eines Modells versus das Warmhalten zu bestimmen:
$T^* = \frac{P_{load} \cdot t_{load}}{P_{park}}$
Wobei $P_{park}$ die Parkgebühr (Kontext-Overhead), $P_{load}$ die Leistung während des Ladens und $t_{load}$ die Ladedauer ist.

Ergebnis: Die Breakeven-Intervalle sind kurz, typischerweise 1–5 Minuten, abhängig von der Architektur und der Lademethode.
Implikation: Für kleine Modelle, die in Sekunden geladen werden, übersteigen die Energiekosten des Warmhaltens oft die Kosten eines Cold Starts, selbst bei moderaten Anforderungsraten. Der Breakeven-Punkt hängt von der Ladelatenz und der Leistung ab, nicht von der Modellgröße.

Bedeutung und Behauptungen

Die Studie behauptet, die erste architekturübergreifende Messung der GPU-Leerlaufleistung als Funktion der VRAM-Zuweisung zu liefern. Ihre Hauptbeiträge sind:

Zerlegung der Leerlaufkosten: Sie trennt die Leerlaufleistung empirisch in massive, feste DVFS-Kosten (ausgelöst durch den CUDA-Kontext) und vernachlässigbare, praktisch null marginale VRAM-Kosten.
Herausforderung aktueller Praktiken: Sie stellt die Branchenannahme in Frage, dass größere Modelle proportional höhere Leerlaufenergiekosten verursachen. Die Studie behauptet, dass ein 1-GB-Modell und ein 64-GB-Modell die „gleiche Parkgebühr" zahlen, da die Kosten durch den Kontext und nicht durch den Speicherverbrauch getrieben werden.
Operative Anleitung: Die Autoren schlagen vor, dass „größenbewusstes Scheduling" (Cold Starts für kleine Modelle) und „breakeven-bewusstes Entfernen" energieeffizienter sind als ein Always-On-Betrieb.
Schätzung der Branchenwirkung: Basierend auf Versanddaten von 2023 und einer Auslastungsrate von 65 % schätzen die Autoren, dass allein der CUDA-Kontext-Overhead global 92–1.745 GWh/Jahr ausmacht, mit einer Basis-Schätzung von 462 GWh/Jahr (ca. 180 kT CO2).

Die Studie kommt zu dem Schluss, dass GPU-Hersteller Leerlaufzustände untersuchen sollten, die die Taktfrequenz von der Kontextpräsenz entkoppeln, und dass Serverless-Plattformen beim Erreichen von Energieeinsparungen die Beseitigung von CUDA-Kontexten priorisieren sollten, anstatt die Modellgrößen zu reduzieren. Ein Proof-of-Concept-Scheduler, der das abgeleitete Breakeven-Modell verwendet, zeigte über 24-Stunden-Simulationen hinweg 8–23 % Energieeinsparungen im Vergleich zu Always-On-Baselines.