🤖 AI

The Illusion of Power Capping in LLM Decode: A Phase-Aware Energy Characterisation Across Attention Architectures

Dieser Beitrag zeigt, dass Power Capping für die autoregressive Dekodierung von LLMs aufgrund von speichergebundenen Engpässen, die GPU-Leistungsfähigkeit ungenutzt lassen, unwirksam ist, und belegt, dass das Sperren des SM-Takts eine überlegene Strategie darstellt, die bis zu 32 % des Dekodierenergieverbrauchs einspart und gleichzeitig den Durchsatzverlust über verschiedene Aufmerksamkeitsarchitekturen hinweg minimiert.

Ursprüngliche Autoren: Bole Ma, Ayesha Afzal, Jan Eitzinger, Gerhard Wellein

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bole Ma, Ayesha Afzal, Jan Eitzinger, Gerhard Wellein

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Der „falsche" Energieschalter

Stellen Sie sich vor, Sie betreiben eine riesige Bibliothek (ein Rechenzentrum), in der Roboter (GPUs) Bücher lesen und neue Seiten schreiben (Texte für KI generieren).

Die Bibliothekare haben eine Standardregel zur Stromersparnis: „Wenn ein Roboter zu viel Strom verbraucht, drosseln Sie seine Geschwindigkeit, bis er unter einem bestimmten Limit bleibt." Dies nennt man Power Capping (Leistungsbegrenzung). Es funktioniert hervorragend bei schweren Aufgaben, wie dem Bewegen schwerer Kisten (Training von Modellen oder Verarbeitung riesiger Datenmengen auf einmal).

Dieses Papier hat jedoch einen Trick entdeckt. Wenn die Roboter nur einen Satz nach dem anderen lesen und das nächste Wort schreiben (ein Prozess namens „Decode"), funktioniert die Stromregel überhaupt nicht. Die Roboter sind so sehr darauf konzentriert, die nächste Seite vom Bücherregal zu holen, dass sie gar nicht hart genug arbeiten, um das Stromlimit auszulösen. Die „Strombegrenzung" ist wie ein Tempolimitschild auf einer Straße, auf der niemand schnell genug fährt, um einen Strafzettel zu bekommen. Es ist eine Illusion.

Das echte Problem: Der „Bücherregal"-Engpass

Warum arbeitet der Roboter nicht hart genug?

Der Roboter (GPU): Er hat ein superschnelles Gehirn (Rechenleistung) und einen superschnellen Speicher (HBM).
Die Aufgabe: Um das nächste Wort zu schreiben, muss der Roboter zum Bücherregal rennen, ein schweres Buch holen, einen winzigen Teil lesen und zurückrennen.
Der Engpass: Der Roboter wird nicht durch die Geschwindigkeit seines Gehirns begrenzt, sondern durch die Geschwindigkeit, mit der er zum Bücherregal rennen kann.

Da der Roboter ständig zum Bücherregal hin und her rennt, sitzt sein Gehirn die meiste Zeit untätig herum. Selbst wenn Sie dem Roboter sagen, er soll „langsamer werden", um Energie zu sparen, kann er nicht viel langsamer werden, da er bereits auf das Bücherregal wartet. Wenn Sie versuchen, seinen gesamten Stromverbrauch zu begrenzen, ignoriert der Roboter Sie einfach, da er bereits sehr wenig Strom verbraucht (nur etwa 200–300 Watt auf einer Maschine, die für 700 Watt ausgelegt ist).

Die Lösung: Der „manuelle Gangwechsel"

Da der automatische Energieschalter (Power Capping) nutzlos ist, fanden die Autoren einen besseren Weg: SM Clock Locking (Sperrung der Taktfrequenz der Streaming-Multiprozessoren).

Stellen Sie sich dies vor wie das manuelle Schalten des Ganges des Roboters.

Der alte Weg (Power Capping): „Verwenden Sie nicht mehr als 280 Watt!" (Der Roboter sagt: „Ich verwende bereits nur 200 Watt, also mache ich, was ich will.")
Der neue Weg (Clock Locking): „Hey Roboter, da du nur auf das Bücherregal wartest, legen wir dich in Niedriggang."

Indem man dem Roboter manuell sagt, er soll sein Gehirn mit einer langsameren, konstanten Geschwindigkeit betreiben (durch Sperren des Takts), spart der Roboter eine enorme Menge an Energie (bis zu 32 %), ohne die Schreibgeschwindigkeit tatsächlich zu verlangsamen. Warum? Weil der Roboter bereits auf das Bücherregal wartete, führte das Verlangsamen des Gehirns nicht dazu, dass er länger warten musste. Es wurde lediglich weniger Strom verschwendet, während er wartete.

Die „neuen Roboter" (Unterschiedliche Architekturen)

Das Papier testete vier verschiedene Arten von Roboter-Designs (GQA, MLA, GDN, Mamba2). Sie verhalten sich alle während der „Schreib"-Phase ähnlich: Sie warten alle fest auf das Bücherregal.

Sie haben jedoch unterschiedliche „Startkosten":

Die schweren Starter (GDN, Mamba2): Diese Roboter brauchen viel Zeit und verbrauchen viel Energie, um sich vorzubereiten (die „Prefill"-Phase). Sobald sie jedoch mit dem Schreiben beginnen, sind sie unglaublich effizient. Wenn Sie sie bitten, eine lange Geschichte zu schreiben, werden sie letztendlich die günstigste Option, da sie beim „Schreiben" so schnell sind.
Die komprimierten Starter (MLA): Diese Roboter tragen einen kleineren Rucksack (komprimierter Speicher). Sie brauchen etwas mehr Zeit, um ihren Rucksack am Anfang auszupacken, aber sobald sie schreiben, sind sie sehr effizient.
Der Standard-Starter (GQA): Der zuverlässige, Standard-Roboter. Er hat keine hohen Startkosten, ist aber beim Schreiben langer Geschichten nicht so effizient wie die neuen Modelle.

Die Lehre: Wenn Sie eine kurze Notiz schreiben, reicht der Standard-Roboter aus. Wenn Sie einen ganzen Roman schreiben, sparen die „schweren Starter" oder „komprimierten Starter" auf lange Sicht am meisten Geld, auch wenn sie mehr Startkosten verursachen.

Die „falsche" Geschwindigkeitsbegrenzung

Die Autoren stellten noch eine weitere verwirrende Sache fest. Als sie versuchten, die Geschwindigkeit des Roboters manuell auf das Maximum einzustellen (1980 MHz), begrenzte die interne Software des Roboters (Firmware) diese heimlich auf eine niedrigere Geschwindigkeit (1830 MHz).

Es ist, als würde man einem Auto sagen, es soll 120 Meilen pro Stunde fahren, aber der Computer des Autos begrenzt es heimlich auf 110 Meilen pro Stunde.
Noch schlimmer: Die Autoren stellten fest, dass das Fahren mit 110 Meilen pro Stunde im Vergleich zu 95 Meilen pro Stunde keinen Unterschied machte, wie schnell der Roboter die Geschichte schrieb. Der Roboter wartete immer noch auf das Bücherregal. Der zusätzliche Geschwindigkeitsvorteil verbrannte also nur unnötig Strom.

Zusammenfassung

Power Capping ist ein Mythos für das KI-Schreiben: Es spart keine Energie, wenn KI Text generiert, da die KI nicht genug Strom verbraucht, um das Limit auszulösen.
Manuelle Geschwindigkeitskontrolle gewinnt: Anstatt ein Stromlimit festzulegen, sollten Sie die Gehirngeschwindigkeit des Roboters manuell verlangsamen. Dies spart bis zu 32 % Energie bei fast keinem Geschwindigkeitsverlust.
Unterschiedliche Roboter für unterschiedliche Aufgaben: Neue KI-Designs sind großartig für lange Gespräche, da sie beim Schreiben super effizient sind, auch wenn sie am Anfang etwas langsam sind.
Das Bücherregal ist der König: Die Geschwindigkeit der KI wird durch die Geschwindigkeit begrenzt, mit der sie Daten aus dem Speicher holen kann, nicht durch die Geschwindigkeit, mit der ihr Gehirn denken kann.

Das Fazit: Rechenzentren verwenden das falsche Werkzeug, um Geld zu sparen. Sie sollten auf automatische Stromlimits verzichten und beginnen, die Geschwindigkeit ihrer KI-Roboter manuell an die Realität der Aufgabe anzupassen.

Technische Zusammenfassung: Die Illusion der Leistungsbegrenzung beim LLM-Decoding

Problemstellung

Rechenzentren setzen zunehmend auf GPU-Leistungsbegrenzung (Power Capping) als primären Mechanismus zur Steuerung des Energieverbrauchs beim Inferenzbetrieb von Large Language Models (LLM). Das vorherrschende Betriebsmodell geht davon aus, dass eine Obergrenze für die Leistung auf Board-Ebene den GPU-Treiber dazu zwingt, die Taktraten zu drosseln und dabei den Durchsatz gegen garantierte Energieeinsparungen zu tauschen. Während dieses Modell für rechenintensive Workloads (z. B. Training oder dichte HPC-Kerne) gilt, die GPUs nahe ihrer thermischen Auslegungsgrenze (TDP) betreiben, argumentiert diese Arbeit, dass das Modell für die Phase, die den produktiven LLM-Betrieb dominiert: autoregressives Decoding, strukturell fehlerhaft ist.

Das Kernproblem besteht darin, dass die Leistungsbegrenzung während des Decodings wirkungslos ist, da die Arbeitslast speichergebunden und nicht rechengebunden ist. Folglich zieht die GPU nie genug Leistung, um die Begrenzung auszulösen, wodurch das Hebelinstrument der Energieeinsparung unwirksam wird. Darüber hinaus erzeugen Firmware-Verhalten, wie das stumme Drosseln der Taktraten bei Verwendung von nvidia-smi --lock-gpu-clocks, eine „doppelte Tarnung", die den wahren Zusammenhang zwischen Frequenz, Leistung und Durchsatz verschleiert.

Methodik

Die Autoren führten eine systematische Energiecharakterisierung über vier verschiedene Aufmerksamkeitsparadigmen auf einer einzelnen NVIDIA H200 SXM-GPU (700 W TDP, 4,8 TB/s HBM3e-Bandbreite) durch:

GQA (Grouped-Query Attention, z. B. Qwen3-4B)
MLA (Multi-Head Latent Attention, z. B. Minitron-4B via TransMLA)
Gated DeltaNet (Lineare Rekursion, z. B. Qwen3.5-4B)
Mamba2 (State Space Models, z. B. Nemotron-Nano)

Experimenteller Aufbau:

Hardware/Software: Modelle wurden über vLLM in BF16-Präzision ohne benutzerdefinierte Kerne bedient, um Standardimplementierungen von Praktikern widerzuspiegeln.
Kontrollen: Eine kontrollierte Ablationsstudie wurde mit TransMLA durchgeführt, um GQA-ctrl (Minitron-4B) in MLA umzuwandeln, um sicherzustellen, dass Energieunterschiede ausschließlich dem Aufmerksamkeitsmechanismus und nicht Modellgewichten oder Vokabular zuzuschreiben waren.
Metriken: Energie pro Token (mJ/tok) wurde für beide Phasen, Prefill und Decoding, gemessen.
Variablen: Die Studie durchlief fünf SM-Taktstufen (390–1980 MHz), fünf Leistungsbegrenzungsniveaus (280–700 W), Batch-Größen (1–32) und Sequenzlängen (1K–64K Token).
Analyse: Roofline-Modellierung wurde zur Bestimmung der arithmetischen Intensität verwendet, und Pareto-Fronten wurden konstruiert, um Durchsatz gegen Energieeffizienz unter verschiedenen Steuerungsmechanismen zu vergleichen.

Wichtige Ergebnisse

1. Die Illusion der Leistungsbegrenzung

Im Gegensatz zur Annahme, dass Leistungsbegrenzungen GPUs während des LLM-Betriebs aktiv drosseln, ergab die Studie, dass das Decoding auf einer 700-W-TDP-Karte nur 137–300 W zieht.

Wirkungslose Begrenzungen: Da die Arbeitslast speichergebunden ist (sie sättigt die HBM-Bandbreite statt die Rechenleistung), erreicht die GPU nie einmal die niedrigste konfigurierte Begrenzung (280 W). Der Treiber ignoriert die Begrenzung und hält eine Standardtaktung von ≈1830 MHz aufrecht.
Firmware-Artefakte: Der Befehl nvidia-smi --lock-gpu-clocks klemmt jede angeforderte Sperre ≥1830 MHz stillschweigend auf 1830 MHz, getrennt vom frei laufenden Boost von 1980 MHz. Dies erzeugt eine Lücke von 240 MHz, in der höhere Taktraten keinen Durchsatzgewinn bringen, aber die Leistung um 7–13 % erhöhen, was Energiemessungen weiter verwirrt.

2. SM-Taktsperre als der richtige Hebel

Da Decoding speichergebunden ist, liegt der kritische Pfad im Subsystem des Speichers und nicht in der Rechenfrequenz.

Pareto-Dominanz: Statische SM-Taktsperren übertreffen Leistungsbegrenzungen an jedem angepassten Betriebspunkt. Durch Senkung der SM-Taktrate (z. B. auf 780 MHz) gewinnt das System bis zu 32 % der Decoding-Energie bei weniger als 1 % Durchsatzverlust zurück.
Architekturklassen: Die Autoren identifizierten drei Verhaltensklassen bezüglich Dynamic Voltage and Frequency Scaling (DVFS):
- Batch-invariant (GQA, GQA-ctrl): Bleiben auch bei großen Batch-Größen (BS=32) speichergebunden; eine einzelne niedrige Taktrate ist optimal.
- Batch-empfindlich (MLA, Mamba2): Enthalten ausreichend Rechenleistung pro Schritt (KV-Decompression oder SSM-Scans), sodass große Batches sie in Richtung rechengebundener Regime drücken, was höhere Taktraten mit zunehmender Batch-Größe erfordert.
- Rechenleicht (GDN): Dominieren durch elementweise Operationen; tolerieren bedingungslos die aggressivste Untertaktung.

3. Energie-Landschaft über Architekturen hinweg

Neuartige Architekturen (MLA, GDN, Mamba2) teilen ein gemeinsames Energieschema: eine hohe Prefill-Kosten, die schließlich durch effizientes Decoding ausgeglichen werden.

Prefill-Strafe: GDN und Mamba2 zeigen eine um eine Größenordnung höhere Prefill-Energie pro Token aufgrund sequenzieller Zustandsrekursion und nicht fusionierter Ausführung in vLLM. MLA leidet unter einer geringeren, aber beständigen Strafe aufgrund von KV-Decompression-Overhead und nicht-Potenz-von-2-Tensor-Core-Auslastung.
Decoding-Ertrag: In der Decoding-Phase werden diese Architekturen hocheffizient.
- Mamba2: Erreicht eine konstante Latenz pro Schritt ( $O(1)$ ) und überholt GQA in der gesamten Anforderungsenergie nach etwa 1.000 Ausgabetoken bei produktiven Batch-Größen.
- MLA: Überholt GQA bei einem batch-größenabhängigen Kontextschwellenwert (z. B. 4K Token bei BS=32). Bei BS=32 und 65K Kontext verbraucht MLA weniger als die Hälfte der Decoding-Energie von GQA.
Gesamtanforderungsenergie: Bei produktiven Batch-Größen (BS=32) ermöglicht die Effizienz der Decoding-Phase neuartigen Architekturen, die gesamte Anforderungsenergie im Vergleich zur Standard-GQA zu halbieren, trotz ihrer Prefill-Strafen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Abhängigkeit der Branche von Leistungsbegrenzung für LLM-Inferenz für die dominante Decoding-Phase strukturell unwirksam ist. Die Autoren behaupten, dass:

Leistungsbegrenzung eine „doppelte Tarnung" ist: Sie löst nicht aus, weil die GPU in Bezug auf Leistung unterausgelastet ist (aufgrund von Speicherengpässen), und Firmware-Taktklemmungen führen zu nicht zusammenhängenden Abweichungen, die Durchsatzmessungen verfälschen.
SM-Taktsperre die universelle Lösung ist: Sie zielt direkt auf die Ressource des kritischen Pfads (Frequenz) für speichergebundene Workloads ab und bietet einen Pareto-dominanten Kompromiss zwischen Energie und Durchsatz, den Leistungsbegrenzung nicht erreichen kann.
Architektonische Implikationen: Die Energievorteile neuartiger Aufmerksamkeitsmechanismen (MLA, Mamba2) sind strikt decodingspezifisch. Dies unterstützt die Einführung von disaggregierten Serving-Architekturen, bei denen Prefill und Decoding an verschiedene GPU-Pools weitergeleitet werden, die für ihre jeweiligen Phasen optimiert sind.

Die Autoren schließen, dass für Rechenzentren, die LLM-Inferenz verwalten, der Ersatz von Leistungsbegrenzung durch statische SM-Taktsperren für Decoding-Pools eine direkte, hochwirksame Intervention ist, die in großem Maßstab Megawatt kontinuierlicher Energieeinsparungen erzielen kann – ein Ergebnis, das mit aktuellen Leistungsbegrenzungsstrategien nicht erreichbar ist.