SweetSpot: An Analytical Model for Predicting Energy Efficiency of LLM Inference

1. Problemstellung

Die Inferenz von Large Language Models (LLMs) dominiert derzeit die Workloads in Rechenzentren und macht einen erheblichen Teil des gesamten Energieverbrauchs des Modell-Lebenszyklus aus (bis zu 90 %). Bisherige Ansätze zur Schätzung des Energieverbrauchs basieren oft auf der vereinfachten Annahme einer linearen Beziehung zwischen Eingabe- und Ausgabelänge (Token-Anzahl) und dem Energieverbrauch.

Die Autoren identifizieren jedoch, dass diese Annahme die komplexe Architektur von Transformern und den autoregressiven Generierungsprozess ignoriert. Insbesondere wird übersehen, dass der Energieverbrauch nicht monoton mit der Sequenzlänge steigt, sondern von einem Zusammenspiel aus quadratischen Kosten bei der Eingabeverarbeitung (Prefill-Phase) und linearen Kosten bei der Token-Generierung (Decode-Phase) abhängt. Dies führt zu der Hypothese, dass es spezifische Konfigurationen von Eingabe- und Ausgabelängen gibt, die einen „Sweet Spot" (optimalen Punkt) für die Energieeffizienz darstellen, während andere Kombinationen (z. B. sehr lange Eingaben mit sehr kurzen Ausgaben) extrem ineffizient sind.

2. Methodik

Um dieses Phänomen zu analysieren und zu modellieren, führten die Autoren eine umfassende experimentelle Studie durch:

• Hardware & Framework: Die Experimente wurden auf NVIDIA H100 GPUs unter Verwendung von TensorRT-LLM durchgeführt, einem hochoptimierten Inferenz-Stack, der für seine Energieeffizienz bekannt ist.
• Modell-Diversität: Es wurden diverse LLM-Familien getestet, die von 1 bis 9 Milliarden Parametern reichen (u. a. OPT, LLaMA, Gemma, Falcon, Qwen2, Granite).
• Workload-Variation: Eingabe- ($n_{in}$) und Ausgabelängen ($n_{out}$) wurden systematisch variiert (von 64 bis 4096 Tokens).
• Messung: Der Energieverbrauch wurde durch direkte Messung der GPU-Leistung (via NVIDIA Management Library) über die Zeit integriert, um den Gesamtenergieverbrauch ($E_{tot}$) und den Energieverbrauch pro Token ($E_{tok}$) zu berechnen.

3. Der SweetSpot-Analytische Modellansatz

Das Kernstück des Papers ist die Entwicklung des SweetSpot-Modells, eines analytischen Modells, das den Energieverbrauch basierend auf der rechnerischen (FLOPs) und speicherbezogenen Komplexität der Transformer-Architektur vorhersagt.

• Theoretische Herleitung: Das Modell zerlegt die Inferenz in zwei Phasen:
  1. Prefill-Phase: Verarbeitung der gesamten Eingabe parallel. Hier dominieren quadratische Kosten in Bezug auf die Eingabelänge ($n_{in}^2$) aufgrund des Attention-Mechanismus.
  2. Decode-Phase: Autoregressive Generierung von Tokens. Hier sind die Kosten pro Token linear in Bezug auf die kumulierte Sequenzlänge, aber der Gesamtaufwand skaliert linear mit der Anzahl der generierten Tokens ($n_{out}$).
• Formel: Das Modell drückt den Energieverbrauch pro Token als Funktion von $n_{in}$ und $n_{out}$ aus. Es berücksichtigt Terme für:
  • Quadratische Eingabekosten ($n_{in}^2 / n_{out}$)
  • Lineare Interaktion ($n_{in}$)
  • Lineare Dekodierkosten ($n_{out}$)
  • Speicherzugriffskosten (Memory-Bound), die besonders bei langen Kontexten relevant sind.
• Optimierung: Durch Ableitung der Energie-Funktion nach $n_{out}$ kann das Modell mathematisch den optimalen Wert für $n_{out}$ berechnen, der den Energieverbrauch pro Token minimiert, gegeben eine bestimmte Eingabelänge.

4. Wichtige Ergebnisse

Die experimentellen Validierungen bestätigten die theoretischen Vorhersagen des SweetSpot-Modells:

• Hohe Genauigkeit: Das SweetSpot-Modell erreichte eine mittlere absolute prozentuale Abweichung (MAPE) von nur 1,79 % gegenüber den gemessenen Werten. Dies ist ein signifikanter Fortschritt im Vergleich zu bestehenden Baseline-Modellen, die MAPE-Werte von über 30 % (Baseline 4) bis zu über 130 % (Baseline 1 & 2) aufwiesen.
• Existenz von „Sweet Spots": Die Ergebnisse zeigen eindeutig, dass die Energieeffizienz nicht monoton ist.
  • Optimale Konfiguration: Kurze bis moderate Eingaben ($n_{in} \approx 64$) kombiniert mit mittleren Ausgabelängen ($n_{out} \in [128, 256]$) führen zu maximaler Effizienz.
  • Ineffiziente Zonen: Sehr lange Eingaben mit sehr kurzen Ausgaben sind extrem ineffizient, da die hohen quadratischen Kosten der Eingabe auf nur wenige generierte Tokens amortisiert werden müssen.
• Effizienzgewinn: Durch das Ausrichten von Sequenzlängen auf diese „Sweet Spots" konnte der Energieverbrauch im Vergleich zu den schlechtesten Konfigurationen um den Faktor 33,41-fach reduziert werden.
• Architektureinfluss: Modelle mit Grouped-Query Attention (GQA) zeigten eine bessere Energieeffizienz als solche mit Multi-Head Attention (MHA), da GQA den KV-Cache und den Speicherbandbreitenbedarf reduziert.

5. Bedeutung und Implikationen

Die Arbeit hat weitreichende praktische und theoretische Konsequenzen:

• Produktions-Optimierung: Betreiber von LLM-Systemen können ihre Inferenz-Strategien anpassen, um Energie zu sparen. Dazu gehören das gezielte Abschneiden (Truncation) übermäßig langer Eingaben, die Zusammenfassung von Prompts oder die Anpassung der generierten Antwortlänge an die vorhergesagten Effizienz-Spitzen.
• Nachhaltigkeit: Das Modell wandelt Energieeffizienz von einem rein empirischen Konzept in einen vorhersagbaren Designparameter um. Dies ermöglicht eine fundierte Entscheidungsfindung für nachhaltigere KI-Systeme.
• Wissenschaftlicher Beitrag: Das Paper liefert einen der ersten analytischen Modelle, das die nicht-lineare Interaktion zwischen Eingabe- und Ausgabelänge und dem Energieverbrauch präzise beschreibt und dabei sowohl Rechen- als auch Speicherzugriffskosten integriert.

Zusammenfassend bietet „SweetSpot" einen robusten Rahmen, um den Energieverbrauch von LLM-Inferenz vorherzusagen und zu optimieren, was angesichts des exponentiell wachsenden Einsatzes von KI für die Reduzierung des CO2-Fußabdrucks und der Betriebskosten entscheidend ist.