🤖 machine learning

EnergyLens: Interpretable Closed-Form Energy Models for Multimodal LLM Inference Serving

EnergyLens führt ein interpretierbares, geschlossenes Energie-Modell mit zwölf Parametern ein, das mittels symbolischer Regression abgeleitet wurde, die Inferenzenergie über diverse multimodale LLMs und Hardware hinweg mit minimalen Profiling-Daten präzise vorhersagt und dabei bestehende Black-Box- und analytische Baselines bei der Konfigurationsauswahl und Extrapolation übertrifft.

Ursprüngliche Autoren: Vittorio Palladino, Gianluca Palermo, Michael E. Papka, Zhiling Lan

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Vittorio Palladino, Gianluca Palermo, Michael E. Papka, Zhiling Lan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie leiten einen massiven, hochgeschwindigkeitsfähigen Lieferdienst für ein riesiges Unternehmen. Ihre „LKW" sind KI-Modelle (Large Language Models), und Ihre „Pakete" sind Benutzeranfragen (wie das Schreiben eines Gedichts, die Analyse eines Fotos oder die Zusammenfassung eines Videos).

Das Ziel ist es, jedes Paket so schnell wie möglich (geringe Latenz) und so günstig wie möglich (geringer Energieverbrauch) zu liefern. Doch hier liegt das Problem: Schnell bedeutet nicht immer günstig.

Manchmal ist es schneller, zwei LKWs auf einer schmalen Straße zusammenzuschicken (eine Strategie namens Tensor-Parallelismus), als einen großen LKW zu schicken, aber es wird dabei viel mehr Kraftstoff verbraucht, weil die LKWs sich ständig abstimmen müssen. In anderen Fällen kann es etwas langsamer sein, die Arbeit auf eine lange Reihe von LKWs zu verteilen (genannt Pipeline-Parallelismus), aber es spart eine Menge Kraftstoff, weil die LKWs zwischen den Stopps Pausen machen können.

Lange Zeit machten Leute, die diesen Lieferdienst optimieren wollten, einen großen Fehler: Sie gingen davon aus, dass eine Route, die die schnellste ist, automatisch auch die kraftstoffeffizienteste ist. Sie versuchten auch, „Black-Box"-Computer (komplexe KI-Modelle) zu verwenden, um den Kraftstoffverbrauch vorherzusagen, aber diese Computer benötigten Tausende von Testläufen, um die Regeln zu lernen, und sie konnten nicht erklären, warum sie eine bestimmte Vorhersage trafen.

Dann kam EnergyLens.

Was ist EnergyLens?

Stellen Sie sich EnergyLens als einen Meistermechaniker vor, der die genauen Verkehrsregeln in einfacher Sprache aufschreibt.

Anstatt zu raten oder Tausende von Testfahrten zu benötigen, verwendet EnergyLens ein spezielles Werkzeug namens „symbolische Regression". Stellen Sie sich vor, Sie geben einem Computer einen Stapel Kraftstoffbelege und bitten ihn, das versteckte mathematische Muster zu finden. Anstatt Ihnen eine verwirrende Liste von Zahlen zu geben, liefert es eine einfache, lesbare Formel (wie ein Rezept), die genau erklärt, wie viel Energie verbraucht wird, basierend auf:

Wie viele LKWs Sie einsetzen (Parallelismus).
Wie groß das Paket ist (Batch-Größe).
Wie lang die Lieferstrecke ist (Sequenzlänge).

Wie es funktioniert (Die Analogie)

Die Arbeit erklärt, dass KI-Inferenz in zwei distincte Phasen stattfindet, wie in einer Restaurantküche:

Die „Prefill"-Phase (Bestellung zubereiten): Die Küche liest die gesamte Bestellung (den Eingabetext oder das Bild) auf einmal durch. Das ist Schwerstarbeit.
Die „Decode"-Phase (Gerichte servieren): Die Küche beginnt, ein Gericht nach dem anderen zu servieren (das Ausgabe-Wort für Wort generieren). Das ist speicherintensiv.

EnergyLens behandelt diese beiden Phasen separat. Es erkennt, dass die „Kraftstoffkosten" für das Zubereiten der Bestellung anders sind als die Kosten für das Servieren der Gerichte. Es erkennt auch, dass die „LKW-Koordination" (Tensor-Parallelismus) das Zubereiten anders beeinflusst als das Servieren.

Durch die Trennung dieser Faktoren erstellt EnergyLens ein 12-Zutaten-Rezept (eine geschlossene Gleichung), das den Energieverbrauch mit hoher Genauigkeit vorhersagt.

Warum es besser ist als die alten Methoden

Die Arbeit vergleicht EnergyLens mit zwei anderen Methoden:

Die „Speed-Proxy"-Methode: Diese geht davon aus, dass „Schnell = Günstig" ist. Die Arbeit zeigt, dass dies falsch ist. In über 20 % der Fälle verschwendet die schnellste Konfiguration tatsächlich die meiste Energie. EnergyLens findet die wahre kraftstoffeffiziente Route, nicht nur die schnelle.
Die „Black-Box"-Methode: Dies sind komplexe KI-Modelle, die Hunderte von Testläufen benötigen, um zu lernen. Sie sind wie ein Schüler, der die Antworten auswendig lernt, aber die Mathematik nicht versteht.
- EnergyLens benötigt nur 50 Testläufe (etwa 10-mal weniger), um die Regeln zu lernen.
- EnergyLens ist interpretierbar: Sie können sich die Formel ansehen und sagen: „Ah, ich sehe, dass der Einsatz von 4 LKWs hier Energie spart, wegen dieses spezifischen Terms." Die Black-Box kann Ihnen das nicht sagen.

Die Ergebnisse

Die Forscher testeten EnergyLens an einer Vielzahl von „LKWs" (verschiedene KI-Modelle), „Straßen" (verschiedene Computerchips von NVIDIA, Intel und AMD) und „Paketen" (Texte, Bilder und Videos).

Genauigkeit: Wenn es darum ging, die einzelne beste, kraftstoffeffizienteste Konfiguration auszuwählen, lag EnergyLens in 88,2 % der Fälle richtig. Die bisher beste Methode lag nur in 60,9 % der Fälle richtig.
Generalisierung: Sobald das „Rezept" geschrieben ist, funktioniert es auf neuen LKW-Typen und Straßen, ohne dass es neu geschrieben werden muss. Sie müssen nur ein paar Zahlen (Koeffizienten) basierend auf einem winzigen neuen Testlauf anpassen.
Extrapolation: Selbst wenn Sie EnergyLens bitten, den Kraftstoffverbrauch für eine Lieferstrecke vorherzusagen, die 10-mal länger ist als alles, was es je gesehen hat, rät es immer noch korrekt. Die „Black-Box"-Methoden versagen in diesem Szenario jämmerlich.

Das Fazit

EnergyLens ist ein praktisches, transparentes Werkzeug, das Rechenzentren hilft, aufzuhören zu raten und anzufangen zu berechnen. Es beweist, dass man keinen massiven Supercomputer benötigt, um den Energieverbrauch vorherzusagen; man braucht nur die richtige mathematische Formel, die die Physik versteht, wie diese KI-Modelle tatsächlich funktionieren. Es verwandelt das Rätsel „Wie viel Energie wird das kosten?" in eine einfache, lösbare Gleichung.

Technische Zusammenfassung: EnergyLens

Problemstellung

Da Large Language Models (LLMs) sich weiterentwickeln, um dichte Architekturen, Mixture-of-Experts (MoE) und State-Space-Architekturen einzubeziehen, und da sie auf heterogenen Beschleunigern (NVIDIA, Intel, AMD) für diverse multimodale Workloads (Text, Bild, Video) eingesetzt werden, ist die Optimierung des Inferenzenergieverbrauchs ebenso kritisch geworden wie die Optimierung der Latenz und des Durchsatzes. Allerdings leiden bestehende Ansätze zur Energievorhersage unter drei Hauptbeschränkungen:

Latenz-Proxy: Viele analytische Modelle behandeln die Latenz als Proxy für den Energieverbrauch. Die Autoren zeigen, dass sich die Optima für Latenz und Energie in über 20 % der getesteten Konfigurationen unterscheiden, was zu Energieverlusten von bis zu 79,8 % führt, wenn latenzbasierte Strategien verwendet werden.
Black-Box-Surrogate: Datengesteuerte maschinelle Lernmodelle (z. B. Random Forests, Neuronale Netze) erreichen eine angemessene Genauigkeit, sind jedoch „datenhungrig" und benötigen hunderte von Profiling-Proben zur Generalisierung. Ihnen fehlt die Interpretierbarkeit; sie bieten keine physikalischen Einblicke, warum eine Konfiguration effizient ist, und versagen bei der zuverlässigen Extrapolation auf nicht gesehene Batch-Größen oder Hardware.
Mangelnde Generalisierbarkeit: Bestehende analytische Modelle scheitern oft daran, die unterschiedlichen physikalischen Effekte von Tensor-Parallelismus (TP) und Pipeline-Parallelismus (PP) zu entkoppeln, oder sie berücksichtigen nicht das nichtlineare Skalieren des Energieverbrauchs mit der Batch-Größe und der Sequenzlänge über verschiedene Modalitäten hinweg.

Methodik: Das EnergyLens-Framework

Die Autoren schlagen EnergyLens vor, ein Framework, das symbolische Regression verwendet, um kompakte, geschlossene mathematische Ausdrücke für den GPU-Energieverbrauch zu entdecken. Im Gegensatz zu Black-Box-Modellen leitet EnergyLens Formeln ab, bei denen die Terme direkt messbaren Systemeigenschaften entsprechen.

1. Einheitliches Energie-Modell

Der Kern von EnergyLens ist eine geschlossene Gleichung mit zwölf Parametern, die den Energieverbrauch ( $E$ ) in drei physikalisch fundierte Komponenten zerlegt:
$E = E_{prefill} + E_{decode} + E_{overhead}$

Phasenzerlegung: Das Modell trennt explizit die rechenintensive Prefill-Phase (Verarbeitung von Eingabetokens) von der speicherintensiven Decode-Phase (Generierung von Ausgabetokens).
Entkopplung des Parallelismus: Das Modell unterscheidet zwischen Tensor-Parallelismus ( $d_{TP}$ ) und Pipeline-Parallelismus ( $d_{PP}$ ). Es erkennt, dass TP die Berechnung pro GPU durch eine effiziente Nutzung der Tensor-Kerne reduziert, aber Synchronisierungsoverhead einführt, während PP Pipeline-Bubbles einführt und Geräte während inaktiver Phasen mit Strom versorgt.
Nichtlineare Skalierung: Die Formel erfasst die sublineare Amortisierung fixer Overheads (wie Kernel-Launches und KV-Cache-Initialisierung) bei steigender Batch-Größe sowie die spezifischen Skalierungsgesetze für verschiedene Modalitäten (z. B. logarithmische Kompression für Video-/Bild-Workloads).

Die allgemeine Form (Gleichung 4 in der Arbeit) lautet:
$E = \alpha_p \frac{\text{Gesamtzahl der Eingabetokens}}{(\text{Batch-Größe}^{\beta_p} + \epsilon_p)} d_{TP}^{\gamma_{1,p}} d_{PP}^{\gamma_{2,p}} + \alpha_d \frac{\text{maximale Tokens}}{(\text{Batch-Größe}^{\beta_d} + \epsilon_d)} d_{TP}^{\gamma_{1,d}} d_{PP}^{\gamma_{2,d}} + \delta_1 d_{TP} + \delta_2 d_{PP}$

2. Training und Anpassung

Datenerfassung: Ein Profiling-Framework durchläuft systematisch Parallelismusstrategien, Quantisierungsschemata, Batch-Größen und Sequenzlängen über NVIDIA-, Intel- und AMD-GPUs hinweg.
Symbolische Regression: Das Framework durchsucht den Raum mathematischer Ausdrücke, um die Struktur zu finden, die am besten zu den Profiling-Daten passt.
Parameterschätzung: Sobald die Formelstruktur feststeht, werden die zwölf skalaren Parameter ( $\phi$ ) unter Verwendung der L-BFGS-B-Optimierung an einem kleinen repräsentativen Datensatz angepasst.
Proben-Effizienz: Das Modell benötigt nur 50 Profiling-Messungen, um eine hohe Genauigkeit zu erreichen; dies entspricht einer 10-fachen Reduktion im Vergleich zu Ensemble-ML-Methoden, die ~500 Proben benötigen.

Hauptbeiträge

Einheitliches geschlossenes Modell: Entwicklung eines einzelnen Energie-Modells, das die Beiträge von TP und PP entkoppelt und Prefill-Energie von Decode-Energie trennt, wobei die Parameter eine explizite physikalische Bedeutung tragen.
Entdeckung durch symbolische Regression: Demonstration, dass symbolische Regression nichtlineare Formelstrukturen aufdecken kann, die sich über diverse Architekturen (Dense, MoE, SSM), Modalitäten (Text, Bild, Video) und Hardware-Hersteller hinweg generalisieren, ohne die Formelvorlage zu ändern.
Systematisches Profiling-Framework: Implementierung eines Frameworks, das den gemeinsamen Raum von Parallelismus, Quantisierung und Workload-Parametern erkundet, um die strukturierten Daten für analytische Modellierung zu generieren.
Direkte Energie-Modellierung: Durch die direkte Modellierung des Energieverbrauchs anstelle der Verwendung der Latenz als Proxy identifiziert das Framework energieeffizientere Parallelismuskonfigurationen, die latenzbasierte Optimierer systematisch übersehen.

Experimentelle Ergebnisse

Die Autoren bewerteten EnergyLens über 940 Szenarien hinweg, die dichte Transformer, MoE und State-Space-Modelle auf NVIDIA A100, AMD MI100 und Intel Max 1550 GPUs umfassten.

Genauigkeit der Konfigurationsauswahl: EnergyLens erreicht eine Top-1-Genauigkeit von 88,2 % bei der Konfigurationsauswahl (Identifizierung der einzelnen besten Energie-Konfiguration) und übertrifft damit deutlich den nächsten analytischen Baseline MAVERIQ, der 60,9 % erreichte.
Pairwise-Ranking: EnergyLens erreicht eine Pairwise-Ranking-Genauigkeit von 95,8 % (korrekte Vorhersage, welche von zwei Konfigurationen effizienter ist) im Vergleich zu 91,5 % für MAVERIQ.
Proben-Effizienz: EnergyLens erreicht die Vorhersagegenauigkeit von Ensemble-ML-Methoden (Random Forest, Gradient Boosting), benötigt jedoch 10-mal weniger Profiling-Proben (13,0 % MAPE bei $n=50$ gegenüber 49,0 % MAPE für Random Forest bei $n=50$ ).
Generalisierung:
- Cross-Hardware: Das Modell überträgt sich über GPU-Hersteller (NVIDIA, Intel, AMD) hinweg, wobei nur die skalaren Koeffizienten neu angepasst werden müssen.
- Cross-Modality: Es arbeitet robust bei Text-, Bild+Text- und Video+Text-Workloads.
- Extrapolation: EnergyLens extrapoliert zuverlässig auf nicht gesehene Batch-Größen (3- bis 10-mal größer als die Trainingsdaten) mit einer Pairwise-Genauigkeit von ≥93 % auf fünf von sieben Datensätzen, wohingegen lineare Batch-Baselines signifikant versagen.
Robustheit: Im Gegensatz zu latenzbasierten Proxys, die präzise Leistungsmessungen pro Konfiguration erfordern, modelliert EnergyLens die Energie nativ und behält auch dann eine hohe Genauigkeit bei, wenn Leistungsfernüberwachung nicht verfügbar ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass EnergyLens ein praktisches, interpretierbares Werkzeug für den energieoptimalen Einsatz von LLMs bietet. Seine Bedeutung liegt in:

Interpretierbarkeit: Im Gegensatz zu Black-Box-Surrogaten bietet EnergyLens „prüfbare" Vorhersagen, bei denen Betreiber Terme untersuchen können, um die physikalischen Treiber des Energieverbrauchs zu verstehen (z. B. die Überprüfung der relativen Kosten von TP- gegenüber PP-Skalierung).
Handlungsorientiertheit: Das Modell ermöglicht die Identifizierung von Pareto-optimalen Konfigurationen für den Einsatz ohne exhaustive Messungen.
Kosteneffektivität: Durch die Reduzierung des Profiling-Budgets von hunderten Proben auf ~50 macht es eine energiebewusste Konfigurationsanpassung für Produktionsumgebungen machbar.
Physikalische Fundierung: Die Entdeckung, dass sich Latenz- und Energie-Optima unterscheiden, und dass Pipeline-Parallelismus den Energieverbrauch senken kann, selbst wenn sie die Latenz nicht reduziert, stellt die vorherrschende Annahme in Frage, dass Latenz ein ausreichender Proxy für Energieeffizienz sei.

Die Autoren schließen, dass die aktuelle Vorlage additive Terme verwendet, zukünftige Arbeiten jedoch multiplikative Interaktionen für MoE- und Long-Context-Workloads sowie die Integration mit dynamischen Schedulern für Online-Rekonfiguration untersuchen könnten. Das Framework und die Datensätze sollen als Open-Source veröffentlicht werden.