🤖 machine learning

WattGPU: Predicting Inference Power and Latency on Unseen GPUs and LLMs

WattGPU führt ein neuartiges Framework ein, das den Stromverbrauch und die Inferenzlatenz von Large Language Models auf ungesehenen GPUs und LLMs unter Verwendung ausschließlich öffentlicher Metadaten präzise vorhersagt und dabei herkömmliche physikalische Baselines signifikant ohne die Notwendigkeit von Hardware-Profiling übertrifft.

Ursprüngliche Autoren: Mauricio Fadel Argerich, Jonathan Fürst, Marta Patiño-Martínez

Veröffentlicht 2026-07-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mauricio Fadel Argerich, Jonathan Fürst, Marta Patiño-Martínez

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie möchten ein Auto für einen Roadtrip mieten, wissen aber nicht, welches Auto für Ihr spezielles Gepäck und Ihre Route am treibstoffeffizientesten ist. Normalerweise müssten Sie dafür jedes einzelne Auto auf dem Markt mit genau Ihrem Gepäck physisch fahren, den Kraftstoff messen und die Fahrt stoppen. Das würde ewig dauern und ein Vermögen kosten.

Dieses Paper stellt WattGPU vor, eine „Kristallkugel“ für Computerchips (GPUs) und KI-Modelle (LLMs). Anstatt jedes Auto zu fahren, sagt WattGPU exakt voraus, wie viel Energie ein bestimmtes KI-Modell verbrauchen wird und wie schnell es auf einem bestimmten Computerchip laufen wird – allein durch den Blick auf deren Datenblätter.

Hier ist die Aufschlüsselung der Funktionsweise, unter Verwendung einfacher Analogien:

Das Problem: Das „Ratespiel“

Große Unternehmen und kleine Betriebe nutzen immer häufiger KI-Chatbots. Diese Chatbots benötigen leistungsstarke Computerchips (GPUs), um zu laufen.

Das Problem: Nicht alle Chips sind gleich. Ein kleines KI-Modell auf einem massiven, leistungsstarken Chip laufen zu lassen, ist so, als würde man einen Fahrradreifen auf einen Lastwagen montieren – das verschwendet eine riesige Menge an Treibstoff (Elektrizität).
Der alte Weg: Um die beste Kombination zu finden, mussten Betreiber jede Kombination aus KI-Modell und Computerchip physisch testen. Das ist teuer, langsam und erfordert den Besitz der gesamten Hardware.
Die Lücke: Bestehende Tools konnten zwar schätzen, scheiterten aber jedoch, wenn sie auf einen neuen Chip oder ein neues KI-Modell stießen, das sie zuvor noch nicht gesehen hatten.

Die Lösung: WattGPU (Das „Datenblatt-Orakel“)

Die Autoren haben zwei intelligente Vorhersagemodelle entwickelt (wie einen sehr fortschrittlichen Taschenrechner), die nur öffentliche Informationen benötigen:

Der „Lebenslauf“ der KI: Wie groß ist sie? Wie viele Schichten (Layers) hat sie? (Metadaten von Hugging Face).
Das „Datenblatt“ des Chips: Wie schnell ist er? Wie viel Speicher hat er? Was ist seine maximale Leistungsgrenze? (Herstellerangaben).

Der magische Trick:
Das System lernt die „Persönlichkeit“ verschiedener Chips und KI-Modelle. Einmal trainiert, kann es auf einen brandneuen Chip, den es noch nie gesehen hat, und ein brandneues KI-Modell, das es noch nie getroffen hat, blicken und exakt vorhersagen:

Leistungsaufnahme: Wie viele Watt Strom wird es ziehen?
Latenz (ITL): Wie lange wird es dauern, ein Wort (Token) Text zu generieren?

Die Analogie: Die Restaurantküche

Betrachten Sie das KI-Modell als ein Rezept und die GPU als eine Küche.

Einige Rezepte sind einfach (Toast machen); andere sind komplex (ein 10-Gänge-Bankett).
Einige Küchen haben winzige Herde; andere haben industrielle Öfen.

Alter Weg: Sie müssen das Rezept in jeder Küche kochen, um zu sehen, wie viel Gas es verbraucht und wie lange es dauert.
WattGPU-Methode: Sie schauen sich die Zutatenliste des Rezepts und die Herdgröße der Küche an. Das System sagt voraus: „Wenn Sie dieses spezifische Rezept in dieser spezifischen Küche kochen, werden Sie 13 % weniger Gas verbrauchen als gedacht, und es wird 5 Sekunden pro Gericht dauern.“

Was haben sie bewiesen?

Die Forscher testeten WattGPU an einem massiven Datensatz von 42 verschiedenen KI-Modellen und 8 verschiedenen Server-Grade-Computerchips. Sie verwendeten eine strenge Testmethode namens „Leave-One-Out“, was so ist, als würde man eine Prüfung ablegen, bei der es einem verboten ist, das spezifische Thema zu lernen, das man gleich beantworten muss.

Die Ergebnisse:
- Leistungsvorhersage: Es war unglaublich genau. Für Offline-Aufgaben (Batch-Verarbeitung) lag die Abweichung bei weniger als 3,4 %. Für Server-Aufgaben (Echtzeit-Chat) lag sie bei weniger als 13,5 %.
- Geschwindigkeitsvorhersage: Für Echtzeit-Chat lag die Abweichung bei weniger als 8,5 %.
- Ranking: Es war exzellent darin, zu sagen, welcher Chip besser als ein anderer ist, selbst wenn die exakten Zahlen nicht perfekt waren.

Warum das wichtig ist (Der „Aha-Moment“)

Das Paper hebt eine überraschende Erkenntnis anhand eines spezifischen Beispiels hervor: Llama 3.1 8B.

Wenn man nur auf die „Kraftstoffeffizienz“ (TDP) eines Chips schaut, könnte man denken, dass ein kleiner, leistungsschwächerer Chip (L4) die beste Wahl ist.
WattGPU sagte jedoch voraus, dass dieser kleine Chip zu langsam wäre, um die Geschwindigkeitsanforderungen zu erfüllen.
Der „offensichtliche“ Hochleistungschip (H100) war zwar schnell, verschwendete aber 43 % mehr Energie als ein mittelgroßer Chip (A30), der genauso schnell war.
Die Lehre: WattGPU fand den „Goldlöckchen“-Chip – denjenigen, der schnell genug ist, aber keine Energie verschwendet. Ohne dieses Tool hätten die Leute vielleicht den falschen Chip gewählt und massenhaft Elektrizität sowie Geld verschwendet.

Was es nicht kann (Die Grenzen)

Das Paper ist ehrlich darüber, was WattGPU noch nicht leisten kann:

Es funktioniert am besten bei Standard-, „dichten“ (dense) KI-Modellen. Es kann noch nicht gut mit komplexen „Mixture of Experts“-Modellen umgehen (die wie ein Team von Spezialisten zusammenarbeiten) oder mit Modellen, die stark komprimiert (quantisiert) wurden.
Es hat etwas mehr Schwierigkeiten mit der Geschwindigkeit bei der „Offline“-Batch-Verarbeitung im Vergleich zur Echtzeit-Chat-Geschwindigkeit, da sich die Software beim Verarbeiten riesiger Mengen gleichzeitig anders verhält.

Das Fazit

WattGPU ist ein Werkzeug, mit dem man den physischen Test überspringen kann. Durch die Nutzung ausschließlich öffentlicher Spezifikationen hilft es Betreibern, den richtigen Computerchip für ihre KI zu wählen, wodurch Geld und Elektrizität gespart werden, ohne dass man ein Labor voller Hardware aufbauen muss, um jede Möglichkeit zu testen. Es verwandelt das „Ratespiel“ der KI-Bereitstellung in eine kalkulierte Vorhersage.

Technisches Resümee: WattGPU

Problemstellung
Die rasante Verbreitung von LLM-Inferenz-Workloads (Large Language Model), insbesondere bei Implementierungen in kleinen und mittleren Unternehmen, hat zu einem signifikanten und wachsenden Energieverbrauch geführt. Die Optimierung dieser Implementierungen erfordert die Abstimmung spezifischer LLMs auf die energieeffizientesten GPUs. Aktuelle Betreiber verfügen jedoch über keine Werkzeuge, um dieses Matching durchzuführen, ohne jede potenzielle LLM-GPU-Kombination auf physischer Hardware erschöpfend zu profilieren. Dieser Profilierungsprozess ist prohibitiv teuer, da er physischen Zugang zu diverser Hardware, spezialisierter Expertise und erheblichen Ressourcen erfordert. Bestehende prädiktive Modelle basieren entweder auf Profilierungsdaten oder versagen bei der Generalisierung auf Hardware, die während des Trainings nicht enthalten war, was eine Lücke in der Fähigkeit hinterlässt, Leistungsaufnahme und Latenz unter Verwendung ausschließlich öffentlicher Metadaten zu schätzen.

Methodik
Um dies zu adressieren, führen die Autoren WattGPU ein, ein Framework mit zwei prädiktiven Modellen für die mittlere GPU-Leistungsaufnahme ( $\bar{P}$ ) und die Inter-Token-Latenz (ITL). Die zentrale Innovation besteht darin, dass diese Modelle nach dem Training keinen Hardwarezugriff oder kein Profiling mehr benötigen; sie verlassen sich ausschließlich auf öffentlich verfügbare LLM-Metadaten (z. B. Parameteranzahl, Layer, Attention Heads von Hugging Face) und Herstellerangaben der GPUs (z. B. TDP, Speicherbandbreite, Taktfrequenzen).

Feature Engineering: Die Autoren leiteten Merkmale ab, um die Hardware-Dynamik zu erfassen, einschließlich eines Boosting-Verhältnisses (Frequenzskalierung), einer Bandbreiten-Latenz (Zeit zum Lesen der Gewichte) und einer Rechen-Latenz (theoretische Untergrenze für die Token-Berechnung).
Modellarchitektur: Die Autoren evaluierten verschiedene Algorithmen und wählten XGBoost (Gradient-Boosted Regression Trees) als das optimale Modell aus.
- Für die Leistungsvorhersage wird die Zielvariable durch die Thermal Design Power (TDP) der GPU normalisiert, um ein skaleninvariantes Verhalten zu erlernen, was die Generalisierung auf ungesehene GPUs erleichtert.
- Hyperparameter wurden mittels Grid Search optimiert, mit spezifischen Konfigurationen für die Leistung (max_depth=6, n_estimators=100) und die Latenz (max_depth=5, n_estimators=200).
Evaluationsstrategie: Die Modelle wurden auf einem Datensatz bestehend aus 42 Open-Source-LLMs (0,1B–27B Parameter) und 8 Server-Grade NVIDIA GPUs (reichend von V100 bis H200) evaluiert. Die Evaluierung nutzte rigorose Kreuzvalidierungsstrategien:
1. 5-fache Kreuzvalidierung (CV): Generalisierung auf ungesehene (GPU, LLM)-Kombinationen bekannter Hardware/Modelle.
2. Leave-One-GPU-Out (LOGO): Generalisierung auf völlig ungesehene GPUs.
3. Leave-One-LLM-Out (LOLO): Generalisierung auf völlig ungesehene LLMs.
  Die Szenarien umfassten Offline (maximale Durchsatzrate) und Server (Poisson-verteilte Anfragen mit Latenzbeschränkungen).

Wichtigste Ergebnisse
Die WattGPU-Modelle zeigen signifikante Verbesserungen gegenüber analytischen Baselines (Load-Scaled TDP für die Leistung und Roofline für die Latenz), insbesondere in Generalisierungsszenarien.

Mittlere Leistungsaufnahme ( $\bar{P}$ ):
- Ungesehene GPUs (LOGO): Erzielte einen Median Absolute Percentage Error (MdAPE) von $\le$ 3,4 % für Offline-Szenarien und $\le$ 13,5 % für Server-Szenarien.
- Ranking: Beibehaltung einer starken Korrelation der GPU-Rankings für Server-Szenarien (Kendall $\tau \ge 0,76$ ).
- Baseline-Vergleich: Reduzierte den MdAPE um etwa den Faktor 2× für völlig ungesehene GPUs und um den Faktor 4× für ungesehene LLM-GPU-Kombinationen in Server-Szenarien im Vergleich zu den stärksten Baselines.
Inter-Token-Latenz (ITL):
- Server-Szenarien: Erzielte einen MdAPE von $\le$ 8,5 % auf ungesehenen GPUs (LOGO).
- Offline-Szenarien: Die Performance war anspruchsvoller, mit einem MdAPE von 24,9 % auf ungesehenen GPUs, obwohl das Modell die Roofline-Baseline in Bezug auf den absoluten Fehler dennoch übertraf (24,9 % vs. 80,2 % bei LOGO).
- Ranking: Die Modelle erreichten eine hohe Ranking-Qualität, mit einem Kendall $\tau \ge 0,76$ für Server-Szenarien.

Bedeutung und Ansprüche
Das Paper beansprucht, die ersten prädiktiven Modelle für die LLM-Inferenz-Leistung und -Latenz zu präsentieren, die spezifisch auf ungesehenen GPUs evaluiert wurden. Die primäre Bedeutung liegt in der Ermöglichung energiebewusster Deployment-Entschecheidungen ohne die Notwendigkeit physischen Benchmarkings.

Praktische Auswirkungen: Die Autoren illustrieren, dass Standard-Heuristiken (wie TDP oder TFLOPS/Watt) irreführend sein können. Beispielsweise mag die Wahl einer H100 gegenüber einer A30 für ein Llama 3.1 8B Deployment mit geringer Last basierend auf TFLOPS/Watt effizient erscheinen, doch WattGPU sagt voraus, dass diese 43 % mehr Strom verbrauchen wird, während sie dasselbe Latenz-SLA erfüllt.
Nachhaltigkeit: Indem das Tool Betreibern ermöglicht, die effizienteste GPU für ein spezifisches LLM und ein bestimmtes Workload-Szenario auszuwählen, trägt es direkt zur Reduzierung der Betriebskosten und der Kohlenstoffemissionen bei und steht im Einklang mit Nachhaltigkeitszielen und aufkommenden Regulierungen wie dem EU AI Act.
Limitierungen und zukünftige Arbeit: Die Autoren räumen ein, dass die ITL-Vorhersage in Offline-Szenarien schwierig bleibt (MdAPE 24,9 %), da statische Merkmale dynamische Batching-Verhaltensweisen (z. B. vLLM's continuous batching) nicht vollständig erfassen können. Zukünftige Arbeiten zielen darauf ab, workload-sensitive Merkmale zu integrieren und den Ansatz auf Mixture-of-Experts (MoE) und quantisierte Modelle auszuweiten. Die aktuelle Evaluierung ist auf dichte Modelle (dense models) in Single-GPU-Konfigurationen beschränkt.