From Tokens to Watt-hours: Analytical Energy Estimation for LLM Inference on Modern GPUs
Dieses Paper führt eine empirisch kalibrierte, analytische Methodik zur Schätzung des Energieverbrauchs der LLM-Inferenz auf NVIDIA H100-GPUs ein, indem es Arbeitslasten in Rechen- und Speicherverkehrskomponenten zerlegt und so transparente, reproduzierbare Energiebewertungen ermöglicht, ohne dass direkte Hardwaremessungen erforderlich sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als eine riesige, geschäftige Bibliothek vor, in der Millionen von Menschen ständig einen magischen Bibliothekar (eine Künstliche Intelligenz) bitten, Geschichten zu schreiben, mathematische Probleme zu lösen oder Nachrichten zusammenzufassen. Lange Zeit haben wir uns nur darüber Sorgen gemacht, wie viel „Gehirnschmalz“ dieser Bibliothekar benötigt, um seine Tricks zu lernen (das Training). Doch jetzt arbeitet der Bibliothekar ununterbrochen und beantwortet jeden Tag Millionen von Fragen. Diese ständige Arbeit verbraucht eine gewaltige Menge an Elektrizität, was schlecht für den Planeten ist. Die große Frage für Wissenschaftler und Ingenieure lautet: „Wie viel Energie kostet es tatsächlich, nur eine einzige Frage zu beantworten?“ Das Problem dabei ist, dass das direkte Messen des Energieverbrauchs so schwierig ist, als würde man versuchen, ein einzelnes Sandkorn zu wiegen, während es von einem Orkan verweht wird; man benötigt spezielle, teure Sensoren und perfekte Bedingungen, die die meisten Menschen nicht haben. Ohne eine Möglichkeit, die Energiekosten zu schätzen, ist es schwer zu wissen, ob eine KI „grüner“ ist als eine andere oder ob eine bestimmte Art der Fragestellung Energie verschwendet.
Dieses Papier mit dem Titel „From Tokens to Watt-hours“ bietet einen cleveren Weg, um dieses Rätsel zu lösen, ohne ein Strommessgerät anschließen zu müssen. Die Autoren, ein Team von Forschern aus Universitäten und Technologieunternehmen, haben einen mathematischen „Rechner“ entwickelt, der schätzt, wie viel Energie eine KI verbraucht, indem er lediglich die Größe der KI und die Länge des Gesprächs betrachtet. Denken Sie an es wie einen Nährwertaufkleber für KI: Anstatt Kalorien zu zählen, zählt es „Wattstunden“ (eine Einheit der Energie). Sie haben ihren Rechner auf leistungsstarken Computerchips namens NVIDIA H100s getestet, welche die Motoren sind, die viele der heutigen klügsten KIs antreiben.
So funktioniert ihr Rechner unter Verwendung einer einfachen Analogie. Stellen Sie sich vor, die KI ist ein Koch in einer Küche. Um eine Mahlzeit zuzuberestellen (eine Antwort zu generieren), macht der Koch zwei Dinge: Er liest das Rezept und sammelt die Zutaten ein (dies ist der „Compute“-Teil), und er läuft hin und her zum Vorratsschrank, um Gewürze und Werkzeuge zu holen (dies ist der „Memory“-Teil). Die Forscher fanden heraus, dass bei kurzen Bestellungen der Koch hauptsächlich kocht, sodass die Energiekosten hauptsächlich vom Kochen abhängen. Aber bei langen, komplexen Bestellungen muss der Koch so oft zum Vorratsschrank laufen, dass die Energie, die für das Hin- und Herlaufen aufgewendet wird, beginnt, die Rechnung zu dominieren.
Das Papier unterteilt die Energiekosten in zwei Phasen:
- Die „Prefill“-Phase: Dies ist der Moment, in dem der Koch die Bestellung des Kunden liest (den Input-Prompt). Die Energiekosten hängen hier davon ab, wie lang die Bestellung ist.
- Die „Decode“-Phase: Dies ist der Moment, in dem der Koch die Antwort schreibt, Wort für Wort. Die Energiekosten hängen hier davon ab, wie lang die Antwort ist.
Die Forscher entdeckten, dass die Energiekosten nicht nur davon abhängen, wie groß die KI ist (wie viele „Zutaten“ oder Parameter sie hat). Es hängt auch stark davon ab, wie lang das Gespräch wird. Sie fanden heraus, dass die Energiekosten mit zunehmender Länge der Antwort nicht einfach in einer geraden Linie ansteigen, sondern sich steil nach oben krümmen. Warum? Weil jede neue Silbe oder jedes neue Wort, das die KI schreibt, erfordert, dass sie auf alle vorherigen Wörter zurückblickt, um den Sinn der Geschichte zu erfassen. Es ist, als müsste der Koch das gesamte Rezept jedes Mal neu lesen, wenn er eine neue Prise Salz hinzufügt. Je länger das Rezept ist, desto mehr Hin- und Herlaufen ist nötig, und desto mehr Energie wird verschwendet.
Mit ihrer Formel berechnete das Team, dass eine kleine KI (mit etwa 0,3 Milliarden Parametern) sehr wenig Energie verbraucht, etwa 0,001 Wattstunden pro Anfrage. Aber eine riesige KI (mit 120 Milliarden Parametern) verbraucht viel mehr – etwa 0,15 Wattstunden für dieselbe Aufgabe. Sie zeigten auch, dass ihre Schätzung für ein Modell mit 70 Milliarden Parametern sehr nah (innerhalb von 5 %) an realen Messungen anderer Wissenschaftler lag, was beweist, dass ihr „Rechner“ zuverlässig genug ist, um verwendet zu werden, wenn man die Leistung nicht direkt messen kann.
Das Papier stellt ausdrücklich fest, dass dieses Werkzeug kein perfekter Ersatz für die Messung von Elektrizität mit einem Strommesser ist. Es zählt nicht die Energie, die für die Klimaanlage, die Internetkabel oder die anderen Computer im Rechenzentrum verwendet wird. Es zählt nur die Energie, die der spezifische Chip verwendet, der das Denken übernimmt. Die Autoren argumentieren jedoch, dass diese Chip-Energie der größte Teil der Rechnung ist, den Ingenieure kontrollieren können.
Was bedeutet das also für die Zukunft? Das Papier legt nahe, dass wir, wenn wir Energie sparen wollen, nicht nur versuchen sollten, größere KIs zu bauen. Stattdessen sollten wir versuchen, die „Rezepte“ kürzer zu machen (den Input zu komprimieren), kürzere Antworten zu verlangen oder kleinere, spezialisierte Köche für einfache Aufgaben einzusetzen. Die Autoren hoffen, dass dieser Rechner Entwicklern helfen wird, verschiedene KI-Modelle zu vergleichen und diejenigen auszuwählen, die energieeffizienter sind, um so zu einer „grüneren“ digitalen Welt beizutragen, ohne ein Strommessgerät an jeden einzelnen Computer installieren zu müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.