Towards Green AI: Decoding the Energy of LLM Inference in Software Development
Diese Studie analysiert den Energieverbrauch der LLM-Inferenz in der Softwareentwicklung und zeigt auf, dass Prefill-Kosten die Decoding-Energie signifikant verstärken und dass die Implementierung von Babbling-Suppression den Energieverbrauch um bis zu 89 % senken kann, ohne die Genauigkeit zu beeinträchtigen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen sehr intelligenten, aber etwas übereifrigen Roboter-Koch ein, der für Sie ein Rezept schreiben soll. Sie möchten wissen, wie viel Strom dieser Roboter-Koch verbraucht, während er arbeitet. Dieses Papier ist wie ein detailliertes Energieaudit dieses Roboter-Kochs, das genau aufschlüsselt, wann und warum er am meisten Energie verbraucht.
Hier ist die Geschichte der Forschung, erzählt in einfachen Worten:
Die zwei Phasen des Kochens
Die Forscher entdeckten, dass der Roboter-Koch (ein Large Language Model oder LLM), wenn er arbeitet, nicht einfach in einem einzigen kontinuierlichen Fluss „kocht“. Er hat tatsächlich zwei verschiedene Phasen, wie ein zweistufiger Tanz:
- Die „Speisekarte lesen“-Phase (Prefill): Zuerst liest der Roboter Ihre gesamte Anfrage. Wenn Sie nach einem einfachen Kuchen fragen, liest er eine kurze Notiz. Wenn Sie nach einem komplexen Bankett fragen, lift er ein massives Buch. Während dieser Zeit erstellt der Roboter eine mentale Landkarte von allem, was Sie gefragt haben. Dies wird als Prefill bezeichnet.
- Die „Rezept schreiben“-Phase (Decoding): Sobald der Robot die Anfrage verstanden hat, beginnt er, das Rezept Wort für Wort (oder „Token“ für „Token“) zu schreiben. Dies wird als Decoding bezeichnet.
Die große Überraschung: Die meisten Menschen denken, dass das „Schreiben“ der schwere Teil ist. Die Forscher fanden heraus, dass in fast allen Fällen die Schreibphase (Decoding) tatsächlich am meisten Strom verbraucht. Wie viel Strom dies verbraucht, hängt jedoch stark davon ab, wie lang die „Speisekarte“ (der Input) ursprünglich war.
Der „Schwerer-Rucksack“-Effekt
Stellen Sie sich vor, der Roboter-Koch muss einen Rucksack tragen.
- Der Input: Wenn Sie dem Roboter einen langen, komplexen Prompt geben (wie eine 4.000 Wörter lange Geschichte), muss er während der „Lesen“-Phase einen riesigen, schweren Rucksack mit all diesen Informationen packen.
- Das Decoding: Jetzt muss der Roboter diesen schweren Rucksack tragen, während er das Rezept schreibt. Je schwerer der Rucksack ist (je länger der Input), desto mehr Energie kostet es, jedes einzelne Wort des Rezepts zu schreiben.
Die Studie fand heraus, dass, wenn man dem Roboter einen massiven Input gibt, die Energiekosten für das Schreiben des ersten Wortes der Antwort um fast 52 % steigen können im Vergleich zu einem kurzen Input. Es ist, als würde man versuchen, einen Marathon zu laufen, während man einen schweren Koffer trägt; der Koffer macht jeden Schritt teurer.
Das „Geschwätzige“-Problem (Babbling)
Hier ist der interessanteste Teil: Einige Roboter-Köche sind „Babbler“ (Schwätzer).
Stellen Sie sich vor, Sie bitten einen Koch: „Schreibe eine Funktion, um zwei Zahlen zu addieren.“ Ein höflicher Koch schreibt den Code und hört auf. Ein Babbler schreibt den Code, fügt dann eine lange Erklärung hinzu, dann einige Testfälle, dann einen Witz und schreibt dann weiter, bis er ein hartes Limit erreicht, obwohl die Arbeit schon vor Minuten erledigt war.
Die Forssequer fanden heraus, dass 3 von 10 der von ihnen getesteten Modelle Babbler sind. Sie erzeugten viel „Fluff“ (unnötigen Text), der gar nicht benötigt wurde. Da der Roboter Strom für jedes einzelne generierte Wort verbraucht, verschwendeten diese Babbler eine enorme Menge an Energie für Text, der später einfach weggeworfen würde.
Die Lösung: Das „Stoppschild“
Um das Geschwätz zu beheben, bauten die Forscher ein intelligentes „Stoppschild“-System (genannt Babbling Suppression).
Anstatt den Roboter einfach bis zum maximalen Limit schreiben zu lassen, richteten sie ein System ein, das die Arbeit nach jeder Zeile überprüft.
- Roboter: „Hier ist der Code.“
- System: „Funktioniert er? Ja.“
- System: „Stopp! Du bist fertig.“
Dieser einfache Trick verhinderte, dass die Babbler unnötigen Fluff schrieben. Die Ergebnisse waren schockierend:
- Sie reduzierten die Menge des generierten Textes um 44 % bis 93 %.
- Sie sparten 44 % bis 89 % der für diese Aufgabe verwendeten Energie.
- Entscheidend war, dass die Qualität des Codes nicht sank; der Roboter erledigte den Job immer noch richtig, er hörte nur auf zu reden, sobald die Aufgabe abgeschlossen war.
Das Fazit
Das Papier lehrt uns drei Hauptdinge, um KI grüner zu machen:
- Pack den Rucksack nicht zu voll: Lange Inputs machen die Schreibphase viel teurer, also geben Sie der KI nur so viel Kontext, wie sie wirklich braucht.
- Beobachte das Gewicht des Rucksacks: Die Größe des Inputs verändert, wie viel Energie die Schreibphase kostet.
- Stopp das Geschwätz: Wenn die KI schwätzt (unnötigen Fluff schreibt), stoppen Sie sie sofort. Sie können fast 90 % der Energie sparen, indem Sie einfach die unnötigen Wörter abschneiden.
Kurz gesagt: Um KI nachhaltiger zu machen, müssen wir vorsichtig damit sein, wie viel wir sie lesen lassen, und wir müssen ihr sagen, dass sie aufhören soll zu reden, sobald die Arbeit erledigt ist.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.