Energy Efficiency of Locally Deployed LLMs: A Preliminary Quantitative GPU Power Benchmark on Consumer Hardware

Stellen Sie sich vor, Sie hätten gerade einen superintelligenten Roboter-Freund gebaut, der direkt in Ihrem Computer lebt, bereit, Fragen zu beantworten, Geschichten zu schreiben oder Ihnen beim Programmieren zu helfen, ohne jemals Ihre Geheimnisse an einen riesigen Cloud-Server zu senden. Dies ist die Welt der „lokalen“ künstlichen Intelligenz, ein Trend, der gerade explodiert, weil Menschen Wert auf Privatsphäre und Geschwindigkeit legen. Aber es gibt einen Haken: Diese gehirnreichen Roboter sind hungrig. Während wir schon länger wissen, dass das Training dieser massiven KI-Gehirne auf riesigen Supercomputern sehr viel Elektrizität verbraucht (wie etwa die Stromversorgung einer Kleinstadt für einen Tag), wussten wir bisher nicht wirklich, wie viel Energie es kostet, mit ihnen auf einem normalen Heimcomputer einfach nur zu sprechen. Es ist so, als wüsste man, dass ein Auto auf der Autobahn einen schlechten Kraftstoffverbrauch hat, aber keine Ahnung zu haben, wie viel Treibstoff es verbrennt, während es nur im eigenen Einfahrtsbereich im Leerlauf steht, während man sich mit dem Fahrer unterhält. Da immer mehr Menschen beginnen, diese KI-Assistenten auf ihren eigenen Laptops und Gaming-PCs laufen zu lassen, wird das Verständnis über diese „aktive“ Stromrechnung zu einem echten Anliegen – sowohl für Ihren Geldbeutel als auch für den Planeten.

Genau hier ist ein Team von Forschern der FH Aachen University of Applied Sciences in Deutschland eingesprungen. Sie wollten herausfinden, welche der populären, kostenlos nutzbaren KI-Modelle am „energieeffizientesten“ sind, wenn sie auf einer Standard-Grafikkarte für Endverbraucher laufen – speziell einer NVIDIA RTX 4060 Ti, der Art von Karte, die man in einem High-End-Gaming-PC finden könnte. Anstatt nur zu fragen: „Welches Modell liefert die besten Antworten?“, fragten sie: „Welches Modell liefert die besten Antworten und nippt dabei gleichzeitig am wenigsten an der Elektrizität?“ Sie richteten ein kontrolliertes Experiment ein, bei dem sie neun verschiedene Open-Source-KI-Modelle (die von winzigen 1-Milliarden-Parameter-Modellen bis hin zu größeren 7-Milliarden-Parameter-Modellen reichten) eine feste Gruppe von 15 Fragen vorlegten, von einfachen Fakten wie „Was ist die Hauptstadt von Frankreich?“ bis hin zu komplexen Aufgaben wie dem Schreiben von Code oder dem Erklären tiefer Konzepte.

Die Forscher agierten wie Energiedetektive und nutzten ein Tool namens nvidia-smi, um den Stromverbrauch der Grafikkarte zweimal pro Sekunde zu überprüfen, während die Modelle arbeiteten. Entscheidend war, dass sie nicht nur die Gesamtleistung maßen, sondern sorgfältig die Basis-„Leerlaufleistung“ der Karte abzogen, um die exakten Energiekosten des Denkprozesses der KI zu isolieren. Ihr Hauptziel war es, zu berechnen, wie viel Gesamtenergie (in Joule) es kostete, jedes einzelne Wort (oder „Token“) der Antwort zu generieren. Ihre Ergebnisse legen nahe, dass größer nicht immer besser ist, wenn es um Energie geht. Tatsächlich erwiesen sich die winzigen Modelle, speziell gemma3:1b und llama3.2:1b, als die Champions der Effizienz. Diese kleinen Kraftpakete schafften es, ein einzelnes Wort Text mit so wenig wie 0,56 Joule Energie zu generieren und konnten über 170 Wörter pro Sekunde ausspucken.

Im Gegensatz dazu war das größere 7-Milliarden-Parameter-Modell (Mistral) viel weniger effizient und verbrauchte bis zu 4,4-mal mehr Energie pro Wort als das effizienteste winzige Modell. Die Studie deckte auch eine kuriose Überraschung auf: Eines der Modelle, qwen3.5:2b, verbrauchte eine überraschend hohe Menge an Energie pro Prompt. Die Forscher vermuten, dass dies nicht daran lag, dass das Modell langsam war, sondern weil es intern „nachdachte“ – also eine Technik namens „Extended Reasoning“ nutzte, um seine Antwort zu planen, bevor es sprach – was zusätzliche Energie verbraucht, selbst wenn die endgültige Ausgabe kurz ist. Dies verdeutlicht, dass die bloße Betrachtung der Gesamtenergie für eine ganze Frage irreführend sein kann; die wahre Effizienzmetrik ist, wie viel Energie es kostet, jedes einzelne Token zu erzeugen. Letztendlich legt das Paper nahe, dass für jeden, der KI auf der eigenen Hardware betreibt, die energieeffizienteste Wahl nicht unbedingt das leistungsstärkste oder größte Modell ist, sondern dasjenige mit der richtigen Architektur und Größe für die jeweilige Aufgabe – was beweist, dass manchmal das kleinste Gehirn das grünste ist.