Smells Like Prompt Spirit: Evaluating Energy Efficiency and Performance of Local LLM Inference on CPU vs GPU

Stellen Sie sich eine Welt vor, in der die Software, die unser modernes Leben steuert, nicht nur von Menschenhand geschrieben wird, sondern von künstlicher Intelligenz. Diese digitalen Assistenten, bekannt als große Sprachmodelle, sind so geschickt im Schreiben von Code geworden, dass sie mittlerweile Teil des täglichen Arbeitsablaufs von Millionen von Entwicklern sind. Sie können einen Programmiersatz vervollständigen, eine fehlerhafte Funktion debuggen oder ein kleines Programm aus einer einfachen Beschreibung erstellen. Dieser Komfort bringt jedoch einen verborgenen Preis mit sich. Jedes Mal, wenn diese Modelle denken, verbrauchen sie riesige Mengen an Elektrizität und tragen so zu einem wachsenden CO2-Fußabdruck bei, der genau die Umwelt bedroht, die wir eigentlich schützen wollen. Da die Nachfrage nach diesen Werkzeugen steigt, stellen Wissenschaftler eine kritische Frage: Wie können wir sie schneller und kostengünstiger machen, ohne den Planeten aufzuheizen?

Um dies zu beantworten, untersuchten Forscher kürzlich, wie sich diese künstlichen Geister verhalten, wenn sie von einer Art Computerhardware auf eine andere umziehen. Seit Jahren wissen Entwickler, dass das Ausführen dieser Modelle auf spezialisierten Grafikchips, die ursprünglich für Videospiele entwickelt wurden, viel schneller ist als das Ausführen auf Standard-Prozessoren. Aber Geschwindigkeit ist nur die halbe Wahrheit. Das Team wollte wissen, ob dieser Wechsel zu schnellerer Hardware auch Energie spart und, was noch wichtiger ist, ob er die Qualität des vom Modell produzierten Codes verändert. Sie waren auch neugierig auf einen subtilen Trick beim Prompting: dem Modell ein paar Beispiele für die Aufgabe zu geben, bevor man es bittet, die Arbeit zu erledigen. Hilft das Zeigen eines Arbeitsproben des Modells dabei, Energie zu sparen, oder macht es den Prozess nur länger?

Die Forscher nahmen fünf verschiedene Open-Source-Coding-Modelle und unterzogen sie einem strengen Test. Sie ließen dieselbe Gruppe von Programmieraufgaben auf zwei sehr unterschiedlichen Maschinen laufen: einem Standard-Computerprozessor und einem leistungsstarken Cluster aus Grafikkarten. Sie maßen exakt, wie viel Energie jeder Durchgang verbrauchte, wie lange er dauerte und ob der generierte Code tatsächlich funktionierte. Sie verglichen auch zwei Arten, die Modelle um Hilfe zu bitten. Bei der ersten Methode gaben sie dem Modell eine Aufgabe ohne Beispiele, einen „Zero-Shot“-Ansatz. In der zweiten Methode lieferten sie zuerst drei Beispiele für ähnliche Aufgaben, einen „Three-Shot“-Ansatz, um das Denken des Modells zu leiten.

Die Ergebnisse waren bemerkenswert und offenbarten einen klaren Zielkonflikt zwischen Geschwindigkeit und Stabilität. Als die Modelle auf die leistungsstarke Grafikhardware umgestellt wurden, war der Unterschied in der Geschwindigkeit fast unvorstellbar. Die Zeit, die für die Generierung des Codes benötigt wurde, sank um mehr als 99 Prozent, wodurch Prozesse, die Sekunden dauerten, in Bruchteile von Sekunden verwandelt wurden. Dieser massive Geschwindigkeitsgewinn führte auch zu einem signifikanten Rückgang des Energieverbrauchs, wobei einige Aufgaben fast 90 Prozent weniger Strom verbrauchten als auf dem Standardprozessor. Es war ein klarer Sieg für die Effizienz. Die Geschichte wurde jedoch komplizierter, als die Forscher sich die Qualität des Codes ansah.

Wenn die Modelle gebeten wurden, ohne Beispiele zu arbeiten, führte der Wechsel zur schnelleren Hardware dazu, dass sie sich unvorhersehbar verhielten. Da die Grafikchips Informationen anders verarbeiten als Standardprozessoren, produzierten die Modelle manchmal Code, der strukturell anders war oder schlichtweg nicht funktionierte, obwohl die Einstellungen identisch waren. Es war, als würde dieselbe Person, die gebeten wird, eine Geschichte in zwei verschiedenen Räumen zu schreiben, zwei völlig unterschiedliche Enden entwerfen. Diese Inkonsistenz war am stärksten ausgeprägt, wenn die Modelle darauf angewiesen waren, die Dinge selbst herauszufinden.

Die Lösung für diese Instabilität erwies sich als überraschend einfach. Als die Forscher dem Modell drei Beispiele gaben, bevor sie es baten, den Code zu schreiben, änderte sich das Verhalten dramatisch. Die Modelle wurden viel konsistenter und lieferten zuverlässige Ergebnisse, unabhängig davon, auf welchem Computer sie gerade liefen. Darüber hinaus sparte diese Methode des Zeigens von Beispielen auch Energie. Indem man dem Modell einen klaren Pfad vorgab, vermied es, unnötiges Gerede oder lange Erklärungen zu generieren, die oft den Output überladen, wenn keine Beispiele bereitgestellt werden. Dieser „Three-Shot“-Ansatz schnitt das Überflüssige aus dem Prozess heraus, reduzierte den Energieverbrauch in einigen Tests um über 60 Prozent und machte die Codegenerierung sowohl schneller als auch präziser.

Die Studie legt letztlich nahe, dass der bloße Kauf schnellerer Hardware nicht ausreicht, um die Probleme von Energie und Qualität in der künstlichen Intelligenz zu lösen. Während der Wechsel zu leistungsstarken Grafikkarten den Prozess unglaublich effizient macht, garantiert dies allein keine besseren Ergebnisse. Tatsächlich kann die Geschwindigkeit ohne die richtige Anleitung zu Lasten der Zuverlässigkeit gehen. Die effektivste Strategie, die gefunden wurde, war eine Kombination aus beiden: die leistungsstarke Hardware für die Geschwindigkeit zu nutzen, aber sie mit einem Prompting-Stil zu paaren, der dem Modell ein paar Beispiele zum Folgen gibt. Dieser Ansatz hielt nicht nur den Energieverbrauch niedrig, sondern stellte auch sicher, dass der produzierte Code stabil und korrekt war.

Am Ende verdeutlicht die Forschung, dass die Zukunft der grünen künstlichen Intelligenz davon abhängt, wie wir Fragen stellen, und nicht nur davon, welche Maschinen wir verwenden. Indem wir die Art und Weise, wie wir mit diesen Modellen interagieren, sorgfältig gestalten, können wir deren Geschwindigkeit nutzen, ohne die Qualität ihrer Arbeit oder die Gesundheit unseres Planeten zu opfern. Der Weg nach vorn besteht nicht nur darin, größere, schnellere Computer zu bauen, sondern darin, das richtige Gleichgewicht zwischen den Werkzeugen, die wir nutzen, und den Anweisungen, die wir ihnen geben, zu finden.