The Energy Blind Spot: NVIDIA's Flagship Edge AI Hardware Cannot Support Process-Level Energy Attribution

In der Welt des modernen Computings entsteht eine neue Art von Intelligenz. Anstatt einfach nur eine einzelne Frage zu beantworten, agieren diese Systeme als autonome Agenten. Sie nehmen ein breites Ziel, unterteilen es in eine Reihe von Schritten, rufen andere Werkzeuge zu Hilfe und versuchen es erneut, falls sie scheitern. Dieser Prozess, bekannt als Orchestrierung, verlagert sich von massiven Rechenzentren hin zu kleinen, leistungsstarken Computern, die auf Schreibtischen und in Fahrzeugen stehen. Diese Edge-Geräte sind darauf ausgelegt, komplexe künstliche Intelligenz lokal auszuführen, um Zeit und Bandbreite zu sparen. Doch während diese Systeme immer häufiger werden, stellt sich eine kritische Frage: Wie viel Energie verbrauchen sie tatsächlich? Für Forscher und Regulierungsbehörden ist es unerlässlich, die genauen Energiekosten einer spezifischen Aufgabe zu kennen. Es ist der einzige Weg, um Effizienz zu messen, die Einhaltung neuer Umweltgesetze sicherzustellen und zu verstehen, ob diese lokalen Systeme im Vergleich zur Cloud wirklich Energie sparen.

Ein Forscherteam wandte seine Aufmerksamkeit kürzlich der fortschrittlichsten Hardware zu, die für diese Aufgabe verfügbar ist: einer neuen Generation von Desktop-Computern, die von großen Technologieunternehmen unter Verwendung eines speziellen Chips von NVIDIA gebaut wurden. Sie wollten sehen, ob diese Maschinen ihnen genau sagen können, wie viel Energie jeder Teil des Systems verbrauchte, während ein Agent arbeitete. Was sie fanden, war ein erheblicher blinder Fleck. Obwohl die Computer unglaublich schnell und leistungsfähig sind, sind sie vollkommen stumm, wenn es darum geht, ihren eigenen Energieverbrauch für den zentralen Prozessor zu melden. Die Forscher entdeckten, dass die Hardware die Fähigkeit besitzt, diesen Energieverbrauch intern zu messen, aber die Software, die die Maschine steuert, verbirgt diese Information dem Nutzer bewusst vor.

Die Untersuchung konzentrierte sich auf ein Desktop-System namens ASUS Ascent GX10, das einen leistungsstarken Chip namens GB10 verwendet. Dieser Chip kombiniert einen zentralen Prozessor, der die komplexe Planung und das Aufrufen von Werkzeugen der KI-Agenten übernimmt, mit einem Grafikprozessor, der die schwere Arbeit für visuelle Aufgaben erledigt. Die Forscher führten ein gründliches Audit jeder möglichen Methode durch, um den Computer nach Energiedaten zu fragen. Sie überprüften die Standard-Schnittstellen, die Ingenieure zur Überwachung der Leistung nutzen, und suchten nach Zählern, die den Energieverbrauch über die Zeit verfolgen, ähnlich wie der Kilometerzähler eines Autos. Sie fanden heraus, dass der Grafikprozessor zwar seinen Energieverbrauch meldete, der zentrale Prozessor jedoch keinerlei Daten lieferte. Es gab keine Zähler für die CPU, keine Stromüberwachungen an den Leitungen, die den Chip speisen, und keine Standard-Systemverwaltungswerkzeuge, die die Zahlen hätten offenbaren können.

Die Situation ist besonders bemerkenswert, da die Daten tatsächlich innerhalb der Maschine existieren. Die interne Firmware des Chips, die den Stromfluss steuert, um das System kühl und effizient zu halten, berechnet bereits den Energieverbrauch verschiedener Teile des Prozessors. Sie führt eine laufende Bilanz darüber, wie viel Energie die Hauptprozessorkerne verbrauchen, wie viel die kleineren Effizienzkerne verbrauchen und wie viel der Grafikchip konsumiert. Die Hersteller haben sich jedoch dazu entschieden, diese Informationen nicht zu teilen. Als die Forscher das Unternehmen hinter dem Chip fragten, ob es Pläne gäbe, diese Daten freizugeben, lautete die Antwort, dass es keine Pläne dafür gebe. Das bedeutet, dass der Computer zwar genau weiß, wie viel Energie er verbrennt, um eine Aufgabe zu bewältigen, der Nutzer dies jedoch nicht sehen kann.

Diese Lücke ist deshalb so wichtig, weil die Arbeitsweise dieser KI-Agenten stark vom zentralen Prozessor abhängt. Die Planung, die Wiederholungsversuche und die Koordination der Werkzeuge finden auf der CPU statt, nicht nur auf dem Grafikchip. Vorangegangene Studien haben gezeigt, dass diese Orchestrierungsarbeit fast die Hälfte der gesamten Energie eines KI-Systems ausmachen kann. Ohne eine Möglichkeit, den Energieverbrauch der CPU zu messen, ist es unmöglich, die wahren Kosten des Betriebs eines Agenten zu kennen. Forscher können keine unterschiedlichen Softwaredesigns vergleichen, um zu sehen, welches effizienter ist, und Unternehmen können nicht verifizieren, ob sie Umweltvorschriften einhalten. Der einzige Weg, heute eine Zahl zu erhalten, besteht darin, den gesamten Computer an ein externes Strommessgerät anzuschließen, aber das zeigt nur das Gesamtergebnis für die gesamte Maschine an und vermischt die Arbeit der CPU mit dem Speicher, den Lüftern und dem Grafikchip. Es ist, als versuche man herauszufinden, wie viel Treibstoff ein einzelner Motor in einem Auto verbraucht, indem man nur auf die Gesamttankanzeige des gesamten Fahrzeugs schaut.

Die Forscher bestätigten, dass dies keine Einschränkung des physischen Chips selbst ist, sondern eine Entscheidung in der Software, die ihn steuert. Sie fanden Belege dafür, dass die interne Firmware in der Lage ist, diese Zahlen über einen Standard-Kommunikationskanal, den Ingenieure verwenden, offenzulegen, aber dieser Kanal ist derzeit abgeschaltet. Sie testeten auch einen ähnlichen Computer eines anderen Herstellers, den Acer Veriton, und stellten fest, dass auf diesem speziellen Board die verborgenen Daten mit einem von der Community entwickelten Tool abgerufen werden konnten, was beweist, dass die Informationen vorhanden sind und die Hardware in der Lage ist, sie zu teilen. Der Unterschied zwischen den beiden Maschinen deutet darauf hin, dass die fehlenden Daten das Ergebnis einer Produktentscheidung und nicht einer technischen Unmöglichkeit sind.

Das Paper schließt mit der Skizzierung eines klaren Weges nach vorn. Die Technologie, um dies zu beheben, ist bereits vorhanden. Das interne System des Computers ist bereit, die Daten zu teilen, und die Softwarewerkzeuge, die zum Auslesen benötigt werden, werden von der Open-Source-Community entwickelt. Alles, was erforderlich ist, ist, dass die Hersteller die Firmware des Computers aktualisieren, um den Schalter umzulegen, der den Zugriff auf diese Informationen ermöglicht. Bis dies geschieht, bleiben die fortschrittlichsten Edge-KI-Computer auf dem Markt energetische Black Boxes. Für ein Feld, das rasant wächst und unter wachsendem Druck steht, nachhaltig zu sein, ist die Unfähigkeit, den Energieverbrauch der geleisteten Arbeit zu messen, ein grundlegendes Hindernis. Die Forscher argumentieren, dass für die tatsächliche Nutzbarkeit dieser Systeme zu wissenschaftlichen und regulatorischen Zwecken die Möglichkeit, den Energieverbrauch einzusehen, als eine Grundanforderung behandelt werden muss, genau wie die Fähigkeit, die Temperatur oder die Geschwindigkeit des Prozessors anzuzeigen.