The Energy Blind Spot: NVIDIA's Flagship Edge AI Hardware Cannot Support Process-Level Energy Attribution

In de wereld van de moderne computertechnologie komt een nieuw soort intelligentie op de dageraad. In plaats van simpelweg een enkele vraag te beantwoorden, fungeren deze systemen als autonome agenten. Ze nemen een breed doel, breken dit op in een reeks stappen, roepen andere hulpmiddelen aan om te helpen, en proberen het opnieuw als ze falen. Dit proces, bekend als orchestratie, verplaatst zich van massale datacentra naar kleine, krachtige computers die op bureaus en in voertuigen staan. Deze edge-apparaten zijn ontworpen om complexe kunstmatige intelligentie lokaal uit te voeren, wat tijd en bandbreedte bespaart. Naarmate deze systemen echter gebruikelijker worden, rijst een cruciale vraag: hoeveel energie verbruiken ze eigenlijk? Voor onderzoekers en regelgevers is het weten van de exacte energiekosten van een specifieke taak essentieel. Het is de enige manier om efficiëntie te meten, te voldoen aan nieuwe milieuwetgeving en te begrijpen of deze lokale systemen echt stroom besparen in vergelijking met de cloud.

Een team van onderzoekers richtte onlangs hun aandacht op de meest geavanceerde hardware die beschikbaar is voor deze taak: een nieuwe generatie desktopcomputers gebouwd door grote technologiebedrijven met behulp van een specifieke chip van NVIDIA. Ze wilden zien of deze machines hen precies konden vertellen hoeveel energie elk onderdeel van het systeem verbruikte terwijl een agent aan het werk was. Wat ze vonden, was een aanzienlijke blinde vlek. Hoewel de computers ongelooflijk snel en capabel zijn, zijn ze volkomen stil als het gaat om het rapporteren van hun eigen energieverbruik voor de centrale processor. De onderzoekers ontdekten dat de hardware de mogelijkheid heeft om dit energieverbruik intern te meten, maar dat de software die de machine aanstuurt deze informatie bewust voor de gebruiker verbergt.

Het onderzoek richtte zich op een desktopsysteem genaamd de ASUS Ascent GX10, die een krachtige chip gebruikt die bekend staat als de GB10. Deze chip combineert een centrale processor, die de complexe planning en het aanroepen van hulpmiddelen van de AI-agenten afhandelt, met een grafische processor die het zware werk doet voor visuele taken. De onderzoekers voerden een grondige audit uit van elke mogelijke manier om de computer om energiedata te vragen. Ze controleerden de standaard interfaces die ingenieurs gebruiken om het vermogen te monitoren, op zoek naar tellers die het energieverbruik over een bepaalde tijd bijhouden, vergelijkbaar met de kilometerteller van een auto. Ze ontdekten dat terwijl de grafische processor zijn energieverbruik rapporteerde, de centrale processor helemaal geen dergelijke gegevens bood. Er waren geen tellers voor de CPU, geen vermogensmeters op de elektrische lijnen die de chip voeden, en geen standaard systeembeheertools die de cijfers konden onthullen.

De situatie is bijzonder opvallend omdat de data daadwerkelijk in de machine aanwezig is. De interne firmware van de chip, die de stroomtoevoer beheert om het systeem koel en efficiënt te houden, berekent al de energie die door verschillende onderdelen van de processor wordt verbruikt. Het houdt een lopende telling bij van hoeveel energie de hoofdprocessorkernen gebruiken, hoeveel de kleinere efficiëntiecores gebruiken en hoeveel de grafische chip verbruikt. De fabrikanten hebben er echter voor gekozen om deze informatie niet te delen. Toen de onderzoekers het bedrijf achter de chip vroegen of zij van plan waren deze gegevens vrij te geven, was het antwoord dat er geen plannen voor waren. Dit betekent dat hoewel de computer precies weet hoeveel energie het verbruikt om een taak te voltooien, de persoon die het gebruikt dit niet kan zien.

Deze kloof is belangrijk omdat de werking van deze AI-agenten zwaar leunt op de centrale processor. De planning, de pogingen tot herstel en de coördinatie van hulpmiddelen vinden plaats op de CPU, en niet alleen op de grafische chip. Eerdere studies hebben aangetoond dat dit orchestratiewerk bijna de helft van het totale energieverbruik van een AI-systeem kan beslaan. Zonder een manier om het energieverbruik van de CPU te meten, is het onmogelijk om de werkelijke kosten van het draaien van een agent te kennen. Onderzoekers kunnen verschillende softwareontwerpen niet met elkaar vergelijken om te zien welke efficiënter is, en bedrijven kunnen niet verifiëren of ze aan milieuvoorschriften voldoen. De enige manier om vandaag de dag een getal te krijgen, is door de hele computer op een externe vermeterm aan te sluiten, maar dat laat alleen het totaal voor de hele machine zien, waarbij het werk van de CPU wordt gemengd met dat van het geheugen, de koelventilatoren en de grafische chip. Het is alsof men probeert te achterhalen hoeveel brandstof een enkele motor in een auto verbruikt door alleen naar de totale brandstofmeter van het hele voertuig te kijken.

De onderzoekers bevestigden dat dit geen beperking is van de fysieke chip zelf, maar een beslissing in de software die deze aanstuurt. Ze vonden bewijs dat de interne firmware in staat is om deze cijfers bloot te leggen via een standaard communicatiekanaal dat door ingenieurs wordt gebruikt, maar dat dit kanaal momenteel uitgeschakeld is. Ze testten ook een vergelijkbare computer van een andere fabrikant, de Acer Veriton, en ontdekten dat op dat specifieke moederbord de verborgen gegevens toegankelijk waren met behulp van een door de community gemaakte tool, wat bewees dat de informatie aanwezig is en de hardware in staat is deze te delen. Het verschil tussen de twee machines suggereert dat de ontbrekende data een productkeuze is en geen technische onmogelijkheid.

Het paper concludeert door een duidelijke weg vooruit te schetsen. De technologie om dit op te lossen is al aanwezig. Het interne systeem van de computer is klaar om de gegevens te delen, en de softwaretools die nodig zijn om deze te lezen, worden ontwikkeld door de open-source community. Het enige wat vereist is dat de fabrikanten de firmware van de computer bijwerken om de schakelaar om te zetten waarmee deze informatie zichtbaar wordt. Totdat dat gebeurt, blijven de meest geavanceerde edge AI-computers op de markt energie-black boxes. Voor een veld dat razendsnel groeit en onder toenemende druk staat om duurzaam te zijn, is het onvermogen om de energiekosten van de uitgevoerde taken te meten een fundamentele hindernis. De onderzoekers betogen dat voor deze systemen om werkelijk bruikbaar te zijn voor wetenschappelijke en regelgevende doeleinden, de mogelijkheid om het energieverbruik te zien als een basisvereiste moet worden behandeld, net zoals de mogelijkheid om de temperatuur of de snelheid van de processor te zien.