Energy Efficiency of Locally Deployed LLMs: A Preliminary Quantitative GPU Power Benchmark on Consumer Hardware

Stel je voor dat je net een superintelligente robotvriend hebt gebouwd die rechtstreeks in je computer leeft, klaar om vragen te beantwoorden, verhalen te schrijven of je te helpen met coderen zonder ooit je geheimen naar een gigantische clou dserver te sturen. Dit is de wereld van "lokale" kunstmatige intelligentie, een trend die explodeert omdat mensen privacy en snelheid willen. Maar er is een addertje onder het gras: deze breinachtige robots zijn hongerig. Hoewel we al een tijdje weten dat het trainen van deze enorme AI-breinen op gigantische supercomputers veel elektriciteit verbruikt (zoals het voeden van een kleine stad voor een dag), hebben we niet echt geweten hoeveel energie het kost om er simpelweg mee te praten op een gewone thuiscomputer. Het is alsof je weet dat een auto een verschrikkelijk brandstofverbruik heeft op de snelweg, maar geen idee hebt hoeveel brandstof hij verbruikt als hij gewoon stationair draait in je oprit terwijl je met de chauffeur praat. Nu meer mensen deze AI-assistenten op hun eigen laptops en gaming-pc's gaan draaien, wordt het begrijpen van die "actieve" energierekening een reëel punt van zorg voor zowel je portemonnee als de planeet.

Dit is precies waar een team onderzoekers van de FH Aachen University of Applied Sciences in Duitsland instapte. Ze wilden zien welke van de populaire, gratis te gebruiken AI-modellen het meest "energiezuinig" zijn wanneer ze draaien op een standaard consumentengrafische kaart—specifiek een NVIDIA RTX 4060 Ti, het type kaart dat je in een high-end gaming-pc zou kunnen vinden. In plaats van alleen te vragen: "Welk model geeft de beste antwoorden?", vroegen ze: "Welk model geeft de beste antwoorden terwijl het de minste elektriciteit slurpt?" Ze zetten een gecontroleerd experiment op waarbij ze negen verschillende open-source AI-modellen (variërend van kleine 1-miljard-parameter modellen tot grotere 7-miljard-parameter modellen) een vaste set van 15 vragen voerden, van eenvoudige feiten zoals "Wat is de hoofdstad van Frankrijk?" tot complexe taken zoals het schrijven van code of het uitleggen van diepe concepten.

De onderzoekers traden op als energiedetectives en gebruikten een tool genaand nvidia-smi om de stroomconsumptie van de grafische kaart twee keer per seconde te controleren terwijl de modellen werkten. Cruciaal was dat ze niet alleen het totale vermogen maten; ze trokken zorgvuldig het basis "idle" vermogen van de kaart af om het exacte energieverbruik van het denkproces van de AI te isoleren. Hun hoofddoel was om te berekenen hoeveel totale energie (in Joules) het kostte om elk enkel woord (of "token") van het antwoord te genereren. Hun bevindingen suggereren dat groter niet altijd beter is als het gaat om energie. Sterker nog, de kleine modellen, specifiek gemma3:1b en llama3.2:1b, bleken de kampioenen van efficiëntie te zijn. Deze kleine krachtpatsers slaagden erin om een enkel woord tekst te genereren met slechts 0,56 Joule aan energie en konden meer dan 170 woorden per seconde uitspuwen.

In contrast hiermee was het grotere 7-miljard-parameter model (Mistral) veel minder efficiënt en verbruikte tot wel 4,4 keer meer energie per woord dan het meest efficiënte kleine model. De studie onthulde ook een vreemde verrassing: een van de modellen, qwen3.5:2b, gebruikte een verrassend hoge hoeveelheid energie per prompt. De onderzoekers suggereren dat dit niet kwam omdat het model traag was, maar omdat het intern aan het "denken" was—het gebruikte een techniek genaamd 'extended reasoning' om zijn antwoord te plannen voordat het sprak—wat extra energie verbruikt zelfs als de uiteindelijke output kort is. Dit benadrukt dat het simpelweg bekijken van de totale energie voor een hele vraag misleidend kan zijn; de ware efficiëntiemetriek is hoeveel energie het kost om elk token te produceren. Uiteindelijk suggereert het paper dat voor iedereen die AI op eigen hardware draait, de meest energiezuinige keuze niet noodzakelijkerwijs het krachtigste of grootste model is, maar eerder het model met de juiste architectuur en grootte voor de taak, wat bewijst dat soms het kleinste brein het groenste is.