Smells Like Prompt Spirit: Evaluating Energy Efficiency and Performance of Local LLM Inference on CPU vs GPU

Stel je een wereld voor waarin de software die ons moderne leven aanstuurt, niet alleen door menselijke handen wordt geschreven, maar door kunstmatige intelligentie. Deze digitale assistenten, bekend als grote taalmodellen, zijn zo bekwaam geworden in het schrijven van code dat ze nu deel uitmaken van de dagelijkse workflow van miljoenen ontwikkelaars. Ze kunnen een zin programmeren afmaken, een defecte functie debuggen of een klein programma bouwen op basis van een eenvoudige beschrijving. Deze gemak dient echter met een verborgen prijs. Elke keer dat deze modellen nadenken, verbruiken ze enorme hoeveelheden elektriciteit, wat bijdraagt aan een groeiende ecologische voetafdruk die het milieu dat we juist willen beschermen, bedreigt. Naarmate de vraag naar deze tools groeit, stellen wetenschappers een kritische vraag: hoe kunnen we ze sneller en goedkoper maken zonder de planeet te verbranden?

Om dit te beantwoorden, hebben onderzoekers onlangs onderzocht hoe deze kunstmatige geesten zich gedragen wanneer ze worden verplaatst van het ene type computerhardware naar het andere. Jarenlang wisten ontwikkelaars al dat het draaien van deze modellen op gespecialiseerde grafische chips, die oorspronkelijk zijn ontworpen voor videogames, veel sneller is dan het draaien op standaard computerprocessors. Maar snelheid is slechts de helft van het verhaal. Het team wilde weten of deze overstap naar snellere hardware ook energie bespaarde, en nog belangrijker, of het de kwaliteit van de code die de modellen produceerden veranderde. Ze waren ook nieuwsgierig naar een subtiele truc bij het geven van prompts: het model een paar voorbeelden van de taak geven voordat je het vraagt om aan het werk te gaan. Helpt het tonen van een voorbeeld van het werk het model om energie te besparen, of maakt het het proces alleen maar langer?

De onderzoekers namen vijf verschillende open-source codemodellen en onderwierpen deze aan een rigoureuze test. Ze draalden dezelfde set programmeeruitdagingen op twee zeer verschillende machines: een standaard computerprocessor en een krachtige cluster van grafische kaarten. Ze maten exact hoeveel energie elke run verbruikte, hoe lang het duurde en of de gegenereerde code daadwerkelijk werkte. Ze vergeleken ook twee manieren om de modellen om hulp te vragen. In de eerste methode gaven ze het model een taak zonder voorbeelden, een "zero-shot" benadering. In de tweede methode boden ze drie voorbeelden van soortgelijke taken aan, een "three-shot" benadering, om het denken van het model te sturen.

De resultaten waren opmerkelijk en onthulden een duidelijke afweging tussen snelheid en stabiliteit. Wanneer de modellen naar de krachtige grafische hardware werden verplaatst, was het verschil in snelheid bijna onvoorstelbaar. De tijd die nodig was om code te genereren daalde met meer dan 99 procent, waardoor processen die seconden duurden, veranderden in fracties van een seconde. Deze enorme versnelling leidde ook tot een aanzienlijke daling in het energieverbruik, waarbij sommige taken bijna 90 procent minder stroom verbruikten dan op de standaard processor. Het was een duidelijke overwinning voor efficiëntie. Het verhaal werd echter ingewikkelder toen de onderzoekers naar de kwaliteit van de code keken.

Wanneer de modellen werden gevraagd om zonder voorbeelden te werken, zorgde de overstap naar snellere hardware ervoor dat ze onvoorspelbaar gedrag vertoonden. Omdat de grafische chips informatie op een andere manier verwerken dan standaard processors, produceerden de modellen soms code die structureel anders was of simpelweg niet werkte, zelfs als de instellingen identiek waren. Het was alsof dezelfde persoon, gevraagd om een verhaal te schrijven in twee verschillende kamers, compleet andere eindes zou bedenken. Deze inconsistentie was het meest ernstig wanneer de modellen zelf de draad moesten oppakken.

De oplossing voor deze instabiliteit bleek verrassend eenvoudig. Wanneer de onderzoekers drie voorbeelden boden voordat ze het model vroegen om code te schrijven, veranderde het gedrag drastisch. De modellen werden veel consistenter en produceerden betrouwbare resultaten, ongeacht op welke computer ze draaiden. Bovendien bespaarde deze methode van voorbeelden tonen ook energie. Door het model een duidelijk pad te bieden om te volgen, voorkwam het dat er onnodige praatjes of lange verklaringen werden gegenereerd die de output vaak vervuilen wanneer er geen voorbeelden worden meegegeven. Deze "three-shot" benadering sneed het overtollige weg, waardoor het energieverbruik in sommige tests met meer dan 60 procent daalde en de codegeneratie zowel sneller als nauwkeuriger maakte.

De studie suggereert uiteindelijk dat het simpelweg kopen van snellere hardware niet genoeg is om de problemen van energie en kwaliteit in kunstmatige intelligentie op te lossen. Hoewel de overstap naar krachtige grafische kaarten het proces ongelooflijk efficiënt maakt, garandeert dit op zichzelf niet betere resultaten. Sterker nog, zonder de juiste begeleiding kan de snelheid ten koste gaan van de betrouwbaarheid. De meest effectieve strategie die werd gevonden, was een combinatie van beide: het gebruik van de krachtige hardware voor snelheid, maar het koppelen daarvan aan een promptingstijl die het model een paar voorbeelden geeft om te volgen. Deze aanpak hield niet alleen het energieverbruik laag, maar zorgde er ook voor dat de geproduceerde code stabiel en correct was.

Uiteindelijk benadrukt het onderzoek dat de toekomst van groene kunstmatige intelligentie afhangt van hoe we vragen stellen, en niet alleen van welke machines we gebruiken. Door de manier waarop we met deze modellen interageren zorgvuldig vorm te geven, kunnen we hun snelheid benutten zonder de kwaliteit van hun werk of de gezondheid van onze planeet op te offeren. De weg vooruit gaat niet alleen over het bouwen van grotere, snellere computers, maar over het vinden van de juiste balans tussen de tools die we gebruiken en de instructies die we hen geven.