💬 NLP

Comparing energy consumption and accuracy in text classification inference

Deze studie toont aan dat bij tekstclassificatie-inferentie de meest accurate modellen niet per se het meest energiezuinig zijn, waarbij grote taalmodellen vaak meer energie verbruiken dan traditionele modellen zonder daarvoor een hogere nauwkeurigheid te behalen.

Oorspronkelijke auteurs: Johannes Zschache, Tilman Hartwig

Gepubliceerd 2026-04-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Johannes Zschache, Tilman Hartwig

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek moet sorteren. Je hebt duizenden brieven van burgers die over allerlei onderwerpen gaan: van "waarom is de weg kapot?" tot "hoeveel radioactief afval is er?". Je wilt deze brieven zo snel mogelijk naar het juiste kantoor sturen.

Vroeger deden mensen dit met een slimme, maar simpele regel: "Als het woord 'afval' in de tekst staat, stuur het naar het afvalkantoor." Dit is snel, goedkoop en werkt prima.

Maar nu zijn er Super-Intelligente Robots (de zogenaamde Large Language Models of LLM's) op de markt gekomen. Deze robots kunnen lezen, begrijpen en zelfs redeneren. Ze lijken op een professor die alles over de wereld weet. De vraag is: Moeten we die dure professor inhuren voor elke simpele brief, of volstaat de slimme, simpele regel?

Dit onderzoek van Johannes en Tilman gaat precies hierover. Ze hebben gekeken naar twee dingen:

Hoe goed werkt het? (Krijgen we de brieven op het juiste kantoor?)
Hoeveel stroom kost het? (Hoeveel geld en energie verbruiken we?)

Hier is wat ze hebben ontdekt, vertaald in alledaagse termen:

1. De "Grote Robot" is vaak te zwaar voor lichte taken

De onderzoekers hebben gekeken naar het sorteren van brieven over radioactief afval (een heel specifiek onderwerp).

De simpele methoden (zoals een slimme lijst met trefwoorden) waren extreem energiezuinig. Ze verbruikten net zo veel stroom als het branden van een kaarsje.
De grote robots (LLM's) verbruikten daarentegen miljoenen keren meer stroom. Het was alsof je een vliegtuigmotor startte om een postzegel te plakken.

Het verrassende nieuws: De grote robots waren niet veel beter in het sorteren dan de simpele methoden. Soms waren ze zelfs slechter! Het is alsof je een Formule 1-auto gebruikt om naar de supermarkt te gaan: je bent misschien een seconde sneller, maar je verbruikt een tank benzine en je komt niet veel verder dan met je fiets.

2. Soms is de "Grote Robot" wel nodig, maar...

Op andere gebieden, zoals het begrijpen van gevoelens in recensies (bijvoorbeeld: "Was deze film leuk of niet?"), deden de grote robots het wel beter. Maar zelfs dan was de energierekening enorm hoog.

De les: Als je een simpele taak hebt, gebruik dan een simpele tool. Als je een heel complexe taak hebt (waarbij nuance en context belangrijk zijn), dan mag je misschien de dure robot gebruiken, maar wees je bewust van de prijs.

3. De "Redenerende" robots zijn nog duurder

Er zijn nieuwe robots die eerst even "nadenken" voordat ze antwoorden (ze genereren gedachten die je niet ziet, maar die wel stroom kosten). De onderzoekers zagen dat deze robots nog meer stroom verbruikten, maar niet per se beter werkten. Het is alsof iemand die een vraag krijgt, eerst een heel lang verhaal vertelt voordat hij het antwoord geeft. Het kost tijd en energie, maar het antwoord is vaak hetzelfde als van iemand die direct antwoordt.

4. De "Stopwatch" is een goede voorspeller

Een van de coolste ontdekkingen is dit: Je hoeft niet per se een dure energiemeter te hebben om te weten hoeveel stroom een robot verbruikt.

De analogie: Als je een auto hebt, weet je dat hoe langer je rijdt, hoe meer benzine je verbruikt. Hetzelfde geldt voor deze robots.
De onderzoekers ontdekten dat tijd een perfecte maatstaf is voor stroomverbruik. Als een robot 10 seconden nodig heeft om een brief te lezen, verbruikt hij ongeveer 10 keer zoveel stroom als een robot die er 1 seconde over doet. Dus, als je wilt weten of iets duurzaam is, kijk gewoon naar hoe lang het duurt.

5. De hardware maakt een groot verschil

Ze hebben ook gekeken naar de "motoren" (de computers) waarop deze robots draaien.

Sommige computers zijn als een hybride auto (zeer efficiënt voor kleine taken).
Andere zijn als een dieselvrachtwagen (goedkoop voor zware lasten, maar verspillend voor lichte taken).
Het bleek dat de nieuwste, krachtigste computers (de "vrachtwagens") soms juist minder efficiënt waren voor simpele taken dan de oudere, kleinere modellen.

Wat betekent dit voor de wereld?

De boodschap van dit onderzoek is simpel: We moeten niet blindelings de nieuwste, grootste en duurste AI gebruiken voor alles.

Voor simpele taken (zoals het sorteren van brieven in een gemeente) volstaat vaak een klein, slim en goedkoop model.
Door de grote robots voor simpele taken te gebruiken, verspillen we onnodig energie, wat slecht is voor het klimaat en onze portemonnee.
De toekomst van duurzame AI ligt in het kiezen van het juiste gereedschap voor de juiste klus. Soms is een hamer nodig, maar voor een spijker in de muur volstaat een kleine hamer.

Kortom: Laat de "super-intelligente professor" rusten als je alleen maar een simpele vraag hebt. Gebruik de simpele, snelle en stroomzuinige methoden. Dat is beter voor het milieu en vaak net zo goed voor het werk.

1. Probleemstelling

De snelle opkomst van Large Language Models (LLMs) in Natural Language Processing (NLP) heeft aanzienlijke prestatieverbeteringen gebracht, maar brengt ook een hoge energiekost mee. Bestaand onderzoek focust voornamelijk op het energieverbruik tijdens het trainen van modellen, terwijl de inference-fase (het daadwerkelijk gebruiken van het model in de praktijk) relatief weinig aandacht krijgt.
In veel scenario's, zoals tekstcategorisatie in de overheid, worden LLMs vaak ingezet zonder dat er een duidelijke afweging wordt gemaakt tussen hun nauwkeurigheid en hun energiekost. Er bestaat een misvatting dat grotere, complexere modellen altijd beter presteren, terwijl er vaak efficiëntere alternatieven bestaan. De kernvraag is: Is de extra nauwkeurigheid van LLMs het enorme energieverbruik waard, en hoe verhoudt dit zich tot traditionele machine learning-modellen?

2. Methodologie

De auteurs hebben een systematische empirische studie uitgevoerd om de trade-off tussen nauwkeurigheid en energieverbruik te analyseren.

Taken en Data:
- De hoofdtaken is tekstcategorisatie.
- De primaire dataset is afkomstig uit de Duitse overheidsadministratie (FKTG-dataset), gericht op het categoriseren van bezwaren over de locatiekeuze voor hoogradioactief afval. De dataset bevat 378 teksten verdeeld over 14 categorieën.
- Voor validatie zijn vier extra benchmark-datasets gebruikt (AG News, Yelp, Rotten Tomatoes, Emotion) om de generaliseerbaarheid te testen.
- De data is opgesplitst in 50% training en 50% test (ongewoon, maar gekozen voor statistische betrouwbaarheid bij kleine datasets).
Modellen:
- Traditionele modellen: Lineaire modellen (Logistic Regression) en Gradient Boosting (XGBoost) met verschillende feature-extractiemethoden: Bag-of-Words (BoW), TF-IDF en pre-getrainde multilinguale zinsembeddings (Sentence Transformers). Deze modellen werden getraind op de trainingsdata.
- Large Language Models (LLMs): Een reeks transformer-gebaseerde modellen (o.a. Llama 3.1, Qwen 2.5, Phi 3.5, Jamba, DeepSeek) met variërende grootte (van <1B tot >70B parameters). Deze werden gebruikt in een zero-shot setting (zonder fine-tuning), wat een eerlijke vergelijking biedt voor "out-of-the-box" gebruik.
Hardware en Infrastructuur:
- Experimenten zijn uitgevoerd op High-Performance Computing (HPC) systemen van de TU Dresden en de Universiteit Leipzig.
- Verschillende GPU-architecturen werden getest: NVIDIA H100, A30 en V100.
- Er werd gekeken naar de impact van het aantal GPUs (1, 2 of 4) en het gebruik van meerdere knooppunten (nodes).
Metingen:
- Energieverbruik en runtime werden gemeten met de CodeCarbon-package, die gebruikmaakt van NVIDIA Management Library (NVLM) en Intel RAPL (waar beschikbaar) voor GPU/CPU-metingen.
- Er werd een "warm-start" scenario gebruikt: modellen werden eenmaal geladen en vervolgens 189 testvoorbeelden verwerkt zonder herstart, om de steady-state inference-kost te meten.
- Elke experimentele run werd 10 keer herhaald met verschillende splits om variatie te minimaliseren.

3. Belangrijkste Bijdragen

Systematische Vergelijking: Een van de eerste studies die LLMs en traditionele modellen direct vergelijkt op zowel nauwkeurigheid als energieverbruik tijdens de inference-fase voor tekstcategorisatie.
Hardware-Afhangendheid: Inzicht in hoe verschillende GPU-architecturen (H100 vs. V100/A30) en configuraties (single vs. multi-node) het energieverbruik beïnvloeden.
Proxy voor Energie: Het aantonen van een sterke lineaire correlatie tussen runtime en energieverbruik, wat suggereert dat runtime een praktische proxy kan zijn voor energie in situaties waar directe meting niet mogelijk is.
Zero-Shot vs. Getraind: Een eerlijke analyse van de prestaties van zero-shot LLMs versus getrainde traditionele modellen, waarbij wordt erkend dat LLMs hier een nadeel hebben in training (geen fine-tuning) maar wel in inference-kost.

4. Resultaten

Nauwkeurigheid vs. Energie:
- In de primaire FKTG-taak (specifiek domein) presteerden traditionele modellen beter of gelijkwaardig aan LLMs, maar met een orde van grootte minder energie.
- Het beste model was een lineair model met zinsembeddings (Linear Embedding) met een nauwkeurigheid van 0,57 en een verbruik van slechts 0,12 Wh.
- De meest nauwkeurige LLM (Qwen 2.5 72B) had een nauwkeurigheid van 0,51 (lager dan het traditionele model) maar verbruikte 48,66 Wh (ongeveer 400 keer meer energie).
- Conclusie: De "beste" LLM qua nauwkeurigheid was niet de meest energie-efficiënte; vaak was een kleiner model of een traditioneel model superieur.
Impact van Modelgrootte en Architectuur:
- Grotere modellen (70B+ parameters) verbruiken exponentieel meer energie zonder noodzakelijkerwijs significant betere nauwkeurigheid te bieden in zero-shot settings.
- Reasoning-modellen (DeepSeek met "thinking" tokens) verbruikten aanzienlijk meer energie en tijd, maar leverden in tekstcategorisatie geen betere nauwkeurigheid op dan niet-reasoning modellen.
- Jamba Mini 1.5 (een hybride architectuur met Mamba- en Transformer-lagen) bleek een van de meest efficiënte keuzes, met sterke nauwkeurigheid en een verbruik dat veel lager was dan vergelijkbare grote modellen.
Hardware-Effecten:
- Het verhogen van het aantal GPUs verkort de runtime, maar verlaagt het totale energieverbruik niet; in sommige gevallen stijgt het zelfs door de extra hardware die actief is.
- Het gebruik van meerdere knooppunten (multi-node) leidt tot aanzienlijk hogere energiekosten door communicatie-overhead.
- De efficiëntie van krachtigere GPUs (zoals H100) is vooral zichtbaar bij modellen die veel tekst genereren (zoals DeepSeek). Bij modellen die slechts één token genereren (zoals bij categorisatie) zijn oudere GPU's (V100, A30) vaak efficiënter.
Runtime als Proxy:
- Er is een zeer sterke lineaire correlatie ( $R^2 > 0,98$ ) tussen runtime en energieverbruik. Dit betekent dat in productieomgevingen waar directe energiemeting lastig is, de uitvoeringstijd een betrouwbare schatting kan geven van de energiekost.
Generaliseerbaarheid:
- Bij de extra benchmark-datasets (zoals sentimentanalyse op Yelp) presteerden LLMs soms beter dan traditionele modellen, wat de noodzaak onderstreept om per geval te evalueren. Echter, zelfs hier was het energieverbruik van LLMs vaak onnodig hoog voor marginale nauwkeurigheidswinsten.

5. Betekenis en Implicaties

Duurzame AI-ontwikkeling: De studie bepleit dat energie-efficiëntie een even belangrijk evaluatiecriterium moet worden als nauwkeurigheid. Het "grootste model" is niet altijd het beste.
Praktische Aanbevelingen: Voor organisaties (zoals de overheid) die repetitieve tekstcategorisatie taken uitvoeren, is het raadzaam om eerst te beginnen met simpele, getrainde traditionele modellen. Pas als deze onvoldoende presteren, moeten complexere LLMs worden overwogen, waarbij de extra kosten in energie en tijd worden afgewogen tegen de meerwaarde.
Beleid en Transparantie: De resultaten ondersteunen het EU AI Act-principe van proportionaliteit. Het gebruik van zware LLMs voor simpele taken wordt niet gerechtvaardigd.
Reproduceerbaarheid: De auteurs hebben hun code, data en analyse-tools openbaar gemaakt, wat bijdraagt aan transparantie in het onderzoek naar de milieu-impact van AI.

Kortom, dit onderzoek waarschuwt voor de "over-engineering" van AI-oplossingen en toont aan dat voor veel NLP-taken, vooral in gespecialiseerde domeinen, lichte, traditionele modellen vaak de meest duurzame en kosteneffectieve keuze zijn.