Technische Samenvatting: Emissies en Prestatie-afweging tussen Kleine en Grote Taalmodellen

Probleemstelling

De proliferatie van Large Language Models (LLM's) in de academische wereld en de industrie heeft een significante milieucrisis veroorzaakt. Hoewel LLM's geavanceerde capaciteiten bieden, genereert hun levenscyclus — van energie-intensieve training tot miljarden dagelijkse inferenties — substantiële hoeveelheden koolstofdioxide (CO2)-emissies. Zo stootte de training van GPT-3 alleen al naar schatting 550 metriek ton CO2 uit, exclusief de productie van hardware en de kosten van inferentie. Cruciaal is dat recente schattingen suggereren dat inferentie verantwoordelijk is voor tot wel 90% van het totale energieverbruik in de levenscyclus van een model. Ondanks dit feit geven regelgevende kaders en industriële praktijken vaak de voorkeur aan trainingsemissies of ontbreken gestandaardiseerde metrieken voor inferentie, wat een gat creëert in het begrip van de werkelijke milieukosten bij de grootschalige inzet van deze modellen. Het centrale probleem dat wordt aangestipt, is of gefinetunede Small Language Models (SLM's) een duurzaam alternatief kunnen vormen voor LLM's voor specifieke taken, waarbij ze vergelijkbare prestaties leveren met een drastisch lagere koolstofvoetafdruk.

Methodologie

De studie voerde een vergelijkende analyse uit van gefinetunede SLM's tegenover open-source LLM's over zes taken, gecategoriseerd in Natural Language Processing (NLP), Redeneren en Programmeren.

• Modelselectie:
  • SLM's: Drie modellen werden voor elke taak gefinetuned, met een beperking tot maximaal 250 miljoen parameters (bijv. ELECTRA, DistilBERT, FLAN-T5, CodeT5).
  • LLM's: Benchmarked tegen open-source modellen met meer dan 1 miljard parameters, waaronder Qwen 3 (235B), Mistral Instruct (7B) en DeepSeek R1 (671B).
• Taken:
  • NLP: Sentimentanalyse (Binair) en Contentcreatie (Schrijven van korte verhalen).
  • Redeneren: Natural Language Inference (NLI) en Chain-of-Thought (CoT) Redeneren.
  • Programmeren: Code-samenvatting en Code-generatie.
• Emissieberekening:
  • De studie maakte gebruik van de open-source eco2ai bibliotheek om koolstofemissies bij te houden op basis van het energieverbruik van CPU, GPU en RAM.
  • Omdat publieke inferentiegegevens voor specifieke benchmark LLM's niet beschikbaar waren, hebben de auteurs schattingen afgeleid door te schalen vanaf het bekende emissieratio van GPT-3 (4,32 g CO2 per query). Een lineaire aanpassing werd toegepast op basis van actieve parameters ($P_{active}$) en tokenaantallen per taak.
  • De gebruikte formule was: $Carbon_{token} = K \times P_{active}$, waarbij $K$ is afgeleid van GPT-3 data, en $Carbon_{inference} = Carbon_{token} \times Tokens_{task}$.

Belangrijkste Resultaten

Het empirische onderzoek leverde gemengde resultaten op met betrekking tot prestatie-gelijkwaardigheid, maar consistente resultaten met betrekking tot emissiereductie.

Prestatie-gelijkwaardigheid

Gefinetunede SLM's behaalden vergelijkbare prestaties met LLM's in vier van de zes taken:

1. Sentimentanalyse: SLM's (bijv. DistilRoBERTa) bereikten een nauwkeurigheid van 96%, waarmee ze Mistral-7B (68%) overtroffen en overeenkwamen met DeepSeek R1 (84%), met verwaarloosbare prestatieverschillen tussen de SLM's onderling.
2. Contentcreatie: Gefinetunede SLM's (bijv. DistilGPT2) behielden BERT Score F1- en perplexiteitmetrieken die vergelijkbaar zijn met die van LLM's.
3. Natural Language Inference (NLI): SLM's (FLAN-T5 Base, deBERTa v3) behaalden nauwkeurigheden van ~88%, waarmee ze alle geteste LLM's (max. 80%) aanzienlijk versloegen.
4. Code-samenvatting: SLM's (CodeParrot-Small, TinyCodeLM) presteerden aanzienlijk beter dan Qwen3 en DeepSeek R1 op het gebied van BLEU- en ROUGE-L-scores.

Prestatiekloven:
SLM's slaagden er niet in om LLM's te evenaren in twee taken:

1. Chain-of-Thought Redeneren: SLM's hadden moeite met complexe redeneringen (gemodificeerde G-Eval scores van 19–47 versus 54–64 voor LLM's), wat de literatuur ondersteunt dat geavanceerd redeneren voortkomt in modellen met tientallen miljarden parameters.
2. Code-generatie: SLM's behaalden lage pass@1 scores (max. 12,8%) vergeleken met LLM's (DeepSeek R1 op 65,9%), wat aangeeft dat complexe generatietaken een grotere modelschaal vereisen.

Emissiereductie

Over alle taken heen vertoonden gefinetunede SLM's een reductie in de orde van grootte van de inferentie-emissies:

• Sentimentanalyse: SLM's stootten tussen de 0,0001 g en 0,0696 g CO2/query uit, vergeleken met 0,27 g – 1,37 g voor LLM's.
• Contentcreatie: SLM's stootten 0,0063 g – 0,0105 g CO2/query uit, versus 1,44 g – 7,31 g voor LLM's.
• NLI: SLM's stootten ~0,0015 g CO2/query uit, vergeleken met 0,36 g – 1,83 g voor LLM's.
• Code-samenvatting: SLM's stootten 0,0055 g – 0,0973 g CO2/query uit, versus 0,72 g – 3,66 g voor LLM's.

De studie merkt op dat voor de vier succesvolle taken de emissies werden verminderd met factoren variërend van 660x tot 13.000x per query.

Betekenis en Claims

Het artikel positioneert deze bevindingen als een oplossing voor het "LLM Energie-dilemma", en voert aan dat de afruil tussen modelgrootte en milieueffect niet altijd lineair is.

• Leefbaarheid van SLM's: De studie claimt dat voor specifieke, goed gedefinieerde taken (NLP-classificatie, samenvatting en basis contentgeneratie), gefinetunede SLM's (≤250M parameters) een levensvatbaar, duurzaam alternatief zijn voor massieve LLM's.
• Economische en Milieusynergie: Naast de milieuvordelen beargumenteren de auteurs dat de verschuiving naar SLM's voor passende taken de Total Cost of Ownership (TCO) verlaagt. Door minder dure hardware te vereisen (lagere kapitaaluitgaven/CapEx) en minder stroom te verbruiken tijdens continue inferentie (lagere operationele uitgaven/OpEx), kunnen organisaties financiële besparingen realiseren naast koolstofreductie.
• Beleidsaanbevelingen: Het paper pleit voor wijzigingen in de regelgeving, specifbest de verplichting voor AI-aanbieders om de energie- kosten van inferentie te onthullen en Duurzame Impactbeoordelingen uit te voeren voor alle AI-systemen, niet alleen tijdens de ontwikkeling.
• Bescheiden Scope: De auteurs blijven bescheiden over hun claims en erkennen dat SLM's complexe redenering of code-generatie nog niet kunnen vervangen. Ze benadrukken dat het "sweet spot" voor modelgrootte verder onderzoek vereist en dat hun studie beperkt is tot open-source modellen en specifieke parameterbereiken.

Concluderend stelt het paper dat een toekomst van "Groene AI" haalbaar is, niet door LLM's volledig te verlaten, maar door strategisch gecureerde, taakspecifieke gefinetunede SLM's in te zetten waar zij prestatie-gelijkwaardigheid bieden, waardoor de koolstofvoetafdruk van AI-implementatie drastisch wordt verlaagd.