Technische Samenvatting: De Milieuomkost van LLM's in AIED: Rapportage en Praktijken

Probleemstelling

De integratie van Large Language Models (LLM's) in Artificial Intelligence in Education (AIED) is versneld, maar de computationele en milieugerelateerde kosten die gepaard gaan met het gebruik ervan blijven grotendeels ongerapporteerd en niet gestandaardiseerd. Terwijl ethische discussies in AIED vaak aandacht besteden aan bias, privacy en de afhankelijkheid van studenten, worden het energieverbruik en de CO2-voetafdruk van het trainen en implementeren van LLM's vaak genegeerd. Dit gebrek aan transparantie wordt verergerd door de afwezigheid van gestandaardiseerde procedures om deze impacts te meten en te rapporteren. Bijgevolg mist de gemeenschap een verenigd begrip van de milieubelasting van educatieve AI, wat het moeilijk maakt om de efficiëntie van verschillende systemen te vergelijken of om normen voor duurzaam onderzoek vast te stellen.

Methodologie

De auteurs hanteerden een mixed-method benadering, waarbij een systematisch literatuuronderzoek werd gecombineerd met de ontwikkeling van open-source technische kaders voor meting en schatting.

1. Literatuuronderzoek

De auteurs voerden een uitgebreid onderzoek uit naar alle 396 papers gepubliceerd in de AIED 2025 conferentie-publicaties. Ze analyseerden inzendingen over alle tracks (full papers, workshops, doctoral consortium, etc.) met behulp van een coderingskader om te extraheren:

• LLM-gebruik: Of een LLM werd gebruikt (binair) en de specifieke rol (Onderwerp van Experiment, Data-analyse, Productontwerp of Gebruikersinteractie).
• Rapportagepraktijken: Of computationele kosten (runtime, energie, hardware) en milieustabiliteit expliciet werden gerapporteerd.
• Modeldetails: Specifieke modelversies en informatie over parameters.

2. Ontwikkeling van Meetkaders

Om de geïdentificeerde hiaten aan te pakken, stelden de auteurs drie technische oplossingen voor en implementeerden zij deze:

• Lokale Hardware Meting (CodeCarbon): De auteurs maakten gebruik van de open-source Python-package CodeCarbon om CO2-emissies te schatten door het stroomverbruik van lokale hardware te meten en dit om te zetten naar CO2 op basis van lokale elektriciteitsnetmixen. Ze merkten op dat hoewel CodeCarbon een basislijn biedt, het het totale verbruik vaak met ~20% onderschat omdat het geen rekening houdt met inefficiënties in de stroomvoorziening of perifere koeling.
• Het TerraFlops Framework: Om de nauwkeurigheid voor lokale ontwikkelomgevingen te verbeteren, introduceerden de auteurs TerraFlops, een open-source wrapper voor trackingtools. Dit framework introduceert een PUE-equivalent (Power Usage Effectiveness) metriek voor lokale machines. In tegenstelling tot datacentra met een hoge bezettingsgraad, hebben lokale apparaten een aanzienlijke basisoverhead (OS, display, koeling) ongeacht de ML-workload. TerraFlops past de PUE-equivalent dynamisch aan (variërend van 1,60 voor lage belasting tot 1,08 voor hoge belasting) om deze verspilde energie te compenseren.
  • Het framework bevat ook een Cloud Mode die vaste PUE-waarden toepast op basis van grote providers (AWS, GCP) om de projectiekosten van implementatie te standaardiseren.
  • Het genereert samengestelde metrieken: Gecorrigeerde CO2-intensiteit, CO2 per Nauwkeurigheid en een Sustainability Score (schaal van 1–10 met een logaritmische transformatie).
• Theoretische FLOP-schatting voor LLM's: Voor scenario's waarin directe meting onmogelijk is (bijv. propriëtaire modellen via API's), stelden de auteurs een methode voor om de computationele kosten te schatten met behulp van Floating Point Operations (FLOPs).
  • Ze leidden formules af voor decoder-only transformers (inclusief Pre-Layer Normalization, RoPE, en KV caching) om FLOPs te berekenen voor het eerste token en daaropvolgende tokens.
  • Ze stelden een vereenvoudigde benadering voor: $FLOPs = 2Nn$ (waarbij $N$ de actieve parameters zijn en $n$ het totaal aantal tokens).
  • Voor propriëtaire modellen waar $N$ onbekend is, suggereerden ze orde van grootte schattingen (bijv. ~100B parameters voor frontier modellen, ~30B voor snelle modellen) en een conversiefactor naar CO2 (ongeveer $6 \times 10^{-5}$ gram CO2 per T-FLOP, uitgaande van H100 GPU's en een Amerikaans elektriciteitsnet).

Belangrijkste Resultaten

Het literatuuronderzoek naar de 396 AIED 2025 papers leverde de volgende bevindingen op:

• Hoge Adoptie: 257 papers (65%) maakten gebruik van LLM's.
• Gebruikspatronen: De meest voorkomende use case was Gebruikersinteractie (176 papers), primair als tutors of assistenten. Andere gebruiken waren Data-analyse (79), Contentontwerp (108) en Onderwerp van Experiment (100).
• Rapportage-tekort: Slechts 85 papers boden enige details over computationele kosten, en slechts 57 papers vermelden milieustabiliteit of milieuproblemen.
• Inconsistentie: Onder degenen die wel rapporteerden, was er geen standaardisatie in metrieken, eenheden of diepgang van de analyse.
• Modelprevalentie: OpenAI-modellen (GPT-4/4o) werden het meest frequent geciteerd, gevolgd door Anthropic Claude, Google Gemini en diverse open-source modellen (Llama, Mistral, etc.).

Belangrijkste Bijdragen

1. Empirisch Bewijs van de Kloof: Het artikel levert de eerste systematische kwantificering van het gebrek aan milieurapportage in de AIED-gemeenschap, waarmee wordt aangetoond dat terwijl LLM-gebruik alomtegenwoordig is, de kosten in de overgrote meerderheid van het onderzoek onzichtbaar blijven.
2. TerraFlops Tool: De introductie van een open-source tool die de CO2-tracking uitbreidt door middel van PUE-equivalent aanpassingen voor lokale hardware, wat een realistischer schatting biedt van de milieudruk van onderzoek uitgevoerd op consumentenapparatuur.
3. Voorstellen voor Gestandaardiseerde Rapportage: De auteurs stellen een set samengestelde metrieken voor (Gecorrigeerde CO2-intensiteit, CO2 per Nauwkeurigheid, Sustainability Score) die naast traditionele nauwkeurigheidsmetrieken gerapporteerd moeten worden.
4. Schatting van de Methodologie voor Propriëtaire Modellen: Een praktische, driestaps procedure voor onderzoekers die API-gebaseerde LLM's gebruiken om hun computationele kosten en CO2-voetafdruk te schatten zonder toegang tot interne hardwaregegevens, gebruikmakend van token-aantallen en parameter-benaderingen.

Betekenis en Claims

De auteurs betogen dat de milieukosten van LLM's in AIED een kritieke, maar verwaarloosde ethische dimensie zijn. Zij claimen dat de gemeenschap, door deze kosten zichtbaar te maken via gestandaardiseerde rapportage, kan:

• Normen vaststellen voor transparante rapportage van verborgen kosten.
• Modellen kunnen vergelijken op basis van efficiëntie (prestatie per eenheid CO2) in plaats van enkel op nauwkeurigheid.
• Onderzoekers motiveren om te optimaliseren voor duurzaamheid, wat potentieel de milieimpact van educatieve AI kan verminderen.

Het artikel concludeert met een oproep tot actie aan de AIED-gemeenschap om deze rapportagepraktijken te adopteren, waarbij gesuggereerd wordt dat toekomstige conferenties duurzaamheidsmetrieken als voorwaarde voor indiening zouden kunnen verplichten, vergelijkbaar met anonimiteitseisen. De auteurs positioneren hun werk niet als een definitieve oplossing, maar als een fundamentele stap naar een meer duurzame en verantwoorde AIED-onderzoeksecosysteem.