Technische Samenvatting: De Verborgen Kosten van Denken

Probleemstelling

De huidige milieurapportage voor Large Language Models (LLM's) richt zich uitsluitend op de energie- en koolstofkosten van het vooraf trainen van één enkel eindmodel. Deze aanpak maakt het grootste deel van de moderne ontwikkelingslevenscyclus onzichtbaar. Naarmate modelpijplijnen zijn geëvolueerd om mid-training, extensie van lange context, synthetische datageneratie, supervised fine-tuning (SFT), preferentieoptimalisatie (DPO) en reinforcement learning (RL) omvatten, is de ecologische voetafdruk aanzienlijk uitgebreid. Bovendien introduceert het ontstaan van "redenerende" modellen, die zwaar vertrouwen op Reinforcement Learning with Verifiable Rewards (RLVR), rekenintensieve werklasten (specifiek het genereren van rollouts) die niet worden vastgelegd in standaard rapporten die op vooraf trainen zijn gericht. Daarnaast hebben eerdere studies gesuggereerd dat ontwikkelingskosten (experimenten, mislukte runs, ablaties) aanzienlijk zijn, maar blijft de omvang van deze kosten in complexe, meerstapspijplijnen ongekwantificeerd.

Methodologie

De auteurs bieden een gedetailleerde milieurekening voor de Olmo 3-familie van modellen (7B en 32B parameters), uitgebracht in zowel instructievolgende ("Instruct") als redenerende ("Think") varianten.

• Reikwijdte: Het onderzoek bestrijkt de volledige ontwikkelingspijplijn: datageneratie, vooraf trainen, mid-training, extensie van lange context en alle post-trainingfasen (SFT, DPO, RLVR), inclusief zowel de definitieve trainingsruns als de ontwikkelingsiteraties (hyperparameterzoeken, ablaties, mislukte runs) die eraan voorafgaan.
• Hardware & Infrastructuur: Training vond plaats op het Jupiter-cluster (Cirrascale, Texas) met NVIDIA H100-80GB GPU's. Datageneratie maakte gebruik van de Frontier-supercomputer met AMD MI250X GPU's.
• Berekening Energie & Emissies:
  • Vermogen: Het totale datacentervermogen ($P_{DC}$) wordt berekend als $P_{GPU} \times 1,74 \times PUE$. De factor 1,74 houdt rekening met overhead voor niet-GPU-server- en IT-infrastructuur (gebaseerd op Epoch AI, 2025), wat een verbetering is ten opzichte van eerdere methoden die alleen het GPU-vermogen vermenigvuldigden met de PUE.
  • Koolstof: Emissies worden berekend als $CO_2e = P_{DC} \times CI$, waarbij de Koolstofintensiteit (CI) 0,332 kg CO2/kWh bedraagt.
  • Water: Verbruik wordt berekend als $Water = P_{DC} \times (WUE_{onsite} + WUE_{offsite})$. Het datacenter maakt gebruik van gesloten koelsystemen ($WUE_{onsite} = 0$), wat betekent dat alle waterverbruik wordt toegeschreven aan energievoorziening ($WUE_{offsite} = 1,29$ L/kWh).
  • Ingebouwde Emissies: De impact van hardwareproductie wordt afgeschreven over een levensduur van 4 jaar.
• Vergelijking: Het onderzoek vergelijkt de "Think" (redenerende) en "Instruct" varianten, die een gemeenschappelijk basismodel delen maar uiteenlopen in post-trainingstrategieën.

Belangrijkste Bijdragen

1. Eerste Gedetailleerde Post-Training Ontleding: Dit werk is het eerste dat de milieukosten van specifieke post-trainingfasen (SFT, DPO, RL) en synthetische datageneratie meet en rapporteert, waardoor directe vergelijking tussen fasen en modelvarianten mogelijk wordt.
2. Kwantificering van "Denk"-Kosten: De auteurs tonen aan dat redenerende modellen aanzienlijk duurder zijn om post-te trainen dan instructie-geoptimaliseerde modellen, gedreven specifiek door RLVR rollout-generatie.
3. Herziene Schattingen van Ontwikkelingskosten: Het onderzoek actualiseert de schatting van ontwikkelingskosten (experimenten en mislukte runs) van de eerder gerapporteerde ~50% van de totale rekenkracht naar 82,2%, en benadrukt dat het rapporteren van alleen de definitieve runs de werkelijke impact ongeveer 5 keer onderschat.
4. Analyse van Watertoeschrijving: Het artikel verduidelijkt dat het waterverbruik in deze specifieke opstelling volledig wordt gedreven door infrastructuur voor energievoorziening en niet door datacenterkoeling, wat de gebruikelijke verhalen uitdaagt die watergebruik voornamelijk toeschrijven aan koeling van AI-werklasten.

Resultaten

Totale Milieu-impact

De ontwikkeling van de Olmo 3-serie (inclusief definitieve runs, ontwikkelingsiteraties en datageneratie) resulteerde in:

• Energie: ~12,3 GWh datacenterenergie.
• Koolstof: ~4.251 tCO2eq (equivalent aan ~847 huishoudens in de VS voor elektriciteit gedurende één jaar).
• Water: ~15.887 kL (equivalent aan ~140 jaar waterverbruik door een gemiddeld persoon in de VS).
• Rekenkracht: Totaal ~13,2 miljoen GPU-uren.

De Kosten van Redeneren (Think vs. Instruct)

• Energieverschil: De post-trainingfase van het 32B "Think"-model verbruikt 17 keer meer datacenterenergie dan het 32B "Instruct"-model.
• Oorzaak: Dit verschil wordt gedreven door RLVR rollout-generatie. In het 32B Think-model maakt RLVR rollout-generatie 87% uit van de post-training-energie.
• Mechanisme: De RLVR-generator (autoregressieve inferentie) werkt op ongeveer 600W per GPU, terwijl de trainer werkt op 130–220W. De generator is functioneel identiek aan grootschalige inferentie, maar vereist het genereren van extreem lange traces (gemiddeld >10.000 tokens, maximaal 32.768) over vele iteraties.
• Tokenvolume: De RLVR-trainer voor het 32B Think-model verwerkt ~18,7 miljard tokens, vergeleken met ~564 miljoen voor de Instruct-variant (een verschil van 33 keer).

Ontwikkelingskosten

• Proportie: Ontwikkelingsactiviteiten (hyperparameterzoeken, ablaties, mislukte runs) waren goed voor 82,2% van de totale GPU-uren en 80,9% van de totale GPU-energie (exclusief datageneratie).
• Fasevariatie: Post-trainingfasen zijn bijzonder iteratie-zwaar. De ontwikkelingsfracties voor post-trainingfasen overschreden 91% (bijvoorbeeld 97,5% voor mid-training/datamixing, 97,1% voor DPO).
• Vergelijking: Dit vertegenwoordigt een aanzienlijke toename ten opzichte van de ~50% ontwikkelingsfractie die in eerdere werken (Morrison et al., 2025) werd gerapporteerd voor pijplijnen die op vooraf trainen zijn gericht.

Waterverbruik

• Bron: 100% van het waterverbruik werd toegeschreven aan energievoorziening ($WUE_{offsite}$), aangezien het datacenter gebruikmaakte van gesloten koelsystemen ($WUE_{onsite} = 0$).
• Implicatie: Waterkosten zijn in deze opstelling strikt evenredig met energieverbruik, wat suggereert dat het verminderen van energieverbruik de belangrijkste hefboom is om de waterimpact te verminderen, in plaats van de koelinfrastructuur te veranderen.

Betekenis en Beweringen

Het artikel betoogt dat de huidige standaard van alleen het rapporteren van vooraf trainingskosten ontoereikend is voor een accurate milieurekening. Naarmate pijplijnen complexer worden en redenerende modellen de standaardparadigma worden, groeien de "verborgen kosten" van post-training en ontwikkeling snel.

• Transparantie: De auteurs beweren dat accurate, op metingen gebaseerde accounting van de volledige ontwikkelingslevenscyclus essentieel is voor onderbouwde regelgevende richtlijnen en voor de onderzoeksgemeenschap om effectieve strategieën te ontwikkelen om de ecologische voetafdruk van AI te verminderen.
• Uitvoerbaarheid: In tegenstelling tot beweringen dat een dergelijke gedetailleerde rapportage onpraktisch is, tonen de auteurs aan dat het haalbaar is om kosten te ontleden over meerdere fasen en varianten.
• Beleidshandleidingen: Het artikel sluit af met vier aanbevelingen:
  1. Rapporteer kosten van de volledige pijplijn (post-training en datageneratie), niet alleen vooraf trainen.
  2. Neem ontwikkelingskosten op (minimaal als een multiplier).
  3. Maak datacenter-efficiëntiemetrieken openbaar (PUE, WUE, koeltype, energiemix).
  4. GPU-fabrikanten moeten de impact van productie openbaar maken (ingebouwde emissies).

Het werk positioneert zichzelf als een fundamentele stap naar het begrijpen van de ware ecologische voetafdruk van moderne AI, met de nadruk dat de "kosten van denken" een snel escalerende factor is die moet worden aangepakt in duurzaamheidsstandaarden.