A Holistic Assessment of the Carbon Footprint of Noor, a Very Large Arabic Language Model

In de snel evoluerende wereld van kunstmatige intelligentie is een nieuwe generatie computerprogramma's opgekomen die menselijke taal met verbazingwekkende vloeiendheid kunnen begrijpen en genereren. Deze systemen, vaak foundationmodellen genoemd, worden gebouwd door enorme hoeveelheden tekst in complexe wiskundige structuren te voeren die neurale netwerken worden genoemd. Het heersende idee in dit veld is geweest dat groter beter is: hoe meer data een model ziet en hoe groter de interne structuur, hoe slimmer het wordt. Deze drang naar schaal heeft geleid tot modellen met miljarden parameters, die in staat zijn om taken uit te voeren zonder daarvoor specifiek getraind te zijn, simpelweg door patronen te herkennen in de tekst die ze hebben geconsumeerd. Echter, deze race naar omvang komt met een verborgen prijs. De enorme rekenkracht die nodig is om deze modellen te trainen, verbruikt gigantische hoeveelheden elektriciteit, en de milieu-impact van dat energieverbruik is een dringende zorg geworden. Terwijl de wereld worstelt met klimaatverandering, is het begrijpen van de werkelijke CO2-voetafdruk van deze digitale reuzen niet langer slechts een technisch detail, maar een noodzakelijk onderdeel van het evalueren van hun waarde voor de samenleving.

Een team van onderzoekers van het Technology Innovation Institute in Abu Dhabi en LightOn in Parijs besloot verder te kijken dan de gebruikelijke cijfers. In plaats van alleen te tellen hoeveel elektriciteit er werd gebruikt om een enkel model te trainen, voerden zij een volledige, end-to-end boekhouding uit van een project genaamd Noor. Dit project had als doel de grootste taalmodellen ooit gemaakt voor de Arabische taal te bousden, met groottes variërend van 1,5 miljard tot 13 miljard parameters. De onderzoekers wilden de totale milieuprijs weten van het tot stand brengen van deze modellen, van de allereerste stap van het verzamelen van data tot het moment waarop de modellen in de toekomst door mensen gebruikt zouden kunnen worden. Ze volgden elke bron van energieverbruik, inclusief de opslag van enorme datasets, de voorlopige experimenten die nodig waren om het ontwerp goed te krijgen, het eigenlijke trainingsproces, en zelfs de reizen die nodig waren voor de internationale samenwerking van het team. Hun doel was om een volledig beeld te schetsen van de koolstofemissies die gepaard gaan met een dergelijk ambitieus onderneming.

De reis begon met de data. Om de modellen de Arabische taal te leren, moest het team een aangepaste collectie tekst samenstellen die 150 miljard woorden bevat. Dit hield het downloaden van enorme hoeveelheden webdata in, het filteren van content van lage kwaliteit, en het organiseren ervan zodat de computers het konden lezen. Het opslaan en verplaatsen van deze terabytes aan informatie vereiste aanzienlijke energie, nog voordat de eigenlijke training begon. De onderzoekers berekenden dat de energie die werd gebruikt voor enkel het opslaan en transporteren van deze data, samen met het voorbereidende werk van het schoonmaken en organiseren ervan, een substantieel deel van het totale energieverbruik van het project uitmaakte. Ze ontdekten dat de inspanning om de data gereed te maken geen kleine neventaak was, maar een belangrijke bijdrage leverde aan de totale milieukosten.

Toen de data gereed was, ging het team over naar de trainingsfase, waarbij de computers leerden het volgende woord in een zin te voorspellen. Dit is het meest energie-intensieve deel van het proces. Het team trainde vier verschillende modellen van toenemende grootte op een krachtige supercomputer. Ze ontdekten dat de koolstofemissies van deze training sterk afhingen van de locatie van de computers. Wanneer ze een datacenter in Luxemburg gebruikten, dat draait op zeer schone elektriciteit, waren de emissies verrassend laag. Echter, wanneer ze hun eigen high-performance computing cluster in de Verenigde Arabische Emiraten gebruikten, waren de emissies veel hoger omdat de lokale energiemix meer koolstofintensieve bronnen bevatte. De studie toonde aan dat de locatie van het rekenwerk even belangrijk is als de hoeveelheid van het werk dat wordt verricht. In totaal verbruikte de training van de vier modellen de meeste energie, maar dat was niet de enige factor.

De onderzoekers keken ook naar het menselijke element van het project. Het team bestond uit wetenschappers die werkten in zowel Frankrijk als de Verenigde Arabische Emiraten, die tussen de twee landen moesten reizen om workshops en brainstormsessies te houden. Ze berekenden de koolstofemissies van deze vluchten en vonden dat deze een aanzienlijk deel van de totale voetafdruk vormden. Sterker nog, de reizen alleen al waren verantwoordelijk voor bijna een vijfde van de totale koolstofemissies van het project. Deze bevinding daagde de algemene aanname uit dat alleen de computertijd ertoe doet. De studie benadrukte dat in een wereld waar datacenters efficiënter worden en elektriciteit schoner wordt, de emissies van menselijke reizen en andere indirecte kosten de dominante factor van de milieu-impact van een project zouden kunnen worden.

Vooruitblikkend schatten de onderzoekers ook in wat er zou kunnen gebeuren wanneer deze modellen daadwerkelijk door mensen worden gebruikt. Ze berekenden de energie die nodig is voor de modellen om tekst te genereren als reactie op gebruikersprompts. Ze ontdekten dat als deze modellen wijdverbreid worden gebruikt, het energieverbruik tijdens dit dagelijks gebruik uiteindelijk de energie kan overstijgen die in eerste instantie nodig was voor de training. Dit is een cruciaal inzicht omdat de training eenmalig plaatsvindt, maar het gebruik miljoenen keren kan gebeuren. De onderzoekers merkten op dat als de modellen worden ingezet op computers die worden gevoed door schone energie, de impact laag zou zijn, maar als ze draaien op netwerken die worden gevoed door fossiele brandstoffen, de milieukosten zeer hoog kunnen zijn.

De eindtelling voor het Noor-project was 36,5 ton CO2-equivalent. Om dit in perspectief te plaatsen: de gemiddelde persoon in de Verenigde Staten genereert ongeveer 20 ton aan koolstofemissies per jaar, wat betekent dat dit hele onderzoeksproject de productie van iets meer dan twee jaar aan emissies van één persoon betekende. Hoewel dit klein lijkt in vergelijking met industriële vervuiling, is het aanzienlijk voor een enkel onderzoeksproject. De studie concludeerde dat de grootste drijfveer van deze voetafdruk de koolstofintensiteit van de elektriciteit was die voor de training werd gebruikt. Door ervoor te kiezen om hun berekeningen uit te voeren op een locatie met schonere energie, schatte het team dat ze de totale voetafdruk met meer dan de helft hadden kunnen verminderen.

Het artikel suggereert niet dat we moeten stoppen met het bouwen van grote taalmodellen, maar het betoogt dat we meer bedacht moeten zijn op hoe we ze bouwen. De onderzoekers bevelen aan dat toekomstige projecten systematisch alle bronnen van emissies moeten volgen, en niet alleen de trainingstijd. Ze suggereren dat het kiezen van datacenters met schone energie, het minimaliseren van onnodige reizen en het gebruik van efficiëntere computerhardware de milieukosten drastisch kunnen verlagen. Ze benadrukken ook dat naarmate de technologie verbetert en het trainingsproces efficiënter wordt, de focus moet verschuiven naar de andere kosten, zoals reizen en het langdurige gebruik van de modellen. Door een holistisch beeld te schetsen, kan de wetenschappelijke gemeenschap de kunstmatige intelligentie blijven ontwikkelen terwijl ze een nauwlettend oog houdt op de impact op de planeet.