Wasted large language models: A life cycle thinking approach
Dit artikel stelt voor om het afvalhiërarchie-raamwerk van de EU toe te passen op Large Language Models (LLM's) als een levenscyclusbenadering om hun groeiende milieu-impact te beperken, waarbij wordt benadrukt dat het voorkomen van onnodig gebruik en het trainen van nieuwe modellen de meest effectieve strategie is om hun koolstofvoetafdruk te verkleinen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
We leven in een tijdperk waarin machines poëzie kunnen schrijven, complexe vergelijkingen kunnen oplossen en computercode kunnen genereren met verbazingwekkende snelheid. Deze machines worden aangedreven door grote taalmodellen, een type kunstmatige intelligentie dat leert door enorme hoeveelheden informatie te verwerken. Hoewel deze tools beloven de manier waarop we werken te revolutioneren, brengen ze een zware prijs met zich mee: ze verbruiken enorme hoeveelheden elektriciteit om getraind en uitgevoerd te worden, wat een aanzienlijke ecologische voetafdruk achterlaat op de planeet. Jarenlang hebben wetenschappers geprobeerd deze modellen energie-efficiënter te maken, in de hoop hun milieu-impact te verminderen. Echter, een fenomeen dat bekend staat als de Jevons-paradox ondermijnt deze inspanningen vaak; naarmate modellen efficiënter en goedkoper in gebruik worden, hebben we de neiging om ze meer te gebruiken, niet minder, wat leidt tot een netto toename van het totale energieverbruik. Dit creëert een dringende behoefte aan een ander soort oplossing, een die verder kijkt dan eenvoudige efficiëntie en naar de gehele levenscyclus van de technologie kijkt, van de creatie tot de uiteindelijke pensionering.
Een team van onderzoekers van SINTEF Digital in Noorwegen heeft een frisse manier voorgesteld om over dit probleem na te denken door een concept toe te passen dat normaal gesproken is voorbehouden aan fysiek afval: de afvalhiërarchie. In de Europese Unie geven wetten met betrekking tot fysiek afval prioriteit aan vijf stappen: het voorkomen van afvalproductie in de eerste plaats, het hergebruiken van items, het recyclen ervan tot nieuwe materialen, het terugwinnen van energie uit deze items, en tot slot, het verantwoord afvoeren ervan. De onderzoekers stellen voor dat we grote taalmodellen niet alleen als software moeten zien, maar als producten die afval kunnen worden. Net zoals een plastic fles kan worden weggegooid wanneer deze niet langer nuttig is, kan een taalmodel afval worden wanneer het wordt vervangen door een nieuwere versie of simpelweg wordt achtergelaten. Door deze digitale tools te beschouwen als producten met een levenscyclus, betogen de auteurs dat we nieuwe manieren kunnen vinden om hun milieu-impact te verminderen die verder gaan dan alleen het sneller of kleiner maken van de modellen.
De kern van het argument van de onderzoekers is dat de meest effectieve manier om de klimaatimpact van kunstmatige intelligentie te verlagen, het voorkomen van afval is door het onnodig creëren van nieuwe modellen te vermijden. Wanneer een nieuw model wordt getraind, vereist dit enorme hoeveelheden energie voor gegevensverwerking, experimenten en het eigenlijke leerproces. Als we de levensduur van een bestaand model kunnen verlengen of manieren kunnen vinden om het voor verschillende taken te hergebruiken, vermijden we de noodzaak om energie te verbranden om een nieuw model vanaf nul op te bouwen. Het artikel benadrukt dat, in tegen tegenstelling tot fysieke objecten, software niet kan breken of slijten, dus de belangrijkste reden dat modellen afval worden, is dat ze worden vervangen door nieuwere, snellere versies. Deze snelle omloop wordt gedreven door een concurrerende markt waar laboratoria constant geüpdatete modellen uitbrengen, waardoor de vorige vaak al verouderd zijn voordat ze volledig zijn benut. De onderzoekers suggereren dat het verschuiven van onze focus van het najagen van de absolute beste prestaties naar het vinden van wat "goed genoeg" is, deze cyclus van vervanging aanzienlijk kan vertragen en de energie die aan training wordt besteed kan verminderen.
Om het afval te beheren dat toch voorkomt, onderzoeken de auteurs hoe de andere stappen van de afvalhiërarchie op digitale modellen kunnen worden toegepast. Hergebruik is de meest directe aanpak; omdat digitale modellen zonder kosten kunnen worden gekopieerd, moeten we hun gebruik maximaliseren bij verschillende toepassingen voordat we ze als verouderd beschouwen. Het artikel wijst op technieken zoals "fine-tuning", waarbij een bestaand model een kleine hoeveelheid nieuwe training krijgt om te specialiseren in een specifieke taak, als een vorm van recycling. Dit maakt het mogelijk om het oorspronkelijke, energie-intensieve model aan te passen in plaats van het weg te gooien. Op dezelfde manier houdt "terugwinning" in dat er manieren worden gezocht om deze modellen langer nuttig te maken, zoals het verbinden van deze modellen aan externe databases om hun nauwkeurigheid te verbeteren zonder ze vanaf nul opnieuw te hoeven trainen. Zelfs de laatste stap, verwijdering, wat meestal betekent dat iets wordt weggegooid, heeft hier een rol. Hoewel het verwijderen van een digitaal bestand geen fysieke resten achterlaat, verbruiken de servers die ongebruikte modellen opslaan nog steeds elektriciteit. Daarom is het actief verwijderen van modellen die niet langer nodig zijn een praktische manier om energie te besparen en respect te tonen voor de middelen die in hun creatie zijn geïnvesteerd.
De onderzoekers waarschuwen ook tegen de "wegwerpcultuur" die digitale gemak bevordert. Omdat het verwijderen van een model gevoelsmatig geen kosten met zich meebrengt, negeren ontwikkelaars en gebruikers vaak de enorme hoeveelheid energie en tijd die in de creatie ervan is geïnvesteerd. Het artikel merkt op dat er momenteel een kloof bestaat in hoe we met deze tools omgaan; interfaces stimuleren vaak constant gebruik zonder gebruikers te helpen de milieukosten te begrijpen of hen naar efficiëntere alternatieven te leiden. De auteurs suggereren dat we bewuster moeten worden van wanneer een groot taalmodel daadwerkelijk noodzakelijk is versus wanneer een eenvoudiger, minder energie-intensief hulpmiddel zou volstaan. Ze betogen dat hoewel de technologie krachtig is, de waarde ervan moet worden afgewogen tegen de kosten, en dat blindelings de trend van constante modelupdates volgen, ons kan leiden tot het verspillen van middelen aan producten die weinig netto voordeel bieden.
Uiteindelijk claimt deze studie niet de klimaatcrisis van kunstmatige intelligentie te hebben opgelost, noch suggereert het dat we de ontwikkeling van nieuwe modellen geheel moeten stoppen. In plaats daarvan biedt het een kader om meer zorgvuldig na te denken over de levenscyclus van deze tools. Door grote taalmodellen te beschouwen als producten die afval kunnen worden, kunnen we kansen identificeren om onnodige training te voorkomen, de bruikbare levensduur van bestaande modellen te verlengen en ongebruikte modellen verantwoord af te voeren. De auteurs stellen dat deze verschuiving in perspectief essentieel is voor een beweging naar een meer duurzame toekomst voor kunstmatige intelligentie, waarbij zij ons oproepen de middelen die we al hebben verbruikt te waarderen voordat we overhaast iets nieuws creëren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.