Evaluating the Environmental Impact of using SLMs and Prompt Engineering for Code Generation
Dit onderzoek toont aan dat bij het gebruik van Small Language Models voor codegeneratie strategieën zoals Chain-of-Thought een optimale balans bieden tussen prestaties en duurzaamheid, terwijl de koolstofintensiteit van het lokale elektriciteitsnet de grootste factor is voor de totale uitstoot.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme bibliotheek hebt vol met slimme, maar verschillende soorten bibliothecarissen. Sommige zijn gigantisch en kunnen alles, maar ze eten enorm veel stroom om te werken. Andere zijn kleiner, lichter en kunnen op je eigen laptop draaien. De laatste tijd kiezen steeds meer mensen voor die kleinere bibliothecarissen (de SLMs of Small Language Models) omdat ze privacy bieden en niet afhankelijk zijn van grote bedrijven.
Maar hier zit een addertje onder het gras: terwijl de grote bibliothecarissen hun stroomverbruik in een centraal gebouw hebben, verplaatsen de kleine bibliothecarissen het energieverbruik naar jouw huis. En dat is vaak onzichtbaar.
Dit onderzoek kijkt naar een heel nieuw vraagstuk: Hoe kunnen we deze slimme bibliothecarissen vragen om code te schrijven, zonder dat we per ongeluk de hele wereld opwarmen?
Hier is wat ze hebben ontdekt, vertaald naar alledaagse taal:
1. De "Vraag" maakt het verschil (Prompt Engineering)
Stel je voor dat je een bibliothecaris iets vraagt. Je kunt het op twee manieren doen:
- De snelle vraag: "Schrijf me een programma." (Dit heet Direct Prompting).
- De denkende vraag: "Schrijf me een programma, maar leg eerst stap voor stap uit hoe je tot dat antwoord komt." (Dit heet Chain-of-Thought of CoT).
Wat ze ontdekten:
Veel mensen denken dat als je een bibliothecaris dwingt om eerst te "nadenken" (CoT), het veel meer stroom kost. Maar verrassend genoeg bleek dit niet zo!
- De methode waarbij je de bibliothecaris dwingt om stap-voor-stap te redeneren, gaf bijna net zo goede resultaten als de methoden waarbij je 5 keer dezelfde vraag stelt en het beste antwoord kiest (wat veel stroom kost).
- De les: Het is alsof je iemand vraagt om een recept te schrijven. Als je zegt: "Denk eerst na over de ingrediënten, schrijf dan het recept", krijg je vaak een beter resultaat dan als je zegt: "Schrijf maar wat, en doe het 5 keer als het niet lukt." De eerste methode is slimmer en goedkoper voor het milieu.
2. Groter is niet altijd beter (en soms juist slechter)
Je zou denken: "Hoe groter de bibliothecaris, hoe slimmer en zuiniger hij is."
De realiteit: Niet per se.
- Een heel grote bibliothecaris (34 miljard "neuronen") was soms net zo goed als een kleinere (7 miljard), maar verbruikte meer stroom.
- Soms waren de kleinste bibliothecarissen zelfs beter dan de grote, omdat ze specifiek waren getraind om te redeneren.
- De les: Je hoeft niet per se de duurste, grootste auto te kopen om van A naar B te komen. Een slimme, compacte auto doet het vaak net zo goed en verbruikt minder benzine.
3. De "Stroomkraan" van je regio is belangrijker dan je computer
Dit is misschien wel het belangrijkste punt van het hele onderzoek.
Stel je hebt twee mensen die exact hetzelfde doen op exact dezelfde computer:
- Piet zit in Alberta (Canada), waar de stroom vooral komt uit kolen en gas.
- Anja zit in Ontario (Canada), waar de stroom komt uit kernenergie en waterkracht.
Het resultaat:
Anja's computer verbruikte meer stroom dan Piet's, maar Anja's CO2-uitstoot was 78% lager!
- De les: Het maakt niet uit of je een dure, snelle computer hebt of een langzame. Het maakt veel meer uit waar die computer staat. Als je stroom uit een "schoone" regio komt, is je digitale werk veel groener dan als je stroom uit een "vies" gebied komt. De "koolstofintensiteit" van je regio is de belangrijkste knop om op te draaien.
4. Snelheid is de sleutel tot zuinigheid
Hoe langer je computer aan staat om een antwoord te genereren, hoe meer stroom het kost.
- Het aantal woorden (tokens) dat de computer schrijft, is minder belangrijk dan hoe lang het duurt om die woorden te produceren.
- De les: Het is alsof je een auto hebt. Het is niet zozeer belangrijk hoe ver je rijdt (het aantal woorden), maar hoe lang de motor draait. Als je slimme software gebruikt die de computer snel laat werken, verbruik je minder stroom, zelfs als je een lang antwoord krijgt.
Samenvatting: Wat moeten we doen?
De onderzoekers geven ons drie simpele regels voor een "groene" toekomst met AI:
- Vraag slim, niet hard: Gebruik de "Chain-of-Thought" methode (laat de AI eerst nadenken). Dit geeft de beste balans tussen een goed antwoord en weinig stroomverbruik.
- Kies je locatie: Als je een bedrijf bent dat AI gebruikt, probeer dan je servers in een regio te plaatsen waar de stroom schoon is (zoals bij waterkracht of kernenergie). Dat bespaart meer dan het upgraden van je hardware.
- Kijk niet alleen naar de snelheid: Een snellere computer is goed, maar een computer die draait op schone energie is nog beter.
Conclusie in één zin:
We hoeven niet te kiezen tussen slimme code en een groene planeet; door slim te vragen en te kiezen voor schone stroom, kunnen we beide krijgen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.