Carbon-Aware Quality Adaptation for Energy-Intensive Services

Dit artikel introduceert een forecast-gebaseerde optimalisatiemethode die de koolstofuitstoot van energie-intensieve diensten, zoals generatieve AI, verlaagt door de kwaliteit van antwoorden dynamisch aan te passen aan de koolstofintensiteit van het elektriciteitsnet, waardoor emissies met tot 10% kunnen worden gereduceerd zonder de beschikbaarheid te beïnvloeden.

De kern

Koolstofbewuste Kwaliteit: Slimmer Rekenen voor een Groenere Toekomst

Stel je voor dat je een gigantische, digitale fabriek runt die constant vragen beantwoordt. Denk aan een super-intelligente chatbot die miljoenen mensen helpt. Deze fabriek heeft een groot probleem: hij eet enorm veel stroom. En als die stroom uit een kolencentrale komt, is dat slecht voor het klimaat. Als hij uit de zon of wind komt, is het juist goed.

De meeste mensen denken dat de enige oplossing is om de fabriek minder hard te laten werken of hem ver te verplaatsen naar een plek waar de wind waait. Maar wat als je de fabriek niet kunt verplaatsen? Wat als de vragen van de mensen te snel moeten worden beantwoord, of als de data te gevoelig is om te verplaatsen?

Dat is precies wat deze onderzoekers van de TU Berlin en Huawei hebben bedacht. In plaats van de fabriek te verplaatsen, veranderen ze hoe de fabriek werkt, afhankelijk van hoe "schoon" de stroom op dat moment is.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. De "Burgers" en de "VIP's"

Stel je een restaurant voor dat twee soorten menu's heeft:

• Het VIP-menu: Een dure, uitgebreide maaltijd met de beste chef-koks. Dit kost veel energie om te bereiden, maar het is heerlijk.
• Het Basis-menu: Een snelle, simpele maaltijd. Minder energie, minder tijd, maar ook minder luxe.

In de wereld van AI betekent dit:

• VIP (Hoge Kwaliteit): De AI gebruikt een enorm, slim model (zoals een superchef) om een perfect antwoord te geven. Dit kost veel stroom.
• Basis (Lage Kwaliteit): De AI gebruikt een kleiner, sneller model. Het antwoord is nog steeds goed, maar misschien iets minder diepgaand. Dit kost veel minder stroom.

2. De "Stroommeter" van het Net

De elektriciteit in ons land is niet altijd even schoon. Soms waait het hard en komt er veel zonnepanelen-stroom uit het stopcontact (de "koolstofintensiteit" is laag). Soms is het windstil en draait de kolencentrale op volle toeren (de koolstofintensiteit is hoog).

De onderzoekers zeggen: "Waarom niet slim spelen met het menu?"

• Als de stroom heel schoon is: Laat de AI het VIP-menu serveren! Geef de mensen de allerbeste antwoorden. Omdat de stroom schoon is, maakt het weinig uit dat het veel energie kost.
• Als de stroom vies is (bijvoorbeeld 's avonds als de zon weg is): Schakel over op het Basis-menu. Geef de mensen een iets sneller, iets simpeler antwoord. Je bespaart hierdoor direct veel CO2-uitstoot.

3. De "Jaarplafond" (Het Budget)

Er is nog een slimme truc. Stel dat je een jaarbudget hebt voor hoeveel CO2 je mag uitstoten. Je wilt niet dat je in januari al je budget opmaakt en in december niets meer kunt doen.

De computer van deze onderzoekers doet een soort rekenkunst:

1. Hij kijkt naar de voorspelling van de stroommix voor de komende maanden.
2. Hij berekent precies hoeveel "VIP-antwoorden" hij mag geven en hoeveel "Basis-antwoorden" hij moet serveren, zodat je precies binnen je jaarbudget blijft.
3. Als er een periode komt met veel schone stroom, geeft hij meer VIP-antwoorden. Als er een periode komt met vieze stroom, schakelt hij automatisch over op Basis.

Het resultaat? De mensen merken er vaak niets van. Soms is het antwoord een fractie van een seconde sneller of iets minder uitgebreid, maar de totale uitstoot van de hele dienst daalt met wel 10%.

Waarom is dit zo belangrijk?

Vroeger dachten experts: "Om CO2 te besparen, moeten we de werklast verplaatsen naar een ander land." Maar dat werkt niet voor alles (denk aan privacy of snelheid).

Deze nieuwe methode is als een slimme thermostaat voor de hele wereld van AI. Je hoeft de verwarming niet uit te doen, je regelt hem gewoon slim: als de zon schijnt, mag het lekker warm zijn. Als het koud is, doe je de jas aan.

Kortom: Door de kwaliteit van de antwoorden van AI een beetje te laten variëren, afhankelijk van hoe schoon de stroom is op dat moment, kunnen we enorme hoeveelheden CO2 besparen zonder dat de dienst stopt of verlaat. Het is een slimme manier om te leven met de natuur, in plaats van er tegenin te gaan.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Carbon-Aware Quality Adaptation for Energy-Intensive Services" in het Nederlands.

Titel: Koolstofbewuste Kwaliteitsaanpassing voor Energie-intensieve Diensten

Auteurs: Philipp Wiesner, Dennis Grinwald, Philipp Weiß, Patrick Wilhelm, Ramin Khalili, en Odej Kao (Technische Universität Berlin & Huawei Technologies).

---

1. Probleemstelling

De energievraag van moderne cloudservices, met name die gerelateerd aan generatieve AI (zoals Large Language Models of LLM's), groeit met ongekende snelheid. Bestaande strategieën voor koolstofbewust computing richten zich voornamelijk op:

• Batch-verwerking: Het uitstellen van taken naar tijdstippen met een lagere koolstofintensiteit.
• Geografische load balancing: Het verplaatsen van werklasten naar regio's met schoner energie.

De beperking: Deze benaderingen zijn vaak niet toepasbaar op interactieve diensten die constante beschikbaarheid vereisen op specifieke locaties vanwege latentie-eisen, privacyregels, data-lokalisatie of infrastructuurbeperkingen. Voor diensten die gebonden zijn aan één regio, is er een gebrek aan strategieën om de koolstofvoetafdruk te verkleinen zonder de beschikbaarheid te compromitteren.

De oplossing: Het paper introduceert het concept om de Kwaliteit van Antwoorden (Quality of Responses - QoR) dynamisch aan te passen op basis van de koolstofintensiteit van het elektriciteitsnet. In plaats van alleen energie te besparen door efficiënter te werken, wordt de servicekwaliteit tijdelijk verlaagd tijdens momenten van hoge koolstofintensiteit, wat leidt tot extra koolstofbesparingen.

---

2. Methodologie

Definitie van QoR

De auteurs definiëren QoR als een metriek die het aandeel van verzoeken aangeeft dat wordt bediend door twee verschillende serviceniveaus (tiers):

• Tier 1 (Laag): Een energie-efficiëntere, maar minder krachtige configuratie (bijv. een kleiner LLM-model of minder gegenereerde tokens).
• Tier 2 (Hoog): Een energie-intensieve, hoogwaardige configuratie (bijv. een groter model).
• QoR-waarde: Een waarde van 0 betekent dat 100% van de verzoeken via Tier 1 wordt verwerkt; 1 betekent 100% via Tier 2. Een waarde van 0,5 betekent een gelijke verdeling.

Optimalisatieprobleem

Het doel is om de totale koolstofemissies te minimaliseren over een tijdshorizon (bijv. één jaar), onder de volgende randvoorwaarden:

1. Capaciteit: Alle binnenkomende verzoeken moeten worden verwerkt.
2. QoR-beperking: Het gemiddelde QoR over een geldigheidsperiode (validity period, $\gamma$) moet een bepaalde drempel ($QoR_{target}$) niet overschrijden.
3. Koolstofintensiteit: De emissies worden berekend op basis van de lokale koolstofintensiteit ($C_i$) en het energieverbruik van de machines.

Het probleem wordt gemodelleerd als een Mixed-Integer Linear Programming (MILP) probleem. De auteurs tonen aan dat dit probleem NP-hard is.

Online Multi-Horizon Benadering

Omdat het oplossen van een jaarlijkse optimalisatie in real-time onmogelijk is (door forecast-fouten en rekentijd), stellen de auteurs een multi-horizon optimalisatie voor (Algorithm 1):

1. Lange-termijn optimalisatie: Wordt periodiek uitgevoerd (bijv. elke 24 uur). Het lost het MILP op voor de resterende periode van het jaar om de globale haalbaarheid te garanderen en de $QoR_{target}$ te bepalen.
2. Korte-termijn optimalisatie: Wordt elke uur uitgevoerd binnen een kortere horizon (bijv. 24 uur). Dit past de beslissingen aan op basis van recente voorspellingen en verbetert suboptimale lange-termijn beslissingen.
3. Automatische Budgetaanpassing: Voor "best-effort" gebruikers kan het doel worden omgekeerd: in plaats van een vaste QoR te garanderen, wordt de $QoR_{target}$ dynamisch aangepast om binnen een vast jaarlijks koolstofbudget te blijven, terwijl de kwaliteit zo hoog mogelijk wordt gehouden.

Power Attribution

Het paper bespreekt twee methoden voor het toewijzen van stroomverbruik:

• Utilisatie-gebaseerd: Vermogen hangt af van de belasting.
• Tijdsgebaseerd: Elke actieve machine krijgt een vast toegewezen vermogen per tijdseenheid.
  De auteurs bewijzen (in Appendix H) dat onder bepaalde aannames (concave vermogensfuncties) beide methoden leiden tot dezelfde optimale provisioneringsbeslissingen.

---

3. Belangrijkste Bijdragen

1. Formalisatie van het probleem: De eerste formalisatie van het minimaliseren van emissies onder QoR-beperkingen door het optimaliseren van resource provisioning en load balancing tussen twee kwaliteitsniveaus.
2. Voorspellingsgebaseerde optimalisatie: Een nieuwe multi-horizon optimalisatie-algoritme dat close-to-optimal koolstofbesparingen bereikt, zelfs met onvolmaakte voorspellingen.
3. Empirische evaluatie: Een uitgebreide simulatie van een grote LLM-service (LLaMA 3.1) over het jaar 2023, gebruikmakend van realistische en synthetische verzoekspatronen in 10 verschillende regio's wereldwijd.
4. Open Source: Alle code en data zijn publiek beschikbaar gesteld.

---

4. Resultaten

De evaluatie is uitgevoerd met een LLaMA 3.1 model (8B vs. 70B parameters) en diverse request traces (Wiki, Taxi, synthetische data) in regio's zoals Duitsland, Californië, Polen, Zweden, etc.

• Potentieel voor besparing: Door de QoR strategisch aan te passen op basis van koolstofintensiteit, kunnen er tot 10% extra koolstofbesparingen worden behaald, naast de besparingen die al worden behaald door puur energie-efficiëntie.
• Invloed van geldigheidsperiode ($\gamma$):
  • Korte perioden (uren) bieden weinig ruimte voor optimalisatie omdat de gemiddelde koolstofintensiteit op korte termijn stabiel is.
  • Langere perioden (bijv. 1 week) bieden meer flexibiliteit om verzoeken te verschuiven naar schonere momenten, wat leidt tot besparingen van ongeveer 8%.
  • Trade-off: Te lange perioden kunnen leiden tot langdurige periodes van lage servicekwaliteit voor gebruikers, wat in de praktijk problematisch kan zijn.
• Realistische omstandigheden: Zelfs met onnauwkeurige voorspellingen en beperkte rekentijd (stop na 30s voor lange-termijn, 10s voor korte-termijn), bereikt de online aanpak 82% ± 6% van het theoretisch maximale besparingspotentieel.
• Regionale verschillen: Regio's met grote dagelijkse schommelingen in koolstofintensiteit (zoals Californië door zonne-energie) tonen ander gedrag dan regio's met complexere patronen (zoals Duitsland). Regio's met zeer stabiele intensiteit (zoals Zweden) hebben minder besparingspotentieel.
• Automatische Budgetaanpassing: De methode om de QoR dynamisch aan te passen om binnen een jaarlijks budget te blijven, resulteert in een veel consistentere dagelijkse servicekwaliteit vergeleken met "greedy" baselines die vaak pieken en dalen vertonen.

---

5. Betekenis en Conclusie

Dit paper biedt een nieuwe, praktische route voor het duurzaam maken van interactieve cloudservices die niet kunnen worden verplaatst naar andere regio's of tijden.

• Nieuwe dimensie voor duurzaamheid: Het toont aan dat "Green AI" niet alleen gaat over het kiezen van schoner energie of efficiëntere hardware, maar ook over het dynamisch afwegen van servicekwaliteit tegen koolstofintensiteit.
• Toepasbaarheid: De aanpak is specifiek ontworpen voor diensten met lage tolerantie voor vertraging (zoals chatbots en zoekmachines), waar traditionele batch-scheduling niet werkt.
• Toekomstperspectief: De auteurs wijzen erop dat toekomstig werk moet kijken naar heterogene machines, meerdere kwaliteitsniveaus en de mogelijke gedragsreacties van gebruikers (bijv. of gebruikers vaker verzoeken sturen bij lage kwaliteit, wat de besparingen teniet zou kunnen doen).

Kortom, de studie demonstreert dat een slimme, voorspellingsgebaseerde aanpassing van de servicekwaliteit een significante bijdrage kan leveren aan de vermindering van de CO2-uitstoot van de groeiende AI-sector.