Temperature-Aware Scheduling of LLM Inference in Large-Scale Geo-Distributed Edge Data Centers with Distributed Optimization

Deze studie introduceert een temperatuurbewuste, gedistribueerde optimalisatiebenadering voor het co-optimiseren van energiekosten, CO₂-uitstoot, waterverbruik en responstijd bij de inferentie van grote taalmodellen in geo-gedistribueerde edge datacenters in Australië.

De kern

Stel je voor dat de wereldwijde "brein" van de kunstmatige intelligentie (LLMs, zoals ChatGPT) niet in één groot, statig gebouw zit, maar verspreid is over honderden kleine, slimme postkantoren verspreid over heel Australië. Deze postkantoren noemen we Edge Data Centers.

Deze paper is als het ware een slim verkeersregelsysteem voor deze postkantoren, maar dan met een heel belangrijk nieuw ingrediënt: de temperatuur.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De Koelkast die te hard werkt

Tot nu toe hebben mensen zich vooral zorgen gemaakt over hoeveel stroom het leren van deze AI kost. Maar het blijkt dat het gebruiken (het beantwoorden van vragen) veel meer energie, water en CO2 kost.

Het grootste probleem zit in de koeling. Datacenters worden heet, net als een computer die te lang speelt. Ze hebben enorme airco's nodig om ze koud te houden.

• De oude manier: Men dacht: "Een airco werkt overal even goed."
• De nieuwe ontdekking: Dat is niet waar! Een airco in een koud bergdorpje in de winter werkt veel efficiënter dan een airco in een hittebad in de tropen. Het is alsof je probeert een ijsje te koelen: in de sneeuw kost dat bijna geen moeite, maar in de woestijn moet je de airco op volle kracht zetten.

De auteurs zeggen: "Waarom sturen we alle zware rekenwerk naar het hete kantoor, als we het ook naar het koele kantoor kunnen sturen?"

2. De Oplossing: De Slimme Verkeersregelaar

De onderzoekers hebben een slim algoritme (een soort digitale verkeersregelaar) bedacht dat temperatuur-bewust is.

Stel je voor dat je een pakketje (een AI-vraag) moet bezorgen. De oude regelaar keek alleen naar: "Wat is de snelste route?" De nieuwe regelaar kijkt naar een vierdubbele balans:

1. Snelheid: Hoe snel krijg ik het antwoord? (Zoals een bezorger die niet vaststaat in de file).
2. Stroomkosten: Hoeveel geld kost de elektriciteit? (Zoals het kiezen van een goedkoop tankstation).
3. CO2-uitstoot: Hoeveel rook komt er vrij? (Zoals het kiezen voor een elektrische vrachtwagen in plaats van een diesel).
4. Waterverbruik: Hoeveel water gebruiken we? (Want de koeling en de stroomopwekking verbruiken veel water, net als een zwembad dat voortdurend wordt bijgevuld).

3. Hoe werkt het? (De "Distributie")

In plaats van één centrale computer die alles regelt (wat traag is), laten ze de datacenters zelf met elkaar praten. Ze gebruiken een methode die ADMM heet.

• De analogie: Stel je voor dat elke datacenter een eigen chef-kok is. In plaats van dat één hoofdkantoor elke kok vertelt wat hij moet koken, roepen de chefs even "Hoi, ik heb het koud en kan extra eten verwerken" of "Ik heb het heet, stuur het maar door naar de buren". Ze onderhandelen samen over wie wat doet, zodat het totale energieverbruik minimaal is en het eten (de antwoorden) snel klaar is.

4. Wat hebben ze gevonden? (De Resultaten)

Ze hebben hun slimme regelaar getest tegen twee andere bekende methoden (Helix en Splitwise) in 20 datacenters door heel Australië.

• Het resultaat: Hun methode (genaamd "Opt-Balance") was de winnaar.
• De vergelijking: Het was net als een race tussen auto's. De andere methoden waren snel, maar verbruikten veel benzine en water. De nieuwe methode was bijna even snel, maar gebruikte veel minder brandstof, minder water en stootte minder uit.
• De winst: Ze konden de koelkosten en het waterverbruik flink omlaag brengen zonder dat de gebruikers merkten dat het antwoord langer duurde.

Conclusie in één zin

Deze paper leert ons dat we niet alleen moeten kijken naar waar we onze AI-vragen laten beantwoorden, maar ook naar hoe warm het daar is. Door slim te kiezen tussen koude en warme plekken, kunnen we de AI wereld groener, goedkoper en zuiniger maken, zonder dat het langzamer wordt.

Kortom: Gebruik de winter om te koelen, zodat je in de zomer minder hoeft te zweten!

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Temperature-Aware Scheduling of LLM Inference in Large-Scale Geo-Distributed Edge Data Centers with Distributed Optimization", geschreven in het Nederlands.

Probleemstelling

De groei van Large Language Models (LLM's) leidt tot een enorme toename in energie- en hulpbronverbruik in datacenters. Hoewel de focus vaak ligt op het trainen van deze modellen, blijkt dat de inferentiefase (het uitvoeren van de modellen) jaarlijks ongeveer 25 keer meer rekenkracht verbruikt dan het trainen. De milieu-impact is aanzienlijk:

• Koolstofvoetafdruk: De emissies tijdens inferentie kunnen 1.400 keer hoger zijn dan die van training.
• Waterverbruik: Datacenters verbruiken enorme hoeveelheden water voor koeling en stroomopwekking.
• Koelingsinefficiëntie: Bestaande modellen voor workload-scheduling behandelen koelingssystemen vaak met een locatie-onafhankelijke efficiëntiewaarde. Dit negeert echter het cruciale feit dat de omgevingstemperatuur de energie-efficiëntie van koelsystemen (zoals CRAC-eenheden) sterk beïnvloedt. In koudere gebieden is koeling veel efficiënter dan in warme gebieden.

Het huidige gebrek aan temperatuur-bewustzijn in scheduling leidt tot suboptimale prestaties, hogere kosten en een grotere ecologische voetafdruk in geo-gedistribueerde edge datacenters.

Methodologie

De auteurs stellen een temperatuur-bewuste, gedistribueerde optimalisatiebenadering voor om LLM-inferentieworkloads te plannen over geo-gedistribueerde edge datacenters (specifiek getest in Australië).

1. Geavanceerde Modellen:

   • Energie: Het model berekent IT-energieverbruik per knooppunt op basis van de werkstatus (aan, idle, uit) en de thermische ontwerpvermogen (TDP). De totale energie omvat IT-verbruik, mechanische koeling (waarbij CRAC en chillers worden gemodelleerd) en stroomconditionering.
   • Koelingsefficiëntie: In tegenstelling tot eerdere studies, wordt de koelingsenergie gekoppeld aan de lokale omgevingstemperatuur. Dit beïnvloedt de Coefficient of Performance (CoP) en dus het totale energieverbruik.
   • Waterverbruik: Het model houdt rekening met verdamping, afvoer (blowdown) en het waterintensiteit van de stroombronnen (grid).
   • Koolstofemissies: Berekening op basis van de koolstofintensiteit van het elektriciteitsnet en de emissies gerelateerd aan waterproductie en -behandeling.
   • LLM-specifieke metrics: Het model integreert het geheugenvoetafdruk (parameters + KV-cache) en de Time-to-First-Token (TTFT), inclusief laadoverhead.

2. Optimalisatie-algoritme:

   • Het probleem wordt geformuleerd als een multi-objective optimalisatieprobleem dat streeft naar het minimaliseren van energiekosten, koolstofemissies, waterverbruik en TTFT.
   • Om dit op te lossen in een gedistribueerde omgeving, wordt gebruikgemaakt van de Alternating Direction Method of Multipliers (ADMM). Dit zorgt voor een schaalbare oplossing waarbij datacenters lokaal kunnen optimaliseren terwijl ze globale constraints respecteren, zonder dat alle data naar een centrale server hoeft te gaan.

Belangrijkste Bijdragen

• Temperatuur-bewuste Scheduling: Een nieuwe aanpak die de geografische variatie in omgevingstemperatuur benut om de totale koelingsenergie te minimaliseren.
• Gecombineerde Optimalisatie: Een formulering die vier kritieke doelen tegelijkertijd optimaliseert: energiekosten, koolstofemissies, waterverbruik en responsiviteit (TTFT).
• Gedetailleerd Milieumodel: Een uitgebreid model voor elke datacenterlocatie dat rekening houdt met heterogene hardware, variërende temperaturen en verschillende energiebronnen (zonne, kolen, waterkracht, wind).
• Gedistribueerde Implementatie: Het gebruik van ADMM maakt de oplossing geschikt voor schaalbare, geo-gedistribueerde netwerken zonder centrale bottleneck.

Resultaten

De voorgestelde methode is getest op een simulatie van 20 edge datacenters in Australië met 200 compute nodes per locatie. De resultaten zijn vergeleken met twee bestaande methoden:

1. Helix: Gebaseerd op Mixed-Integer Linear Programming (MILP).
2. Splitwise: Een op wachtrijen gebaseerde aanpak.

Vergelijkingsresultaten:

• De Opt-Balance oplossing (de voorgestelde methode) presteerde over het algemeen superieur aan zowel Helix als Splitwise.
• TTFT: De voorgestelde methode behaalde een vergelijkbare Time-to-First-Token als Splitwise, maar met aanzienlijk lagere milieukosten.
• Duurzaamheid: In vergelijking met Splitwise en Helix, resulteerde de nieuwe aanpak in:
  • Lagere koolstofemissies.
  • Minder waterverbruik.
  • Lagere energiekosten.
• De resultaten tonen aan dat single-objective optimalisaties (alleen op kosten of alleen op emissies) soms beter presteren in hun specifieke domein, maar de Opt-Balance oplossing biedt de beste algehele compromisoplossing zonder significante inlevering op prestaties.

Betekenis en Conclusie

Dit onderzoek benadrukt dat het negeren van lokale omgevingsfactoren, zoals temperatuur, leidt tot inefficiënt gebruik van resources in de AI-sector. Door LLM-inferentie dynamisch te verplaatsen naar datacenters waar de koeling op dat moment het meest efficiënt is (bijvoorbeeld door gebruik te maken van koelere nachten of koudere regio's), kan de ecologische voetafdruk van AI aanzienlijk worden verminderd.

De studie biedt een praktische, schaalbare route voor datacenterbeheerders om de operationele kosten te verlagen en tegelijkertijd hun duurzaamheidsdoelen te halen, wat essentieel is voor de toekomstige groei van Large Language Models in een klimaatcrisis-context.