💻 computer science

LLM-Powered Predictive Decision-Making for Sustainable Data Center Operations

Dit artikel presenteert een door LLM aangedreven voorspellend planningssysteem dat de uitvoeringstijd en het energieverbruik voorspelt op basis van broncode om de GPU-resourceallocatie te optimaliseren, waarbij een reductie van 32% in energieverbruik en een afname van 30% in wachttijd wordt bereikt voor duurzame datacenteroperaties.

Oorspronkelijke auteurs: Hanzhao Wang, Jingxuan Wu, Yumeng Li, Yu Pan, Guanting Chen

Gepubliceerd 2026-08-20

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hanzhao Wang, Jingxuan Wu, Yumeng Li, Yu Pan, Guanting Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De moderne wereld draait op een stille, onzichtbare motor: het datacenter. Deze enorme magazijnen vol computerservers voeden alles, van het streamen van films tot de kunstmatige intelligentie-instrumenten die de manier waarop we werken en denken hervormen. Deze digitale luxe heeft echter een zware fysieke prijs. Het trainen van de meest geavanceerde AI-modellen vereist enorme hoeveelheden rekenkracht, wat op zijn beurt weer enorme hoeveelheden elektriciteit en water voor koeling vereist. Naarmate de vraag naar deze intelligente systemen groeit, neemt ook de druk op onze energienetten en het milieu toe. De uitdaging voor ingenieurs is niet langer alleen om deze systemen sneller te maken; het gaat erom ze duurzaam te maken, om ervoor te zorgen dat de digitale toekomst niet de fysieke middelen verbruikt die nodig zijn om haar te ondersteunen.

Om deze groeiende spanning aan te pakken, heeft een team onderzoekers een nieuwe manier ontwikkeld om de stroom van werk binnen deze datacenters te beheren. In plaats van te gokken hoe lang een computertaken zal duren of hoeveel stroom het zal verbruiken, hebben ze een systeem gecreëerd dat een geavanceerd taalmodel gebruikt om de computercode zelf te lezen en de uitkomst te voorspellen nog voordat het werk begint. Deze aanpak behandelt de broncode — de instructies geschreven door menselijke programmeurs — als een verhaal dat de computer kan begrijpen. Door de structuur en logica van de code te analyseren, kan het systeem inschatten hoeveel tijd nodig is om een taak te voltooien en hoeveel energie het zal verbruiken, zonder de taak eerst uit te hoeven voeren. Deze voorspellende capaciteit stelt het datacenter in staat om slimmere keuzes te maken over welke krachtige computerchips aan welke taken worden toegewezen, waarbij de belasting wordt gebalanceerd om energie te besparen en wachttijden te verkorten.

De onderzoekers bouwden een prototype-systeem dat in twee afzonderlijke fasen werkt. Eerst leest een vooraf getraind AI-model, ontworpen om menselijke taal en code te begrijpen, de instructies die door een gebruiker worden ingediend. Het vertaalt de complexe code naar een wiskundige representatie die de essentie van de taak vastlegt. Dit model vertrouwt niet op rigide, handgeschreven regels of specifieke kenmerken die ingenieurs handmatig voor elk nieuw type programma moeten definiëren. In plaats daarvan gebruikt het zijn brede training om patronen te herkennen en de context van de code te begrijpen, net zoals een bekwame lezer de plot van een verhaal kan vatten zonder een samenvatting nodig te hebben. Zodra het systeem de taak begrijpt, voorspelt het twee cruciale getallen: hoe lang de taak zal duren om te voltooien en hoeveel elektriciteit het zal gebruiken. Deze voorspellingen worden in minder dan een seconde gedaan, snel genoeg om te worden gebruikt voor realtime besluitvorming.

Met deze voorspellingen in handen neemt de tweede fase van het systeem het over: een planningsalgoritme dat beslist hoe de beschikbare computerbronnen worden verdeeld. In een typisch datacenter komen taken binnen als een continue stroom, en de beheerder moet beslissen welke computerchip aan elke taak wordt toegewezen. Als de beheerder een taak toewijst aan een chip die te krachtig is, wordt er energie verspild. Als de beheerder een taak toewijst aan een chip die te zwak is, of te lang wacht met toewijzen, blijft de taak in een wachtrij staan, wat de resultaten vertraagt. Het nieuwe systeem gebruikt de voorspellingen uit de eerste fase om de best mogelijke toewijzing voor elke inkomende taak te berekenen. Het houdt rekening met de huidige beschikbaarheid van verschillende soorten computerchips, de geschatte energiekosten en de tijd die de taak zal kosten. Het doel is om het totale energieverbruik te minimaliseren terwijl de wachttijd voor alle taken zo kort mogelijk wordt gehouden.

Om te testen of dit idee in de echte wereld werkt, werkten de onderzoekers samen met een datacenter om een simulatie uit te voeren met twee maanden aan werkelijke operationele gegevens. Ze vergeleken hun nieuwe, voorspellende systeem met de standaardmethode die de faciliteit gebruikt, die steunt op simpelere, op regels gebaseerde beslissingen. De resultaten waren significant. Het nieuwe systeem verminderde het totale energieverbruik van het datacenter met 32 procent. Tegelijkertijd verminderde het de tijd die taken doorbrachten in een wachtrij met 30 procent. Deze verbeteringen werden bereikt, niet door de hardware of de fysieke infrastructuur te veranderen, maar door te veranderen hoe het datacenter nadenkt over het werk dat het doet. Het systeem bewees dat door de code te begrijpen vóór de uitvoering, de faciliteit met veel grotere efficiëntie kon opereren.

Een van de meest opvallende aspecten van dit werk is de flexibiliteit ervan. Traditionele methoden voor het voorspellen van energieverbruik vereisen vaak een apart, op maat gemaakt model voor elk verschillend type computerprogramma. Als er een nieuw soort taak verscheen, zou het oude systeem moeite hebben met het voorspellen van de behoeften. De nieuwe aanpak gebruikt echter één enkel, verenigd model dat een grote verscheidenheid aan taken kan afhandelen, van het trainen van complexe beeldherkenningssystemen tot het draaien van taalmodellen. Dit komt omdat het onderliggende AI-model heeft geleerd de fundamentele structuur van code te begrijpen, in plaats van alleen specifieke voorbeelden te memoriseren. De onderzoekers ontdekten dat zelfs wanneer de code in een iets andere stijl was geschreven of door een ander persoon, het systeem nog steeds nauwkeurige voorspellingen kon doen. Om dit verder te verbeteren, voegden ze een secundaire stap toe waarbij het systeem onbekende code kan herschrijven naar een stijl die overeenkomt met hun trainingsdata, waardoor de voorspellingen accuraat blijven, zelfs voor taken die het systeem nog nooit eerder heeft gezien.

De studie benadrukt ook een verschuiving in hoe we over resourcebeheer kunnen denken in het digitale tijdperk. Jarenlang draalden datacenters op basis van schattingen van gebruikers of historische gemiddelden die vaak de plank misslaan. Deze nieuwe methode vervangt giswerk door geïnformeerde voorspelling. Het suggereert dat de sleutel tot een duurzamere digitale toekomst ligt in betere besluitvormingsinstrumenten die kunnen zich aanpassen aan de complexiteit van moderne computing. Hoewel het huidige systeem zich richt op tijd en energie, merken de onderzoekers op dat hetzelfde framework uitgebreid kan worden om andere milieueffecten te voorspellen, zoals waterverbruik voor koeling of CO2-uitstoot, mits het datacenter die statistieken bijhoudt.

Het succes van dit prototype laat zien dat kunstmatige intelligentie niet alleen kan worden gebruikt om nieuwe technologieën te creëren, maar ook om de infrastructuur die hen ondersteunt te optimaliseren. Door de code te lezen en de kosten van het werk te voorspellen, verandert het systeem het datacenter in een responsiever en efficiënter organisme. De reductie van 32 procent in energie en 30 procent in wachttijd zijn niet slechts cijfers; ze vertegenwoordigen een tastbare stap naar het verminderen van de ecologische voetafdruk van de AI-revolutie. Naarmate de vraag naar kunstmatige intelligentie blijft stijgen, bieden methoden zoals deze een praktisch pad vooruit, waarbij bewezen wordt dat we een slimmere, duurzamere digitale wereld kunnen bouwen zonder prestaties op te offeren. Het werk laat zien dat met de juiste instrumenten de onzichtbare motor van het internet schoner en efficiënter kan draaien dan ooit tevoren.

Technische Samenvatting: LLM-gestuurde Voorspellende Besluitvorming voor Duurzame Datacenteroperaties

1. Probleemformulering

De snelle expansie van AI-gestuurde workloads, met name Large Language Models (LLMs), heeft het energie- en hulpbronnenverbruik van datacenters geïntensiveerd. Huidige operationele pipelines in datacenters vertrouwen vaak op heuristische algoritmen die middelen (bijv. GPU's) toewijzen op basis van door gebruikers verstrekte schattingen van de taakduur en de benodigde middelen. Het accuraat voorspellen van executietijd en energieverbruik is echter inherent moeilijk vanwege de complexiteit van moderne computersystemen (inclusief bandbreedte, geheugen, softwarestacks en hardwarevariaties). Bijgevolg hebben noch gebruikers, noch datacenters precieze kennis van optimale hulpbronvereisten, wat leidt tot inefficiënties, verspilling van middelen en een verhoogde ecologische voetafdruk.

De auteurs formuleren een tweeledig probleem:

Voorspelling: Gegeven een door een gebruiker ingediende broncode $x$ en een potentiële GPU-configuratie $z$ , voorspel de executietijd $t$ en het energieverbruik $e$ . Deze worden gemodelleerd als onbekende functies $t = f(x, z)$ en $e = g(x, z)$ die specifiek zijn voor de infrastructuur van het datacenter.
Besluitvorming: Ontwikkel een beleid $\pi$ om GPU-middelen sequentieel toe te wijzen aan binnenkomende taken om een gewogen som van executietijd, wachttijd en energiekosten te minimaliseren, onderworpen aan beperkingen in de beschikbare GPU-inventaris. Dit probleem wordt bemoeilijkt door de aanwezigheid van een wachtrij en de noodzaak om meerdere doelstellingen in balans te houden (multi-purpose optimalisatie), waarvoor geen analytische oplossing bestaat.

2. Methodologie

A. LLM-gebaseerd Voorspellend Model

De kern van het voorgestelde systeem is een uniform, end-to-end voorspellend model dat gebruikmaakt van een voorgetraind Large Language Model (LLM) om broncode te verwerken.

Architectuur: Het model bestaat uit twee stadia:
1. Representatie-extractie: Een voorgetraind LLM (aangeduid als $l_{\theta_1}$ ) neemt de broncode $x$ als input en geeft een $d$ -dimensionale vectorrepresentatie als output. De LLM-parameters $\theta_1$ blijven vast.
2. Probing: Een lichtgewicht superieur model (een "probe", aangeduid als $h_{\theta_2}$ of $q_{\theta_2}$ ) neemt de geëxtraheerde representatie en de GPU-configuratie $z$ als input om de doelmetriek (tijd of energie) te voorspellen.
Training: Het systeem wordt getraind op een dataset van broncode gekoppeld aan werkelijke executieresultaten (tijd en energie) over diverse GPU-configuraties. Opvallend genoeg vereist het model slechts een kleine dataset (ongeveer 500 broncodevoorbeelden), omdat het voorgetrainde LLM reeds over uitgebreide contextuele begrip beschikt.
Voordelen ten opzichte van traditionele methoden:
- Generalisatie: In tegen tegenstelling tot eerdere methoden die vertrouwen op handmatig ontworde kenmerken (bijv. laagdiepte, aantal passes) die specifiek zijn voor bepaalde modeltypen (bijv. alleen CNN), generaliseert de LLM-aanpak over diverse taaktypen en samengestelde taken (bijv. een CNN gevolgd door een LSTM).
- Data-efficiëntie: Het voorgetrainde LLM fungeert als een krachtige feature extractor, waardoor de noodzaak voor massale trainingsdatasets wordt verminderd.
- Flexibiliteit: Dezelfde representatie kan worden gebruikt voor verschillende voorspellingsdoelen (tijd, energie, en potentieel water/koolstofmetrieken) door simpelweg verschillende probes te trainen.

B. Sequentiële Besluitvormingsalgoritmen

Om de toewijzing van middelen te optimaliseren, stellen de auteurs twee datagedreven algoritmen voor die gebruikmaken van de voorspellingen van het LLM-model:

Greedy Algoritme: Wijst taken toe op basis van een "first-come-first-served" regel, waarbij de GPU-type wordt gekozen die de geschatte doelwaarde ( $\alpha \hat{t} + \beta w + \gamma \hat{e}$ ) voor de huidige taak minimaliseert.
Waarde-gebaseerd Algoritme: Geïnspireerd door het multiple knapzakprobleem, houdt dit algoritme rekening met de volledige wachtrij. Het wijst taken toe op basis van hun "waarde" in het reduceren van de totale wachttijd en energiekosten, in plaats van strikt de aankomstvolgorde te volgen.

C. Omgaan met Out-of-Distribution (OOD) Taken

De auteurs identificeren een potentiële inconsistentie waarbij functioneel equivalente code geschreven door verschillende engineers verschillende LLM-representaties kan opleveren, wat leidt tot voorspellingsfouten. Om dit te mitigeren, stellen zij een uitgebreide pipeline voor:

Align-LLM: Als de representatie van een nieuwe taak significant afwijkt van de trainingsclusters, herschrijft een hulp-LLM ("Align-LLM") de broncode om de stijl te laten aansluiten bij vergelijkbare taken in de lokale codebase. Dit brengt de inputrepresentatie in lijn met de distributie van de training, wat de nauwkeurigheid van de voorspelling verbetert zonder de functionaliteit van de code te wijzigen.

3. Belangrijkste Bijdragen

Methodologische Bijdragen

LLM-gebaseerd Veelzijdig Voorspellend Model: De eerste uitgebreide, end-to-end oplossing die ruwe broncode als input neemt om de executietijd en het energieverbruik te schatten. Het elimineert de noodzaak voor taakspecifieke, handmatig ontworde kenmerken.
Volledig Geautomatiseerd Voorspellend Planningssysteem: Een uniform framework dat in staat is elke door de gebruiker ingediende taak af te handelen en onmiddellijke schattingen te leveren, waarmee de beperkingen van traditionele, rigide voorspellingsmodellen worden overwonnen.
Sequentiële Besluitvorming: Een datagedreven algoritme dat het complexe, multi-objective hulpbrontoewijzingsprobleem met wachtrijen aanpakt, een scenario waarin standaard analytische oplossingen falen.

Toepassingsgerichte Bijdragen

Praktische Implementatie: De pipeline wordt binnen één seconde uitgevoerd, wat real-time, kosteneffectieve planning mogelijk maakt. Het is effectief, zelfs met beperkte trainingsdata.
Multi-Purpose Duurzaamheid: Het framework is ontworpen om uitbreidbaar te zijn, in staat om diverse duurzaamheidsmetrieken te voorspellen (bijv. koolstofemissies, waterverbruik), mits de benodigde data beschikbaar zijn.

4. Experimentele Resultaten

De auteurs hebben hun aanpak gevalideerd via een samenwerking met een datacenter, waarbij gebruik is gemaakt van twee maanden operationele data (1 juli 2024 – 1 september 2024).

Prestatie-metrieken: Vergeleken met de "Simple Rule" baseline van het datacenter (first-come-first-served met voorkeur voor de krachtigste GPU), bereikte het voorgestelde waarde-gebaseerde algoritme:
- 32% reductie in het totale energieverbruik (TEC).
- 30% reductie in de totale wachttijd (TWT).
- 24% reductie in het aantal vertraagde taken.
Vergelijking: Het waarde-gebaseerde algoritme presteerde aanzienlijk beter dan het Greedy-algoritme door rekening te houden met de globale staat van de wachtrij in plaats van alleen de directe taak.
Robuustheid: De uitgebreide pipeline met de Align-LLM mitigeerde succesvol voorspellingsfouten veroorzaakt door variaties in codestijl, waardoor out-of-distribution taken dichter bij de trainingsdistributie werden gebracht en de voorspellingsnauwkeurigheid werd verbeterd.

5. Betekenis en Claims

Het artikel beweert dat dit werk een praktische, schaalbare oplossing biedt voor het moderniseren van datacenteroperaties om duurzaamheidsdoelstellingen te behalen. Door gebruik te maken van het contextuele begrip en de generalisatiecapaciteiten van LLM's, overwint het voorgestelde systeem de starheid van traditionele heuristische en natuurkundige voorspellingsmethoden.

De auteurs benadrukken dat hun aanpak:

Infrastructuur Vooruithelpt: Het biedt een pad naar efficiëntere en milieuvriendelijkere AI-infrastructuur.
Theorie en Praktijk Overbrugt: Het demonstreert dat LLM's effectief kunnen worden geïntegreerd in real-time operationele besluitvormingslussen met minimale datavereisten.
Schaalbaarheid: De uniforme aard van het model stelt het in staat om zich aan te passen aan diverse taaktypen en toekomstige duurzaamheidsmetrieken zonder dat een volledige herontwerp van de voorspellingsarchitectuur nodig is.

De studie concludeert dat de integratie van LLM-gebaseerde voorspellende modellering met sequentiële besluitvorming een levensvatbare strategie is om de milieu-impact van AI-gestuurde workloads aanzienlijk te verminderen, terwijl de operationele efficiëntie wordt verbeterd.