💻 computer science

Adaptive constrained reinforcement learning for energy-aware scheduling under changing load

Dit artikel introduceert CLASP, een adaptieve constrained reinforcement learning scheduler die expliciete latentiebeperkingen afdwingt via een door een PID-regelaar gestuurde Lagrangiaanse prijs en een prijs-geconditioneerde policy, waardoor een stabiele energie-efficiëntie en schendingsdoelstellingen worden gehandhaafd bij variërende workloads waar traditionele fixed-weight beloningsbenaderingen falen.

Oorspronkelijke auteurs: Saher Elsayed, Khairi Azhar Aziz

Gepubliceerd 2026-06-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Saher Elsayed, Khairi Azhar Aziz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "One-Size-Fits-All" Valstrik

Stel je voor dat je de manager bent van een drukke koffiebar. Je hebt twee hoofddoelen:

Geld Besparen: Draai de espressomachines niet op volle kracht als dat niet nodig is (energie besparen).
Klanten Tevreden Houden: Zorg ervoor dat niemand te lang moet wachten op zijn drankje (de "latency target" halen).

Jarenlang hebben computerwetenschappers geprobeerd dit op te lossen door hun AI een enkele "scorekaart" te geven. Ze zeiden: "Elke keer dat je een euro aan energie bespaart, krijg je 1 punt. Elke keer dat een klant te lang wacht, verlies je 10 punten." De AI probeert vervolgens de totale score te maximaliseren.

Het artikel stelt dat deze aanpak kapot is.

Denk hierbij aan het rijden in een auto met cruise control die op een vaste snelheid staat ingesteld.

Op een vlakke weg (Lichte belasting): De auto doet het prima. Maar als je door een rustige woonwijk rijdt, is die vaste snelheid te hoog. Je verspilt benzine (energie) terwijl je ook langzamer had kunnen rijden.
Op een steile heuvel (Zware belasting): Diezelfde vaste snelheid is dan niet genoeg. De auto vertraagt, je komt te laat aan en de passagiers worden boos (schending van de servicestandaard).

Het probleem is dat de "perfecte snelheid" verandert afhankelijk van hoeveel auto's er op de weg zijn (de werklast). Een enkele instelling die werkt tijdens een rustige ochtend, faalt jammerlijk tijdens de lunchdrukte. Het artikel noemt dit "operating point drift" (het afdrijven van het werkpunt). Het "sweet spot" van de AI drijft weg van wat je eigenlijk wilt zodra de situatie verandert.

De Oplossing: CLASP (De Slimme Thermostaat)

De auteurs introduceren een nieuw systeem genaamd CLASP (Constrained Lagrangian Adaptive Scheduling Policy). In plaats van de AI een vaste scorekaart te geven, geven ze het een regel en een thermostaat.

1. De Regel (De Constraint):
In plaats van te zeggen "Maximaliseer deze score", zegt de manager: "Het maakt me niet uit hoe je het doet, maar niet meer dan 5% van de klanten mag te lang wachten." Dit is een harde regel, zoals een maximumsnelheidsbord.

2. De Thermostaat (De PID-controller):
Dit is het magische deel. Het systeem heeft een "thermostaat" die constant de temperatuur controleert (de foutmarge/violation rate).

Als er te veel klanten wachten (de kamer is te warm), draait de thermostaat de "hitte" omhoog (de prijs van het wachten).
Als er bijna niemand wacht (de kamer is te koud), draait de thermostaat de hitte omlaag.

Deze "prijs" is een getal dat de AI ziet. Het vertelt de AI: "Hé, het wordt druk! Je moet sneller werken, anders word je zwaar gestraft."

3. De "Prijsgevoelige" AI:
De AI wordt getraind om naar deze prijs te luisteren. Het is als een werknemer die weet:

"Als de prijs laag is, kan ik mijn tijd nemen en energie besparen."
"Als de prijs hoog is, moet ik sprinten om de klanten tevreden te houden."

Omdat de AI leert te reageren op de prijs in plaats van op een vaste instelling, kan het systeem zowel de rustige ochtend als de lunchdrukte aan met hetzelfde brein.

Wat Ze Hebben Gevonden (De Resultaten)

De onderzoekers testten dit in een computersimulatie van een server (zoals een digitale koffiebar).

De Oude Manier (Vaste Gewichten): Ze hebben elke mogelijke "scorekaart"-instelling geprobeerd. Geen enkele werkte voor alle situaties. Sommige bespaarden energie maar overtraden de regels wanneer het druk werd. Andere volgden de regels strikt maar verspilden enorme hoeveelheden energie wanneer het rustig was.
De Nieuwe Manier (CLASP):
- Nauwkeurigheid: CLASP hield het percentage "te late klanten" precies op de doelstelling van 5%, zelfs toen de werklast veranderde van licht naar zwaar.
- Efficiëntie: Het gebruikte ongeveer de helft van de energie van de "altijd op volle snelheid"-methode (de enige andere methode die nooit de regels overtrad).
- Aanpassingsvermogen: Wanneer de werklast plotseling omhoog schoot (zoals een plotselinge drukte), paste de thermostaat de prijs snel aan en versnelde de AI om de drukte op te vangen. Toen de drukte weer afnam, vertraagde het systeem weer om stroom te besparen.

De "Ablatie"-test (De Motor Uit elkaar Halven)

Om te bewijzen dat hun idee werkte, haalden ze het systeem uit elkaar:

Zonder de Thermostaat: Als ze de prijs niet zouden aanpassen maar vast zouden houden, faalde het systeem. Het was te traag bij drukte en te snel bij rust.
Zonder het "Prijsgevoelige" Brein: Als ze de thermostaat de prijs lieten aanpassen maar de AI niet vertelden wat die prijs was, wist de AI niet hoe hij moest reageren. Hij bleef hetzelfde doen, ongeacht de druk.

Conclusie: Je hebt beide nodig: de thermostaat om de druk aan te passen en een brein dat weet hoe het op die druk moet reageren.

De Kernboodschap

Het artikel laat zien dat het proberen te vinden van één "perfecte instelling" voor energie en snelheid een zinloze onderneming is, omdat de wereld verandert. In plaats daarvan moet je een duidelijk doel stellen (bijv. "maximaal 5% fouten") en een systeem bouwen dat zijn interne "prijs" constant aanpast om dat doel te bereiken.

CLASP verandert een rigide, breekbaar systeem in een flexibel, zelfregulerend systeem. Het is het verschil tussen een robot die een script volgt en een menselijke manager die de rij in de gaten houdt, ziet dat de drukte opkomt, en het personeel vertelt om "even door te pakken" of "even op adem te komen" zoals nodig is.

Noot: De auteurs benadrukken dat deze resultaten uit computersimulaties komen. Hoewel de wiskunde veelbelovend is, hebben ze dit nog niet getest op echte fysieke hardware.

Technische Samenvatting: Adaptief Beperkt Reinforcement Learning voor Energiebewuste Planning

Probleemstelling
Energiebewuste planners moeten twee conflicterende doelstellingen balanceren: het minimaliseren van het energieverbruik en het behouden van de responsiviteit (het voldoen aan latentie-targets of Service-Level Objectives, SLO's). De dominante aanpak in de recente literatuur gebruikt Reinforcement Learning (RL) om deze afweging te leren door de doelstellingen te scalariseren naar een enkele gewogen beloning (bijv. een gewogen som van energie en latentie-straf).

De auteurs identificeren een kritiek structureel falen in deze gescalariseerde aanpak: operating-point drift (drift van het werkpunt). Een vast beloningsgewicht komt overeen met een specifieke afweging, maar het resulterende werkpunt (de werkelijke balans tussen energie versus latentie) is niet stabiel; het verschuift naarmate de workload verandert.

Bij lichte belasting: Een vast gewicht laat de processor vaak sneller draaien dan nodig, wat energie verspilt omdat het latentiebudget onderbenut wordt.
Bij zware belasting: Dezelfde gewicht biedt onvoldoende snelheid, waardoor het systeem stilzwijgend voorbij het latentie-target kan driften en overtredingen accumuleert.
Consequent kan geen enkel enkel vast gewicht een specifiek overtredingspercentage handhaven over een reeks veranderende belastingen.

Methodologie: CLASP
Het artikel introduceert CLASP (Constrained Lagrangian Adaptive Scheduling Policy), een planner die de latentie-overtredingsratio behandelt als een expliciete beperking (constraint) in plaats van een component van de beloning. De methode adresseert twee belangrijke uitdagingen bij het toepassen van constrained RL op planning: de gevoeligheid van duale variabele-updates en de niet-stationariteit van workloads.

Beperkte Formulering: Het probleem wordt gemodelleerd als een Constrained Markov Decision Process (CMDP). Het doel is om het verwachte vermogen te minimaliseren, onder de voorwaarde dat de langetermijn-overtredingsratio onder een target $\epsilon$ blijft (bijv. 5%).
Adaptieve Duale Controle (PID): In plaats van standaard gradiënt-ascent te gebruiken om de Lagrange-multiplier (de "prijs" op overtredingen) bij te werken, gebruikt CLASP een Proportional-Integral-Derivative (PID) controller. Deze controller past de prijs $\lambda$ aan op basis van de fout tussen de geobserveerde overtredingsratio en de target. Dit stabiliseert de duale variabele, voorkomt de oscillaties die gebruikelijk zijn bij naïeve updates en zorgt ervoor dat de prijs kan bezinken naar de waarde die vereist is door de huidige belasting.
Prijs-conditionering: Om niet-stationaire workloads aan te pakken, wordt het geleerde beleid geconditioneerd op de huidige druk van de beperking (de prijs $\lambda$ ) en een schatting van de belasting. De toestandsruimte wordt uitgebreid met een gediscretiseerde bin van de huidige prijs. Dit stelt een enkel beleid in staat om zijn gedrag aan te passen (bijv. conservatiever of agressiever worden) op basis van het prijs-signaal, waardoor het effectief het volledige bereik van de werkpunten dekt die vereist zijn voor verschillende belastingen.

Belangrijkste Bijdragen

Identificatie van Drift: De auteurs kwantificeren de operating-point drift van gescalariseerde planners en tonen aan dat geen enkel vast beloningsgewicht in een geteste sweep een 5% overtreding-target kan handhaven over belastingen variërend van licht tot bijna verzadiging.
Gestabiliseerde Duale Updates: De integratie van een PID-controller voor de Lagrange-multiplier zorgt succesvol voor het dempen van oscillaties en laat de prijs convergeren naar het noodzakelijke niveau voor de huidige belasting.
Beleid-conditionering: Het artikel toont aan dat het conditioneren van het beleid op de duale variabele essentieel is voor een enkel beleid om correct te functioneren onder wisselende belastingen, wat het niet-stationariteitsprobleem oplost zonder hertraining.

Resultaten
Experimenten werden uitgevoerd in een gesimuleerde single-server omgeving met aanpasbare snelheid (modellerend DVFS) en Poisson-verdeelde job-arrivals.

Target Tracking: CLASP slaagde erin een 5% overtreding-target te volgen bij arrival-belastingen van 1,5 tot 3,0 jobs/stap. Zelfs nabij verzadiging (load 3,5), waar de target moeilijk te halen is, degradeerde CLASP gracieus naar ~6,9%, terwijl fixed-weight policies significant dreven (bijv. een gebalanceerd gewicht dreven van 3% naar 31% overtredingen).
Energie-efficiëntie: Vergeleken met een "run-fastest" baseline (die altijd compliant is maar energie-inefficiënt), gebruikte CLASP gemiddeld ongeveer 50% minder gemodelleerd vermogen. Bij lichte belastingen waren de besparingen tot 70%; bij zware belastingen waren de besparingen rond de 20%.
Adaptatie aan Niet-Stationariteit: In experimenten met abrupte verschuivingen in de workload, paste de PID-controller de prijs online aan, waardoor de overtredingsratio na korte transiënten weer naar de target werd gebracht.
Ablatie-studies: Het verwijderen van de PID-controller (het fixeren van de prijs) resulteerde in te conservatief gedrag bij lage belastingen en overtredingen van de beperking bij hoge belastingen. Het verwijderen van de prijs-conditionering zorgde ervoor dat het beleid niet kon adapteren aan verschillende prijsniveaus, wat leidde tot significante drift. Beide componenten werden bevestigd als noodzakelijk.

Betekenis en Claims
Het artikel betoogt dat de centrale moeilijkheid bij het leren van energiebewuste planners niet het vinden van een goede afweging is, maar het stabiel houden van de gekozen afweging wanneer de omstandigheden veranderen.

Verschuiving in Kadering: Het werk stelt een verschuiving voor van "het tunen van een gewicht" (wat een fragiele afweging codeert) naar "het tracken van een uitkomst" (een begrensde overtredingsratio).
Controleerbaarheid: Door het service-doel als een expliciete beperking te behandelen en de prijs hiervan te controleren via feedback, wordt het werkpunt een gecontroleerde grootheid in plaats van een emergente, drijvende grootheid.
Generaliseerbaarheid: De auteurs suggereren dat dit patroon — het vervangen van gescalariseerde beloningen door beperking-gebaseerde formuleringen met feedback-gecontroleerde prijzen — toepasbaar is overal waar een geleerd beleid een service-doel moet respecteren onder veranderende omstandigheden, zoals netwerk-toelatingscontrole of energiebeheer van edge-devices.

Beperkingen
De auteurs merken op dat de resultaten gebaseerd zijn op een single-server, discrete-time simulatie met een tabular Q-learning agent. De vermogenswaarden zijn gemodelleerd, niet gemeten op hardware. De studie isoleert het mechanisme van de beperking, en toekomstig werk is nodig om deze bevindingen te valideren op hardware-testbeds en om de aanpak uit te breiden naar deep RL, heterogene jobs en multi-server omgevingen.