Learning to Score: Tuning Cluster Schedulers through Reinforcement Learning

Dit paper introduceert een versterkingsleringsbenadering om de wegingen van clusterplanners dynamisch aan te passen, wat leidt tot een aanzienlijke verbetering van de eind-tot-eind prestaties van taken in vergelijking met statische of handmatig getuneerde methoden.

De kern

Hoe een slimme AI de "scheidsrechter" van een computercluster leert worden

Stel je voor dat je een enorm, drukke vliegveld hebt (een computercluster) waar duizenden vliegtuigen (de werkzaamheden of "jobs") per seconde moeten landen. De taak van de planner (de scheduler) is om te beslissen op welke landingsbaan elk vliegtuig moet landen.

Om dit te doen, gebruikt de planner een lijst met regels, of scoring-functies. Denk hieraan als een set van verschillende criteria:

• "Land op de baan die het minst vol is."
• "Land op de baan die het dichtst bij de bagageafdeling ligt."
• "Land op de baan met de beste wind."

Het probleem:
Op dit moment behandelt de planner al deze regels alsof ze even belangrijk zijn. Het is alsof de scheidsrechter zegt: "Wind is even belangrijk als de afstand tot de bagage." Dit werkt vaak niet optimaal. Soms is wind cruciaal, soms is afstand belangrijker.

Huidige systemen laten mensen de "belangrijkheid" van deze regels handmatig instellen. Dat is als proberen een perfecte cocktail te maken door blindelings suiker en zout toe te voegen. Het kost veel tijd, vereist een expert en werkt niet goed als je plotseling een heel ander type vliegtuig (een nieuwe werklast) krijgt.

De oplossing uit dit papier:
De auteurs van dit onderzoek hebben een Reinforcement Learning (Versterkend Leren) systeem bedacht. Dit is een AI die leert door te proberen, net zoals een kind dat leert fietsen door te vallen en weer op te staan.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De AI als proefkonijn

In plaats van dat een mens de regels instelt, laat je de AI de "belangrijkheid" (de weging) van elke regel aanpassen.

• De AI probeert een instelling.
• De AI kijkt hoe goed de vliegtuigen landen (worden ze sneller afgehandeld? Is er minder vertraging?).
• Als het goed gaat, krijgt de AI een beloning.
• Als het slecht gaat, krijgt de AI een "traag" signaal.

2. De drie slimme trucs

Om deze AI echt slim te maken, gebruiken de auteurs drie creatieve trucs:

• De "Percentage Verbetering" Beloning:
  Stel je voor dat je een speler in een spel hebt. Als hij 10 punten scoort, is dat goed. Maar als hij morgen 11 punten scoort, is dat slechts een klein beetje beter. De AI krijgt hier geen enorme beloning voor.
  De auteurs zeggen: "Geef de AI een beloning alleen als hij significant beter presteert dan de standaardinstelling." Dit zorgt ervoor dat de AI durft te experimenteren en niet vastzit in een veilige, maar saaie strategie. Het is alsof je een kind belooft een ijsje te geven, maar alleen als het echt een nieuwe truc op de fiets heeft geleerd, niet als het gewoon rechtdoor rijdt.

• Het "Herinneringsblok" (Frame Stacking):
  Soms vergeet een AI wat het gisteren heeft gedaan. De auteurs laten de AI een stapel foto's van zijn eerdere pogingen onthouden. Net als een schaker die de laatste paar zetten onthoudt om te zien of een bepaalde zet goed werkte, helpt dit de AI om patronen te zien in zijn eigen gedrag.

• De "Blinddoek" (Beperken van informatie):
  Dit is misschien wel het slimste idee. Als je een AI te veel specifieke details geeft (bijvoorbeeld: "Er zijn precies 42 rode vliegtuigen en 3 blauwe"), gaat de AI die specifieke details uit het hoofd leren in plaats van de algemene regels.
  De auteurs geven de AI daarom minder informatie. Ze zeggen: "Weet niet precies hoeveel vliegtuigen er zijn, weet alleen dat het 'druk' is." Hierdoor leert de AI een algemene strategie die werkt in elk scenario, zelfs in vliegvelden die de AI nog nooit heeft gezien. Het is als het leren van zwemmen in een zwembad, zodat je ook in een onbekend meer kunt zwemmen, in plaats van alleen te leren zwemmen in een zwembad met specifieke tegels.

Wat leverde dit op?

Ze hebben dit getest in een simulatie van een "Serverless" omgeving (waarbij computerkracht wordt gehuurd per seconde, zoals bij cloud-diensten).

• Resultaat: De AI die de regels leerde aanpassen, presteerde 33% beter dan de standaardinstellingen.
• Vergelijking: Het was zelfs 12% beter dan de beste andere geavanceerde methoden die er al waren.

Conclusie:
Dit papier laat zien dat je niet hoeft te wachten tot een menselijke expert de perfecte instellingen bedenkt voor een computercluster. Door een slimme AI te geven die leert door te proberen (en door haar niet te veel details te geven), kun je een systeem maken dat zich automatisch aanpast aan elke situatie. Het is alsof je van een starre, handmatige planner overschakelt naar een flexibele, lerende coach die elke dag de beste tactiek bedenkt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Learning to Score: Tuning Cluster Schedulers through Reinforcement Learning" in het Nederlands.

Probleemstelling

In grote clusters (zoals Kubernetes) is het efficiënt toewijzen van inkomende taken (jobs/pods) aan knooppunten (nodes) cruciaal voor zowel clusterbenutting als prestaties. Moderne schedulers gebruiken doorgaans een tweestapsproces:

1. Filteren: Het selecteren van haalbare knooppunten op basis van harde constraints (bijv. CPU, geheugen, netwerktopologie).
2. Scoren: Het berekenen van een score voor deze haalbare knooppunten via een reeks scoring functions (bijv. voor bin-packing, data-locality, of resource-balancing).

Het huidige probleem is dat de gewichten van deze scoring functions vaak gelijk worden gewogen of handmatig worden ingesteld door experts. Een "one-size-fits-all" oplossing houdt geen rekening met de specifieke kenmerken van verschillende werklasten (workloads) of clusterconfiguraties (bijv. heterogene hardware zoals CPU's vs. GPU's, of edge vs. cloud). Het handmatig afstemmen (tunen) van deze gewichten is tijdrovend, vereist diepgaande expertise en is computarisch duur. Bestaande black-box optimalisatiemethoden (zoals Random Search of Bayesian Optimization) kampen met hoge kosten voor het evalueren van nieuwe configuraties en moeite met generalisatie naar onbekende scenario's.

Methodologie

De auteurs stellen een Reinforcement Learning (RL)-benadering voor om de gewichten van de scoring functions automatisch en dynamisch af te stemmen. Het doel is het verbeteren van de end-to-end prestaties van taken in een Function-as-a-Service (FaaS) omgeving.

De kern van de methode bestaat uit drie belangrijke innovaties:

1. Formulering als RL-probleem:

   • State (Toestand): Omvat statische informatie (clusterconfiguratie, type werklast) en dynamische informatie (geschiedenis van eerdere actie-beloningparen).
   • Action (Actie): Het selecteren van de gewichten voor de verschillende scoring functions.
   • Reward (Beloning): In plaats van een absolute score, gebruiken ze een percentage improvement reward. De beloning wordt alleen gegeven aan het einde van een experiment (na $n$ samples) en is gebaseerd op de maximale verbetering ten opzichte van de startwaarde (default gewichten). Dit moedigt exploratie aan en normaliseert resultaten tussen verschillende experimenten.

2. Frame Stacking en Recurrente Netwerken:
   Om de agent in staat te stellen informatie over eerdere stappen in een optimalisatie-experiment te onthouden, gebruiken ze frame-stacking (het stapelen van meerdere observaties) of recurrente policies (zoals LSTM/GRU in RecurrentPPO). Dit helpt bij het oplossen van het probleem van gedeeltelijke observabiliteit en multi-step parameter tuning.

3. Beperken van Domein-informatie (Limiting Domain Information):
   Om overfitting te voorkomen en generalisatie naar ongezane clusters en werklasten te verbeteren, beperken ze de hoeveelheid statische domein-informatie die de agent ontvangt. In plaats van gedetailleerde specificaties van elke machine, krijgt de agent alleen grove beschrijvingen van de werklast en cluster. Dit dwingt de agent om een robuust beleid te leren dat niet afhankelijk is van specifieke, onzichtbare shortcuts in de trainingsomgeving.

Het systeem is geïmplementeerd als een Gym-wrapper die een FaaS-benchmark (Faas-sim) koppelt aan RL-agenten (zoals Soft Actor-Critic - SAC en RecurrentPPO).

Belangrijkste Bijdragen

• Formulering: Het formuleren van het meervoudige stap-parameter-tuning-probleem van scoring weights als een Reinforcement Learning-probleem.
• Nieuwe Reward-mechanisme: Introductie van een percentage improvement reward om exploratie te stimuleren en normalisatie over experimenten te garanderen.
• Generalisatie-strategie: Het gebruik van frame-stacking en het beperken van domein-informatie om overfitting te voorkomen en prestaties in ongezane omgevingen te verbeteren.
• Framework: Een softwareframework dat state-of-the-art RL-modellen integreert met bestaande scheduler-infrastructuur, waardoor het mogelijk is om bestaande systemen te verbeteren zonder de kernlogica te vervangen.

Resultaten

De methode is geëvalueerd in een uitgebreide simulatieomgeving met heterogene hardware (Cloud CPU/GPU, Edge devices zoals Raspberry Pi, NVIDIA Jetson) en verschillende netwerktopologieën.

• Vergelijking met Baselines: De RL-benadering werd vergeleken met vaste gewichten (Fixed), Random Search (RS), Bayesian Optimization (BO) en Tree-Structured Parzen Estimator (TPE).
• Prestaties in Bekende Scenario's: In scenario's die lijken op de trainingsdata, verbeterde de RL-methode de prestaties met gemiddeld 33% ten opzichte van vaste gewichten en 12% ten opzichte van de best presterende baseline (TPE/BO).
• Generalisatie naar Ongezane Scenario's: Cruciaal is dat de methode ook goed presteerde in volledig nieuwe scenario's (andere clusterconfiguraties, nieuwe werklasten, andere netwerktopologieën) die niet tijdens het trainen zijn gezien. Hier werd nog steeds een verbetering van 20% behaald ten opzichte van vaste gewichten en 6% ten opzichte van de beste baseline.
• Adaptiviteit: De agent leerde dynamisch welke scoring functions belangrijk waren. Bijvoorbeeld, in scenario's met hoge netwerklatentie werd de "ImageLocality" of "DataLocality" zwaarder gewogen, terwijl dit in andere scenario's minder belangrijk was.

Significantie

Dit paper toont aan dat Reinforcement Learning een krachtig alternatief is voor handmatig of statisch afstemmen van cluster-schedulers.

• Efficiëntie: Het elimineert de noodzaak voor dure handmatige tuning door experts.
• Flexibiliteit: Het systeem past zich automatisch aan aan veranderende werklasten en heterogene hardware, wat essentieel is voor moderne cloud- en edge-computing omgevingen.
• Veiligheid en Implementatie: Omdat de RL-agent alleen de gewichten van bestaande algoritmen aanpast en niet het volledige schedulingsysteem vervangt, is de aanpak veiliger voor productieomgevingen en vereist deze minimale wijzigingen aan bestaande infrastructuur.
• Toekomstperspectief: De aanpak is schaalbaar en kan worden uitgebreid naar andere optimalisatieproblemen in clusterbeheer, met potentieel voor transfer learning tussen verschillende schedulers.