🤖 machine learning

Evolutionary Bilevel Reward Shaping for Generalization in Reinforcement Learning

Het artikel stelt Generalization via Evolutionary Reward Shaping (GERS) voor, een bilevel optimalisatiekader dat de generalisatie van reinforcement learning in beperkte scenario's verbetert door CMA-ES te gebruiken om reward shaping-parameters te optimaliseren op basis van uitsluitend scalaire validatiefeedback, waardoor het standaard baselines overtreft en de prestaties van domain randomization evenaart zonder toegang tot trajecten van validatieomgevingen te vereisen.

Oorspronkelijke auteurs: Ekasit Usaratniwart, Xilin Gao, Marc Ong, Youhei Akimoto

Gepubliceerd 2026-06-16

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ekasit Usaratniwart, Xilin Gao, Marc Ong, Youhei Akimoto

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert lopen. Meestal leer je het in een perfecte, gecontroleerde sportschool waar de vloer altijd glad is, de lucht stilstaat en de benen van de robot precies het juiste gewicht hebben. De robot leert daar perfect lopen.

Maar dan stuur je de robot de echte wereld in. Plotseling is de vloer glad, waait de wind en voelen de benen van de robot zwaarder aan. Omdat de robot alleen de "perfecte sportschool"-versie van het lopen heeft geleerd, valt hij direct om. Hij is overfitted op de sportschool en slaagde er niet in te generaliseren naar de echte wereld.

Dit artikel introduceert een nieuwe methode genaamd GERS (Generalization via Evolutionary Reward Shaping) om dit probleem op te lossen, specifiek in een lastige situatie waarin je niet kunt zien hoe de robot faalt in de echte wereld, maar alleen kunt zien dat hij gefaald heeft.

Hier is de uitsplitsing met behulp van eenvoudige analogieën:

1. Het Probleem: De "Black Box" Validator

In veel real-world scenario's (zoals het testen van een beveiligings-AI op het privénetwerk van een klant), heb je twee soorten omgevingen:

De Trainingssportschool: Je hebt hier volledige toegang toe. Je kunt elke stap die de robot zet zien, elke fout die hij maakt en elk logboek dat hij genereert.
De Validatie Black Box: Je hebt een paar andere omgevingen (zo als het echte netwerk van een klant), maar om privacy- of veiligheidsredenen kun je de stappen van de robot niet zien. Je kunt aan het einde slechts één getal zien: "Is het geslaagd? Hier is een score."

Standaard AI-trainingsmethoden hebben meestal de stappen van de robot (het traject) nodig in de validatie-omgeving om te leren hoe ze kunnen verbeteren. Omdat je de stappen in de Black Box niet kunt zien, lopen standaardmethoden vast. Ze kunnen niet leren van de Black Box, waardoor ze blijven overfitten op de Trainingssportschool.

2. De Oplossing: De "Draaiknop" (Reward Shaping)

De auteurs stellen een slimme workaround voor. In plaats van te proberen de robot direct te onderwijzen met behulp van de Black Box-scores, besluiten ze de regels van het spel aan te passen in de Trainingssportschool.

Beschouw de "Reward Function" van de robot als een leraar die cijfers geeft.

Standaard Leraar: "Als je je been naar voren beweegt, krijg je 1 punt."
Het Probleem: De robot leert zijn been op een vreemde, schokkerige manier te bewegen waardoor hij in de sportschool 1 punt krijgt, maar in de echte wereld faalt.
De GERS-leraar: Het systeem voegt een "Draaiknop" (mathematisch gezien een vector $\nu$ ) toe aan het beoordelingssysteem. Het verandert de regels een klein beetje: "Als je je been soepel naar voren beweegt, krijg je 1,5 punt. Als je schokkerig beweegt, krijg je 0."

Het doel is om de perfecte instelling voor deze Draaiknop te vinden, zodat de robot een loopstijl leert die niet alleen in de sportschool werkt, maar ook in de Black Box-omgevingen.

3. Het Spel op Twee Niveaus (Bilevel Optimization)

Het paper gebruikt een "Spel op Twee Niveaus" om de perfecte Draaiknop te vinden:

Niveau 1 (De Student): De robot (die een algoritme genaamd PPO gebruikt) probeert te leren hoe hij moet lopen in de Trainingssportschool met de huidige instellingen van de Draaiknop. Hij leert een beleid (een set loopregels).
Niveau 2 (De Coach): Een ander algoritme (genaamd CMA-ES, wat lijkt op een evolutionair bioloog) kijkt naar de Draaiknop. Het vraagt: "Als we deze knop iets veranderen, krijgt de robot dan een betere score in de Black Box?"
- De Coach geeft niet om de stappen van de robot in de Black Box. De Coach geeft alleen om de uiteindelijke score.
- Als de robot een hogere score krijgt in de Black Box, behoudt de Coach die instelling van de Draaiknop. Als de score daalt, verandert de Coach de knop opnieuw.

De Coach herhaalt dit proces duizenden keren en evolueert de "Draaiknop" totdat hij een versie vindt die de robot dwingt om een loopstijl te leren die robuust genoeg is om te overleven in de Black Box, ook al heeft de robot de Black Box tijdens zijn training nooit echt gezien.

4. De Resultaten: De Odds Verslaan

De auteurs hebben dit getest op vier verschillende robottaken (zoals het balanceren van een stok, huppelen, rennen en lopen op vier poten).

De Baseline (Standaard AI): Getraind alleen in de sportschool. Het werd een kampioen in de sportschool, maar stortte direct in wanneer de fysica veranderde (bijv. zwaardere benen of een gladde vloer).
De "Domain Randomization" (DR) Methode: Dit is de huidige gouden standaard. Het traint de robot in veel verschillende sportscholen tegelijk (het simuleert alle mog van de scenario's in de echte wereld). Het werkt erg goed, MAAR het vereist dat je toegang hebt tot al die verschillende sportscholen en al de stappen van de robot kunt zien.
GERS (De Nieuwe Methode): Het had alleen toegang tot één trainingssportschool en de Black Box-scores.
- Het Resultaat: GERS presteerde bijna net zo goed als de "Domain Randomization"-methode, ook al had het veel minder informatie tot zijn beschikking. Het slaagde erin te generaliseren naar onbekende, moeilijke omgevingen door simpelweg de beloningen in de ene sportschool die het had te "vormgeven" (shapen).

Samenvattende Analogie

Stel je voor dat je een chef-kok traint om een gerecht te bereiden.

Standaard Training: Je laat hem alleen koken in jouw keuken met jouw specifieke fornuis. Hij leert perfect koken op jouw fornuis. Wanneer hij naar een restaurant gaat met een ander fornuis, verbrandt het eten.
Domain Randomization: Je laat hem koken op 100 verschillende fornuizen in 100 verschillende keukens. Hij leert zich aan te passen aan alles. (Maar dit vereist toegang tot 100 keukens).
GERS: Je laat hem alleen koken in jouw keuken. Echter, je hebt een "Geheime Proever" in een ander, geheim restaurant. Je kunt niet zien hoe hij kookt in het geheime restaurant, maar je krijgt een score: "Heerlijk" of "Smaakloos."
- GERS is als een slimme sous-chef die de receptinstructies (de reward shaping) aanpast op basis van alleen de score van de Geheime Proever.
- Uiteindelijk veranderen de receptinstructies net genoeg zodat de chef leert koken op een manier die overal heerlijk smaakt, zelfs als hij alleen maar geoefend heeft in jouw keuken.

Het paper bewijst dat je niet altijd elke stap van de robot in zijn falen in de echte wereld hoeft te zien; je hebt alleen een slimme manier nodig om de trainingsregels aan te passen op basis van de uiteindelijke resultaten.

Technische Samenvatting: Evolutionaire Bilevel Reward Shaping voor Generalisatie in Reinforcement Learning

Probleemformulering
Dit artikel behandelt de generalisatiekloof in Deep Reinforcement Learning (RL), waarbij beleidsregels (policies) die getraind zijn op beperkte omgevingen, slecht presteren in ongeziene testomgevingen met verschillende dynamieken (bijv. variërende overgangskansen). De auteurs richten zich op een specifiek, beperkt scenario dat gebruikelijk is in privacy-gevoelige of beperkte settings:

Trainingsomgevingen ( $M_{train}$ ): Een kleine, vaste set omgevingen waar volledige staat-actie trajecten observeerbaar zijn.
Validatieomgevingen ( $M_{val}$ ): Een grotere set omgevingen waar alleen scalaire prestatie-indicatoren (cumulatieve ongekortte beloningen) beschikbaar zijn. Volledige trajecten zijn ontoegankelijk, wat het berekenen van policy gradients of standaard domain randomization (DR) technieken die afhankelijk zijn van diverse trajectgegevens, verhindert.
Doelstelling: Het maximaliseren van de generalisatieprestaties ( $J_{gen}$ ) op ongeziene testomgevingen door gebruik te maken van de beperkte scalaire feedback uit validatieomgevingen om de training op de toegankelijke trainingsomgevingen te sturen.

Methodologie: Generalisatie via Evolutionaire Reward Shaping (GERS)
De auteurs stellen GERS voor, een bilevel optimalisatieraamwerk dat ontworpen is om automatisch de beloningsfunctie te vormen (reward shaping) om generalisatie te verbeteren zonder toegang tot validatietrajecten.

Bilevel Formulering:
- Lager Niveau (Policy Optimalisatie): Een RL-agent (gebruikmakend van Proximal Policy Optimization, PPO) leert een beleid $\pi_\theta$ op de trainingsomgevingen ( $M_{train}$ ) met behulp van een gevormde beloningsfunctie $\hat{r}_\nu$ . De doelstelling is het maximaliseren van de gedisconteerde return op trainingsdata: $\theta^*(\nu) = \arg\max_\theta \hat{J}_{train}(\pi_\theta; \nu)$ .
- Hoger Niveau (Reward Shaping Optimalisatie): Een evolutionaire strategie (Covariance Matrix Adaptation Evolution Strategy, CMA-ES) optimaliseert de reward shaping parameters $\nu$ . De doelstelling is het maximaliseren van de cumulatieve ongevormde beloning verkregen door het lager-niveau beleid op de validatieomgevingen: $\max_\nu J_{val}(\pi_{\theta^*(\nu)})$ .
- De gevormde beloning wordt lineair gedefinieerd als: $\hat{r}_\nu(s, a) = r(s, a) + \langle \nu, \phi(s, a) \rangle$ , waarbij $\phi(s, a)$ de staat- en actievectoren samenvoegt.
Algoritmische Implementatie:
- Pretraining: Een PPO-agent wordt eerst getraind op de oorspronkelijke beloningsfunctie om een robuuste initialisatie te bieden.
- Evolutionaire Zoektocht: CMA-ES samplet kandidaat beloningsparameters $\nu$ . Voor elke kandidaat wordt de PPO-agent gefinetuned (met gebruik van het vooraf getrainde beleid als startpunt) op de trainingsomgevingen met de gevormde beloning.
- Evaluatie: De resulterende beleidsregels worden geëvalueerd op de validatieomgevingen om scalaire scores te verkrijgen. Deze scores sturen de CMA-ES update aan.
- Efficiëntie: Om de computationele kosten te verlagen, maakt de methode gebruik van parameter sharing (het overnemen van zowel Actor- als Critic-netwerken) van het vooraf getrainde model en maakt het gebruik van parallelle evaluatie van CMA-ES kandidaten.

Belangrijkste Bijdragen

Nieuwe Setting: Het artikel formaliseert en adresseert de uitdaging van RL-generalisatie waarbij validatieomgevingen "black boxes" zijn die alleen scalaire returns leveren, een beperking die vaak genegeerd wordt door standaard Domain Randomization (DR) of Procedural Content Generation (PCG) methoden.
Bilevel Raamwerk: Het introduceert een bilevel optimalisatiebenadering die policy learning (lager niveau) ontkoppelt van reward function design (hoger niveau), waarbij evolutionaire strategieën worden gebruikt om de kloof tussen training en validatieprestaties te overbruggen.
Data-efficiëntie: De methode toont aan dat hoge mate van generalisatie kan worden bereikt zonder toegang tot trajecten in validatieomgevingen, door enkel vertrouwen op scalaire feedback om reward shaping te sturen.

Experimentele Resultaten
De auteurs evalueerden GERS op vier MuJoCo continue controle-taken (InvertedPendulum, Hopper, HalfCheetah, Ant) met variërende fysieke parameters (bijv. massa, wrijving, zwaartekracht).

Baseline Vergelijking: Standaard PPO getraind op een enkele omgeving vertoonde significante overfitting, waarbij het hoge trainingsbeloningen behaalde maar slechte prestaties leverde op ongeziene testomgevingen.
GERS Prestaties: GERS presteerde aanzienlijk beter dan de standaard PPO baseline over alle taken, waarbij het in verschillende gevallen een generalisatieprestatie behaalde die vergelijkbaar is met de trainingsprestaties (bijv. InvertedPendulum).
Vergelijking met Domain Randomization (DR):
- GERS werd vergeleken met een DR baseline die dezelfde set omgevingen gebruikte als trainingsdata (met volledige toegang tot trajecten).
- Hoewel DR het best presteerde op complexe taken (HalfCheetah, Ant), presteerde GERS beter dan DR op eenvoudigere taken (InvertedPendulum, Hopper).
- Cruciaal is dat GERS een concurrerende robuustheid ten opzichte van DR bereikte, ondanks het werken onder veel striktere informatiebeperkingen (geen toegang tot trajectgegevens in validatieomgevingen).
Out-of-Distribution (OOD) Analyse: Heatmap-evaluaties toonden aan dat GERS een sterke robuustheid behield wanneer één fysieke parameter in extreme OOD-regio's werd gedreven, hoewel de prestaties daalden wanneer meerdere parameters gelijktijdig extreem waren.

Betekenis en Claims
Het artikel claimt dat GERS effectief de RL-generalisatie verbetert onder beperkte toegang tot data. De primaire betekenis ligt in het aantonen dat reward shaping, geoptimaliseerd via evolutionaire strategieën op scalaire validatiefeedback, een levensvatbaar alternatief kan zijn voor Domain Randomization wanneer trajectgegevens niet beschikbaar zijn. De auteurs stellen dat deze benadering bijzonder relevant is voor real-world toepassingen zoals geautomatiseerd red-teaming of privacy-gevoelige implementaties, waarbij ontwikkelaars wel prestatieresultaten kunnen observeren, maar niet de interne staatsovergangen van de doelsystemen kunnen inzien.

Erkende Beperkingen
De auteurs merken bescheiden enkele beperkingen op:

De evaluatie is beperkt tot dense-reward continue controle-taken; de toepasbaarheid op sparse-reward problemen is niet geverifieerd.
Hoge computationele kosten beperkten het aantal onafhankelijke proeven, wat de statistische kracht beïnvloedde.
De prestatiewinst is een combinatie van reward shaping en de selectie van het beste beleid uit vele stochastische runs; een ablatie-studie is nodig om de specifieke bijdrage van reward shaping te isoleren.
De upper-level CMA-ES convergeerde niet volledig in alle experimenten, wat wijst op een behoefte aan noise-aware varianten in toekomstig werk.