Self-adapting Robotic Agents through Online Continual Reinforcement Learning with World Model Feedback

Dit artikel presenteert een door DreamerV3 aangedreven raamwerk voor online continue versterkingsleer dat wereldmodel-residuen gebruikt om out-of-distribution gebeurtenissen te detecteren en een robotagent autonoom tijdens de inzet aan te passen aan onverwachte veranderingen.

De kern

Stel je voor dat je een robot hebt die is opgeleid om te lopen, zoals een puppy die traint om niet te struikelen. Meestal wordt zo'n robot in een veilige, voorspelbare omgeving getraind en daarna 'vastgezet' met die kennis. Als de robot dan op de echte wereld stuitert, bijvoorbeeld omdat hij een been breekt of de vloer plotseling glad wordt, kan hij vaak niets meer doen. Hij blijft vastlopen, omdat hij niet weet hoe hij zich moet aanpassen.

Dit artikel van Fabian Domberg en Georg Schildbach introduceert een slimme nieuwe manier om robots levend en aanpasbaar te maken. Ze noemen dit "online continu leren". Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Robot met een "Droom" (Het Wereldmodel)

Stel je voor dat de robot niet alleen leert door te doen, maar ook door te dromen.

• De robot heeft een interne "droommachine" (een wereldmodel). Deze machine leert hoe de wereld werkt: "Als ik mijn poot hier zet, gebeurt dat dan."
• Normaal gesproken droomt de robot over zijn bewegingen in zijn hoofd, voordat hij ze echt uitvoert. Dit maakt hem heel efficiënt in het leren.

2. Het Alarm: "Iets klopt niet!"

In het dagelijks leven gebeurt er soms iets onverwachts. Misschien is de robot een wiel kwijtgeraakt, of loopt hij over ijs in plaats van asfalt.

• De robot gebruikt zijn droommachine om te voorspellen wat er zou moeten gebeuren.
• Vervolgens kijkt hij naar wat er echt gebeurt.
• De Analogie: Stel je voor dat je loopt en je droomt dat je over een vlakke weg loopt, maar je voelt plotseling dat je in modder zakt. Je droom en je realiteit komen niet overeen. Dat verschil is een alarm.
• In de robot noemen ze dit een "voorspellingsfout". Zodra dit alarm te hard gaat, weet de robot: "Hé, de wereld is veranderd! Ik moet mijn kennis updaten."

3. De Aanpassing: "Oefenen terwijl je werkt"

Zodra het alarm af gaat, stopt de robot niet. Hij begint direct met finetuning (fijnafstemming).

• Hij blijft gewoon werken (lopen, rijden), maar hij gebruikt elke nieuwe ervaring om zijn interne droommachine en zijn bewegingsplan direct aan te passen.
• Het is alsof een sporter tijdens een wedstrijd merkt dat zijn schoenen scheef zitten. In plaats van de wedstrijd te verlaten, past hij zijn loopstijl direct aan terwijl hij doorloopt, totdat hij weer stabiel is.

4. Wanneer is het klaar? (Zelfreflectie)

Een groot probleem bij robots is: "Wanneer moet ik stoppen met aanpassen?" Als je blijft aanpassen, vergeet je misschien wat je al kon.

• De auteurs hebben een slimme manier bedacht om dit te controleren. De robot kijkt naar twee dingen:
  1. Hoe goed presteer ik? (Bijvoorbeeld: loop ik weer stabiel?)
  2. Hoe voelt het in mijn hoofd? (Bijvoorbeeld: zijn mijn voorspellingen weer stabiel?)
• Zodra de robot merkt dat hij weer stabiel loopt en zijn interne alarmen stoppen met piepen, denkt hij: "Oké, ik heb het weer onder controle. Ik stop met het grote aanpassen en ga gewoon verder." Hij hoeft geen menselijke leraar te bellen om te zeggen: "Stop nu."

De Experimenten: Van Simulatie naar Realiteit

De auteurs hebben dit getest op drie manieren:

1. Een simpele wandelaar: Een robot die leert lopen. Plotseling werd één van zijn gewrichten "beschadigd" (alsof een spier scheurt). De robot merkte het, pastte zijn loopstijl aan en kon weer lopen.
2. Een robot-hond (ANYmal): Een vierpotige robot die werd getraind om te lopen. Toen één van zijn poten minder krachtig werd, struikelde hij eerst, maar leerde zich binnen enkele minuten aanpassen aan het nieuwe evenwicht.
3. Een echte auto: Ze trainden een modelauto in een computer, en zetten hem toen op een echte, kleine auto in het lab. Omdat de echte wereld anders is dan de computer (lichter, andere wrijving), viel de auto eerst uit de bocht. Maar de robot merkte dit op, leerde direct bij, en kon weer veilig rijden. Later deden ze zelfs sokken over de wielen om de wrijving te veranderen, en de auto leerde weer opnieuw om niet uit te slippen.

Waarom is dit belangrijk?

Vroeger waren robots als statische boeken: je leert ze iets, en dat staat voor altijd zo. Als de situatie verandert, is het boek nutteloos.
Deze nieuwe methode maakt robots als menselijke intelligentie: ze kunnen leren van fouten, zich aanpassen aan onverwachte situaties en zichzelf verbeteren terwijl ze bezig zijn.

Kortom: Dit onderzoek laat zien dat robots niet meer hoeven te wachten tot ze in een fabriek worden gerepareerd als er iets misgaat. Ze kunnen zichzelf "op de vlucht" repareren en aanpassen, net zoals een mens dat zou doen als hij op glad ijs zou glijden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Self-adapting Robotic Agents through Online Continual Reinforcement Learning with World Model Feedback" in het Nederlands.

Probleemstelling

Huidige leer-gebaseerde robotcontrolesystemen worden doorgaans offline getraind en met vaste parameters ingezet. Hierdoor is hun vermogen om onvoorziene veranderingen tijdens de operatie (zoals componentenfouten, slijtage of veranderingen in de omgeving) te verwerken, beperkt. Hoewel robustheid kan worden vergroot door randomisatie en grotere datasets, kunnen deze methoden niet volledig voorkomen dat een robot faalt bij een "out-of-distribution" (OOD) gebeurtenis. Biologische systemen daarentegen kunnen gedurende hun hele levensduur continu leren en zich aanpassen aan nieuwe situaties. De kernvraag is hoe robotagenten deze biologische flexibiliteit kunnen nabootsen om autonoom te reageren op veranderingen zonder menselijke tussenkomst.

Methodologie

De auteurs presenteren een raamwerk voor Online Continual Reinforcement Learning (CRL) dat gebaseerd is op het model-gebaseerde RL-algoritme DreamerV3. De methode combineert drie hoofdblokken:

1. Wereldmodel en Voorspelling:

   • Het systeem gebruikt een recurrent state-space model (RSSM) als wereldmodel om de dynamica van de omgeving te leren.
   • Dit model leert niet alleen de policy (gedrag), maar voorspelt ook toekomstige toestanden, beloningen en observaties op basis van huidige acties.
   • Het model wordt getraind op "gedroomde" interacties (in de latente ruimte), wat de sample-efficiëntie ten opzichte van model-vrije methoden (zoals PPO) drastisch verhoogt.

2. Detectie van Veranderingen (Out-of-Distribution Detection):

   • Tijdens de uitvoering (inference) gebruikt het systeem het wereldmodel om toekomstige toestanden te voorspellen en vergelijkt deze met de daadwerkelijke metingen.
   • Twee metrieken worden berekend:
     • Observation Prediction Residual (OPR): Het gemiddelde verschil tussen de voorspelde en de werkelijke observaties over een horizon.
     • Reward Prediction Residual (RPR): Het verschil tussen voorspelde en werkelijke beloningen.
   • Een verandering wordt gedetecteerd wanneer deze residuen een drempelwaarde overschrijden (bepaald als drie standaardafwijkingen boven het voortschrijdend gemiddelde). Dit signaleert dat de robot zich in een situatie bevindt die afwijkt van het trainingsdomein.

3. Automatische Aanpassing en Convergentie:

   • Zodra een verandering wordt gedetecteerd, start het systeem automatisch met fine-tuning van zowel het wereldmodel als de policy.
   • Het systeem verzamelt nieuwe data van de huidige situatie en traint het model opnieuw, waarbij oude data (voor de verandering) niet in de replay buffer wordt opgenomen om te voorkomen dat het model verouderde dynamica onthoudt.
   • Convergentie-evaluatie: Het systeem bepaalt autonoom wanneer de aanpassing voltooid is door een combinatie van externe taak-prestaties (beloning) en interne leersignalen te monitoren:
     • Dynamics Loss: Stabiliteit van de voorspelling van toestandsdynamica.
     • Advantage Magnitude: De sterkte van het verbeteringssignaal voor de policy.
     • Value Loss: De consistentie van de voorspelde langetermijnresultaten.
   • Wanneer deze metrics stabiliseren (geen grote fluctuaties meer), stopt het fine-tuning-proces.

Kernbijdragen

• Volledig geautomatiseerde CRL: Dit is, naar weten van de auteurs, de eerste methode die volledig geautomatiseerde, continue controle en open-set CRL mogelijk maakt zonder menselijke interventie voor het starten van aanpassingen of het bepalen van convergentie.
• Gebruik van World Model Residuen: Het effectief benutten van de voorspellingsfouten van het wereldmodel als signaal voor zowel het detecteren van veranderingen als het monitoren van de aanpassingsvoortgang.
• Robuustheid in complexe omgevingen: De methode is getest op complexe, continue controleproblemen, waarbij de taak en omgeving grotendeels gelijk blijven, maar kleine, geleidelijke of willekeurige veranderingen continu aanpassing vereisen.

Resultaten

De methode is gevalideerd op drie verschillende robotische systemen:

1. DMC Walker (Simulatie):

   • Een tweedimensionale humanoid die moet lopen. Na 5.000 stappen werd een gewrichts-actuator beschadigd (verlaagde versnellingsverhouding).
   • Het systeem detecteerde de daling in beloning en stijging in residuen direct. Binnen 10.000 stappen (2 minuten simulatietijd) herstelde de robot zijn evenwicht en bereikte bijna de oorspronkelijke prestaties.

2. ANYmal Quadruped (Simulatie):

   • Een vierpotige robot (NVIDIA Isaac Lab) die moest lopen. Na 9.000 stappen werden de snelheidslimieten van drie actuatoren in het rechterachterbeen verlaagd.
   • De robot viel aanvankelijk, maar het systeem startte fine-tuning. Na gemiddeld 5.000 stappen stabiliseerde het looppatroon. De interne metrics (zoals Dynamics Loss) daalden en stabiliseerden, wat de convergentie bevestigde.

3. F1Tenth Modelauto (Real-world):

   • Een 1:10 schaalmodelauto. Eerst getraind in simulatie, vervolgens overgebracht naar de echte auto (Sim-to-Real).
   • Bij de overstap naar de echte auto (tijdstip 10.000) steeg de OPR en daalde de beloning door de "reality gap". Het systeem startte fine-tuning en stabiliseerde het gedrag binnen ongeveer 10.000 stappen (8 minuten).
   • Later werden de achterwielen voorzien van sokken om de wrijving te verlagen. Het systeem detecteerde dit (hoewel minder duidelijk in de totale OPR, wel in specifieke hoeksnelheidsresiduen) en paste de rijstijl aan (langzamer rijden om slippen te voorkomen), waarna de beloning zich stabiliseerde op een nieuw, lager niveau.

Betekenis en Toekomstperspectief

Dit werk markeert een belangrijke stap richting autonome robots die niet statisch zijn, maar zelfreflecterend en zelfverbeterend kunnen zijn tijdens hun operatie, vergelijkbaar met biologische organismen.

• Significantie: Het bewijst dat model-gebaseerde RL (MBRL) een solide basis vormt voor systemen die kunnen omgaan met onverwachte verstoringen en veroudering zonder dat ze opnieuw van nul moeten worden getraind.
• Uitdagingen: De auteurs benadrukken dat veiligheid een kritieke factor blijft, aangezien RL-systemen soms fouten moeten maken om te leren. Toekomstig werk moet zich richten op de integratie met "Safe RL" en Model Predictive Control (MPC) om onveilig gedrag te voorkomen.
• Trade-offs: Er is een afweging tussen het behoud van oude vaardigheden (stabiliteit) en het aanleren van nieuwe vaardigheden (plasticiteit). De auteurs kiezen hier bewust voor open-ended aanpassing, waarbij verouderde kennis wordt genegeerd ten gunste van flexibiliteit in veranderende omgevingen.

Samenvattend biedt deze methode een praktisch kader voor robots om zich aan te passen aan de dynamische realiteit, wat essentieel is voor hun inzet in safety-critical en hoog-dynamische omgevingen.