Curriculum Generation under Structured Parametric Environments for Robust Navigation Policies

Stel je voor dat je een robot leert navigeren in een wereld die nooit hetzelfde blijft. In het vakgebied van robotica en kunstmatige intelligentie is dit een enorme puzzel. Als je een robot leert om alleen op vlak, glad asfalt te lopen, zal hij waarschijnlijk struikelen zodra hij een stuk gras of een steile heuvel tegenkomt. Dit is waar Reinforcement Learning (RL) om de hoek komt kijken. Denk aan RL als een digitaal spel van vallen en opstaan waarbij een agent leert door acties uit te voeren en beloningen krijgt voor goede zetten of straffen voor slechte zetten. Maar er is een addertje onder het gras: als de trainingswereld te makkelijk is, leert de robot mogelijk niet hoe hij complexe situaties moet aanpakken en faalt hij in de echte wereld. Als het vanaf het begin te moeilijk is, raakt de robot gefrustreerd en leert hij niets.

Om dit op te lossen, gebruiken wetenschappers Curriculum Learning. Het is als een menselijke leraar die een student niet op de eerste dag direct een examen over calculus voorlegt. In plaats daarvan beginnen ze met eenvoudige optelsommen, gaan ze dan over naar algebra en pakken ze tot slot calculus aan naarmate de student beter wordt. Het doel is om de moeilijkheidsgraad van de trainingsomgeving langzaam te verhogen, zodat de robot robuust wordt—wat betekent dat hij alles aan kan, van gladde vloeren tot plotselinge obstakels. Het is echter ontzettend lastig om precies uit te vogelen hoe snel je de moeilijkheid moet opschroeven, en welke specifieke uitdagingen je als volgende moet toevoegen. Als je het fout raadt, kan de robot in een lus van falen terechtkomen, of leert hij de moeilijkste vaardigheden nooit.

Dit artikel introduceert een nieuwe, slimmere manier om deze trainingscurricula voor robots te ontwerpen. De auteur, Prishita Ray en collega's, stelt een methode voor genaamd Reparameterized Curriculum Generation. In plaats van willekeurig te gokken welke omgevingen getest moeten worden of handmatig de moeilijkheidsniveaus in te stellen, gebruikt hun systeem een "critic" (een slimme waarnemer) om te kijken hoe goed de robot presteert. Op basis van deze feedback gebruikt het systeem wiskunde om de parameters van de trainingsomgeving—zoals de steilheid van een heuvel of het aantal obstakels—op een precieze, gradiënt-gebaseerde manier omhoog of omlaag te sturen. Ze hebben dit getest op twee klassieke, videospel-achtige robotuitdagingen: een auto die door hindernisbanen racet en een tweevoetige wandelaar (bipedal walker) die probeert rechtop te blijven lopen op ruig terrein. De resultaten suggereren dat deze methode robots helnt sneller leert en beter om kan gaan met een grote verscheidenheid aan lastige situaties dan oudere, willekeurige of handmatig ontworpen trainingsmethoden.

Het Verhaal van de Slimme Syllabus

Stel je voor dat je een personage in een videogame traint om een auto te besturen. In de oude dagen koos je misschien elke keer een willekeurig circuit. Soms was het circuit een rechte, lege snelweg; andere keren was het een chaotische doolhof van muren. Dit wordt Random Sampling genoemd. Het is chaotisch en inefficiënt. Of je probeerde een Manual Curriculum, waarbij je besluit: "Oké, voor het eerste uur gebruik ik alleen vlakke banen. Dan voeg ik een paar bulten toe. Daarna voeg ik bochten toe." Dit is beter, maar het is rigide. Wat als het personage klaar is voor bochten maar nog niet voor bulten? Of wat als ze worstelen met bulten, ook al is de baan vlak? Je bent aan het gissen, en je verspilt mogelijk tijd.

De auteur van dit artikel vroeg zich af: Kunnen we een systeem bouwen dat automatisch het perfecte moeilijkheidscurve voor de robot bepaalt, moment voor moment?

Ze bouwden een framework dat ze Reparam noemen. Denk aan Reparam als een leveldesigner van een videogame die ook een personal trainer is. Deze trainer heeft twee hoofdtaken:

1. De Policy (De Student): Dit is het brein van de robot, dat leert hoe hij de auto moet sturen of de tweevoetige wandelaar moet laten lopen.
2. De Critic (De Coach): Dit is het speciale deel van de nieuwe methode. De Critic kijkt niet alleen naar de robot; hij verandert actief de trainingsomgeving.

Hier gebeurt de magie. De trainingsomgeving heeft "knoppen" of parameters. Voor de auto controleren deze knoppen hoe bochtig de weg is ($\kappa$) en hoeveel obstakels er verschijnen ($p$). Voor de wandelaar controleren de knoppen hoe glad de grond is ($f$), hoeveel kuilen er zijn ($\rho$) en hoe steil de hellingen zijn ($s$).

De Critic kijkt naar de prestaties van de robot. Als de robot het huidige niveau moeiteloos beheerst, gebruikt de Critic een wiskundig hulpmiddel genaamd gradiënt-gebaseerde optimalisatie om de knoppen een klein beetje richting "moeilijker" te draaien. Als de robot hopeloos faalt, draait de Critic de knoppen terug naar "makkelijker". Maar hier is de twist: de Critic gokt niet zomaar. Hij berekent de exacte richting om de knoppen te draaien om de robot het meest efficiënt te laten leren. Het is als een GPS die niet alleen zegt "ga naar links", maar ook de exacte hoek berekent om het stuur te draaien om een kuil te vermijden.

De Geheime Saus: De Robot Kalm Houden

Er was een probleem met eerdere methoden. Wanneer de trainingsomgeving te snel of te wild verandert, raakt de robot in de war. In de wereld van AI wordt dit een distribution shift genoemd. Stel je voor dat je leert autorijden en dat je de ene minuut op een droge snelweg rijdt en de volgende seconde op een bevroren meer. Je brein zou moeite hebben om zich aan te passen omdat de "regels" van de weg te drastisch veranderden.

Om dit op te lossen, voegde de auteur een regularisatie-doelstelling toe. Denk aan dit als een "kalm-blijf-regel". Het vertelt de Critic: "Hé, je mag het niveau moeilijker maken, maar verander het niet te veel ten opzichte van het vorige niveau." Het zorgt ervoor dat de robot stap voor stap leert, waardoor de trainingsomgeving stabiel genoeg blijft voor de robot om een solide basis van vaardigheden op te bouwen. Dit was vooral belangrijk voor de auto-race-taak, waarbij de robot afbeeldingen moest verwerken (wat hij "ziet") samen met getallen. De "kalm-blijf-regel" hielp de robot de visuele wereld beter te begrijpen, waardoor werd voorkomen dat hij overweldigd werd door plotselinge, schokkende veranderingen in het landschap.

De Race en De Wandeling

Het team testte hun idee op twee zeer verschillende uitdagingen met behulp van de OpenAI Gym, een populaire toolkit voor het trainen van robots.

1. De Car Racing Challenge:
De robot moest een auto besturen door een parcours vol obstakels. De moeilijkheidsgraad werd bepaal door hoe bochtig de weg was en hoeveel obstakels er op de weg lagen.

• Het Resultaat: De nieuwe methode (specifiek de versie met de "kalm-blijf-regel", genaamd Reparam-M) was een kampioen. Het behaalde een gemiddelde beloning van 650 (met een standaarddeviatie van 134), waarmee het alle andere methoden versloeg.
• Waarom het ertoe deed: De robot voltooide niet alleen de race; hij botste ook veel minder vaak tegen obstakels aan. Terwijl een "Vanilla" robot (getraind op alleen gemakkelijke banen) gemiddeld 1.85 keer crasde, crashte de Reparam-M robot slechts 0.60 keer. Hij reed ook minder vaak van de weg af de berm in, wat liet zien dat hij leerde om op de weg te blijven, zelfs wanneer de weg lastig werd.

2. De Bipedal Walker Challenge:
Dit was een robot met twee benen die vooruit probeerde te lopen zonder in kuilen te vallen of uit te glijden op hellingen.

• Het Resultaat: Interessant genoeg was de "kalm-blijf-regel" hier minder noodzakelijk. Het brein van de robot voor het lopen was eenvoudiger (het hoefde geen afbeeldingen te verwerken, alleen lichaamssensoren). De versie zonder de extra regel (Reparam) presteerde het best, met een gemiddelde beloning van 127.
• Waarom het ertoe deed: Deze robot maakte gemiddeld 128 stappen, vergeleken met de 110 stappen van de "Vanilla" robot. Hij viel ook minder vaak in kuilen.

Wat Ze Leerden (en Wat Ze Niet Leerden)

Het artikel wijst er zorgvuldig op wat wel en niet werkt. Ze hebben verschillende variaties van hun idee getest:

• Bidirectionale Updates (Reparam-A): Ze probeerden de Critic het niveau makkelijker te laten maken als de robot het te goed deed, in de hoop hem in een "leerzone" te houden. Maar dit vertraagde het proces juist. Het bleek dat zodra de robot klaar was voor een moeilijker niveau, het weer makkelijker maken simpelweg tijd verspilde.
• Reverse Curriculum (Reparam-R): Ze probeerden te beginnen met de moeilijkste niveaus en vervolgens terug te werken. Dit werkte niet zo goed als beginnen met makkelijk en steeds moeilijker worden.
• Manual en Random Curricula: Zoals verwacht werden deze ouderwetse methoden overtroffen door het slimme, geautomatiseerde systeem.

De auteur stelde vast dat hun methode sample-efficiënt is, wat betekent dat het sneller leert en minder pogingen nodig heeft om goed te worden in de taak. Ze hebben deze experimenten vijf keer uitgevoerd met verschillende willekeurige seeds om er zeker van te zijn dat de resultaten niet op geluk berustten. De resultaten waren consistent: de nieuwe methode versloeg consequent de oude methoden.

Toch is het artikel ook bescheiden. Ze merken op dat hoewel de methode geweldig werkt in deze gesimuleerde videogames, het nog steeds een simulatie is. Ze hebben het nog niet getest op een echte robot in een echte woonkamer. Ze suggereren dat toekomstig werk zal moeten kijken of deze "slimme syllabus" zelfs complexere, real-world variabelen kan afhandelen.

De Kernboodschap

Dit artikel gaat niet over het uitvinden van een nieuwe robot of een nieuw spel. Het gaat over het uitvinden van een betere leraar. Door een slim, op wiskunde gebaseerd systeem te gebruiken om de moeilijkheidsgraad van trainingsomgevingen tijdens het proces aan te passen, heeft de auteur aangetoond dat robots sneller kunnen leren om robuuster, aanpasbaarder en minder vatbaar voor crashes te zijn. Of het nu een auto is die door een chaotisch parcours navigeert of een wandelaar die een rotsachtig pad oversteekt, de les is duidelijk: de beste manier om een robot te onderwijzen is niet door hem in het diepe water te gooien, maar door hem te begeleiden via een perfect getimed traject van uitdagingen, stap voor stap.