Trajectory-Tracking Control of Multi-DOF Manipulators Subject to Payload Variations using Deep Reinforcement Learning

Stel je een wereld voor waarin robots de ultieme helpers zijn, in staat om auto-onderdelen te lassen, mensen uit puin te redden of dozen te stapelen in een magazijn. Maar om een robot echt behulpzaam te laten zijn, moet hij precies weten hoe hij zijn armen moet bewegen. Dit is de taak van een "controller", het brein dat de gewrichten van de robot vertelt waar ze heen moeten. Meestal dragen deze robots dingen mee—gereedschap, zware dozen of zelfs brandblussers die lichter worden terwijl ze spuiten. Het probleem is dat wanneer het gewicht in de hand van een robot verandert, de manier waarop zijn arm beweegt ook verandert. Het is alsof je probeert te fietsen op een fiets die plotseling een zware rugzak aan heeft gekregen; je moet harder trappen en anders sturen om op het pad te blijven.

Jarenlang hebben wetenschappers geprobeerd robots te leren om met deze gewichtsveranderingen om te gaan met behulp van ouderwetse wiskundige trucjes. Deze methoden zijn als het geven van een set rigide regels aan de robot: "Als het zwaar wordt, duw dan harder." Maar deze regels falen vaak wanneer het gewicht plotseling of wild verandert, waardoor de robot gaat wiebelen, zijn doel overschiet of zichzelf uit elkaar schudt. Maak kennis met een nieuwer, flitsender idee: Deep Reinforcement Learning (DRL). Denk hierbij aan het leren van een robot, niet door hem een regelboek te geven, maar door hem keer op keer een videogame te laten spelen. De robot probeert te bewegen, krijgt een "score" voor goed presteren, en leert van zijn fouten totdat hij een meesterspeler is. Dit artikel duikt in de vraag of deze "spelende" benadering een robot kan leren om een bewegend doel perfect te volgen, zelfs wanneer het gewicht in zijn hand constant verandert, krimpt of rondspringt.

De onderzoekers achter deze studie besloten dit idee te testen op een populaire zesarmige robot genaamd de UR5e. Ze wilden zien of ze deze robot konden trainen met een specifiek type spelend algoritme genaamd Soft Actor-Critic (SAC). De grote uitdaging was dat de robot een snel, kronkelend pad moest volgen terwijl hij ladingen droeg die varieerden van niets (0 kg) tot een zwaar gewicht van 5 kg, en soms veranderde het gewicht midden in de beweging.

Om de robot slim genoeg te maken om elk gewicht aan te kunnen, trainden het team hem niet alleen met één specifieke lading. In plaats daarvan gebruikten ze een truc genaamd "domain randomization". Stel je een videogame voor waarbij de leveldesigner de zwaartekracht, de wrijving of het gewicht van het personage elke keer dat je een nieuw spel start, willekeurig verandert. Door de robot in deze chaotische, voortdurend veranderende omgeving te trainen, leerde de robot een flexibele strategie die werkt voor elk gewicht, in plaats van een enkele oplossing voor één specifieke lading te memoriseren. Ze gaven de robot ook een speciaal "geheugen" door hem niet alleen te voeden met waar hij nú is, maar ook waar hij een moment geleden was en waar hij naartoe moet gaan. Dit hielp de robot om veranderingen in de fysica van zijn arm te anticiperen, net zoals een surfer die vooruit kijkt naar de volgende golf in plaats van alleen naar het water onder zijn voeten te staren.

De resultaten van hun simulaties waren zeer indrukwekkend. Wanneer ze hun nieuwe "game-getrainde" robot testten tegenover een traditionele controller (een standaard PID-controller, wat de ouderwetse regelboek-benadering is), was het verschil groot. De traditionele controller had grote moeite wanneer het gewicht veranderde. Als de robot een zware lading droeg en het gewicht plotseling afnam, of als hij begon zonder gewicht en plotseling zwaar werd, raakte de oude controller in de war. Hij schoot door het doel heen, schudde heftig en produceerde enorme fouten in het volgen van het pad. In de moeilijkste test, waarbij de payload op complexe manieren veranderde (stilstaand, dan langzaam veranderend, en dan plotseling springend), was de gemiddelde fout van de oude controller een rommelige 19,41 graden, en gebruikte hij veel schokkerige, inefficiënte energie.

In contrast hiermee was de nieuwe DRL-controller een vloeiende operator. Hij hield de robot op het pad met een gemiddelde fout van slechts 1,41 graden. Dat is een enorme verbetering van ongeveer 92,72%. Niet alleen was het nauwkeuriger, maar het was ook veel vloeiender. Het koppel (de kracht die de controller uitoefende op de gewrichten) van de oude controller varieerde wild, met sprongen van gemiddeld 5,26 Nm, terwijl de nieuwe controller die sprongen beperkte tot slechts 1,72 Nm. Dit betekent dat de robot gracieus bewoog, minder energie verbruikte en minder stress op zijn motoren legde.

De studie toonde ook aan dat deze "gerandomiseerde training" het geheime ingrediënt was. Wanneer ze de robot trainden met slechts één vast gewicht en hem vervolgens testten met een ander gewicht, faalde het rampzalig, waarbij de fouten omhoog schoten. Maar omdat ze de robot trainden met een wilde mix van gewichten, leerde hij een algemene vaardigheid die overal werkte. De onderzoekers ontdekten dat de manier waarop ze de "scorekaart" van de robot ontwierpen (de reward function) ook cruciaal was. Ze moesten een balans vinden tussen punten geven voor het raken van het doel, punten voor vloeiende bewegingen en punten voor het niet verspillen van energie. Als ze alleen om het raken van het doel gaven, zou de robot zichzelf kapot schudden; als ze alleen om vloeiendheid gaven, zou hij minder responsief zijn bij het corrigeren van zijn pad. De perfecte mix van deze beloningen leerde de robot om zowel precies als zachtaardig te zijn.

Natuurlijk vindt dit momenteel plaats in een computersimulatie. De auteurs merken er zorgvuldig bij op dat hoewel de robot een kampioen heeft geleerd te zijn in de virtuele wereld, er nog steeds hindernissen zijn voordat hij een kampioen kan zijn in de echte wereld. Ten eerste had de robot tijdens de training soms "slechte dagen" waarop hij een plotselinge, vreemde fout maakte, en zij vermoeden dat het geven van een beter geheugen (zoals een long-term memory network) zou kunnen helpen. Ze waarschuwen ook dat het laten verkennen van de ruimte door een robot op een willekeurige manier in de echte wereld gevaarlijk kan zijn, dus ze moeten uitzoeken hoe ze deze virtuele vaardigheden veilig kunnen overbrengen naar een fysieke machine.

Kortom, dit artikel suggereert dat door robots te leren een spel te spelen waarbij de regels (het gewicht) constant veranderen, we controllers kunnen creëren die veel aanpasbaarder en nauwkeuriger zijn dan de oude methoden. Het is een veelbelovende stap richting robots die de rommelige, onvoorspelbare realiteit van de echte wereld kunnen hanteren zonder dat er een mens nodig is om constant hun instellingen aan te passen.