Pretraining in Actor-Critic Reinforcement Learning for Robot Locomotion

Dit artikel introduceert een pretraining-finetuning-paradigma voor robotlocomotie waarbij een op exploratie gebaseerde Inverse Dynamics Model (PIDM) wordt gebruikt om Actor-Critic-algoritmen als PPO warm te starten, wat resulteert in een aanzienlijke verbetering van de sample-efficiëntie en taakprestaties vergeleken met willekeurige initialisatie.

De kern

Stel je voor dat je een robot wilt leren lopen. Normaal gesproken begin je bij nul: je laat de robot vallen, hij struikelt, hij leert van zijn fouten en probeert het opnieuw. Dit proces duurt lang, kost veel rekenkracht en is vaak inefficiënt. Dit is wat onderzoekers "reinforcement learning" noemen.

De onderzoekers van dit paper (uit ETH Zürich en EPFL) zeggen: "Wacht even, waarom beginnen we elke keer helemaal opnieuw? Een robot heeft toch al een lichaam met benen, gewrichten en zwaartekracht. Die eigenschappen veranderen niet als we van 'lopen' naar 'springen' gaan."

Hier is een simpele uitleg van hun oplossing, met behulp van een paar creatieve vergelijkingen:

1. Het Probleem: De "Blanco" Leerling

Stel je voor dat je een kind wilt leren fietsen. Normaal zou je het kind op een fiets zetten en zeggen: "Probeer maar." Het kind valt, leert balanceren, en na veel vallen kan het eindelijk rijden.
Nu wil je datzelfde kind leren skaten. Je zou het kind opnieuw op een skateboard zetten en zeggen: "Probeer maar." Maar het kind heeft al geleerd hoe het zijn evenwicht houdt! Waarom moet het dat opnieuw leren?

In de robotwereld gebeurt dit wel. Elke nieuwe taak (lopen, klimmen, springen) wordt als een compleet nieuwe leerervaring behandeld, alsof de robot geen geheugen heeft van zijn eigen lichaam.

2. De Oplossing: De "Super-Leraar" (PIDM)

De onderzoekers hebben een slimme truc bedacht. In plaats van de robot direct te laten leren lopen, laten ze hem eerst een voorbereidingsfase doorlopen.

• De Verkenning: Ze sturen de robot de wereld in zonder een specifiek doel. Laat hem maar struikelen, vallen, en zijn ledematen bewegen. Het is alsof je een baby laat kruipen en vallen voordat je hem leert lopen.
• De Leraar (PIDM): Tijdens dit struikelen verzamelen ze data. Ze trainen een speciaal model (een "Proprioceptieve Inverse Dynamiek Model", of kortweg PIDM).
  • De analogie: Stel je voor dat de PIDM een fysica-leraar is. Deze leraar leert niet waar de robot moet gaan (dat is de taak), maar hoe het lichaam werkt. Hij leert: "Als ik mijn linkervoet 10 graden draai, gebeurt er dit met mijn evenwicht." Hij leert de "grammatica" van het bewegen.

3. De Warm-start: De "Gevorderde Leerling"

Nu komt het magische deel. In plaats van de robot met een "lege hersenen" (willekeurige instellingen) te starten, laden ze de kennis van die fysica-leraar (de PIDM) in de hersenen van de robot.

• De Analogie: Het is alsof je een student die al wiskunde en natuurkunde heeft geleerd, niet opnieuw de basis van tellen laat leren, maar direct laat beginnen met de complexe opgaven.
• De robot start nu niet als een onhandige baby, maar als een geavanceerde leerling die al weet hoe zijn lichaam werkt. Hij hoeft alleen nog te leren waar hij naartoe moet (bijvoorbeeld: "loop naar de bergtop" of "spring over de muur").

4. Het Resultaat: Sneller en Slimmer

Toen ze dit testten met verschillende robots (vierpotige honden en een mensachtige robot), zagen ze wonderbaarlijke resultaten:

• 37% sneller leren: De robots hadden veel minder tijd en data nodig om een taak onder de knie te krijgen.
• 7% beter presteren: De robots werden uiteindelijk net iets slimmer en stabieler dan robots die vanaf nul begonnen.

Waarom is dit zo cool?

Het grootste voordeel is dat deze methode taalonafhankelijk is.
Stel je voor dat je de "fysica-leraar" hebt opgeleid voor een robot die eruitziet als een hond. Je kunt diezelfde leraar gebruiken om die hond te leren:

1. Lopen over gladde vloeren.
2. Klimmen over rotsen.
3. Springen over hindernissen.
4. Zelfs dansen!

Je hoeft de leraar niet opnieuw te trainen voor elke nieuwe danspas. De basiswiskunde van het bewegen blijft hetzelfde.

Samenvattend in één zin:

De onderzoekers hebben een manier gevonden om robots eerst de "wetten van hun eigen lichaam" te leren, zodat ze bij het leren van nieuwe trucs niet meer hoeven te vallen als een baby, maar direct kunnen beginnen als een geoefende atleet.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Pretraining in Actor-Critic Reinforcement Learning for Locomotion" in het Nederlands.

Probleemstelling

In het domein van robotlocomotie wordt Reinforcement Learning (RL), en specifiek algoritmen zoals Proximal Policy Optimization (PPO), veel gebruikt om robuuste bewegingen te leren. Een groot nadeel van de huidige aanpak is dat nieuwe taken vaak vanaf nul (tabula rasa) worden geleerd, zelfs binnen hetzelfde robotlichaam (embodiment). Dit leidt tot een inefficiënt gebruik van data (lage sample-efficiency) en langzame trainingstijden.

Hoewel er veel kennis over de dynamica en kinematica van een specifiek robotlichaam gedeeld kan worden tussen verschillende taken, wordt deze kennis niet benut bij het starten van de training. Bestaande methoden voor pretraining in de robotica richten zich vaak op visuele of taalkundige achtergronden, of vereisen datasets met expert-niveau vaardigheden die specifiek zijn voor de eindtaak. Dit maakt ze minder geschikt voor dynamisch instabiele platforms of taken met externe verstoringen, waar de focus ligt op het begrijpen van de fysieke eigenschappen van de robot zelf.

Methodologie

De auteurs stellen een nieuw paradigma voor dat bestaat uit drie fasen: verkenning-gebaseerde datacollectie, pretraining, en reinforcement learning. Het doel is om een taak-agnostisch (task-agnostic) model te trainen dat de inherente dynamica van het robotlichaam leert, om dit vervolgens te gebruiken om de actor-critic netwerken te "warm-starten".

1. Verkenning-gebaseerde Datacollectie:

   • In plaats van expert-demonstraties te gebruiken, verzamelen de auteurs data via een verkenningbeleid (exploration policy) dat is getraind met PPO.
   • Dit beleid wordt gestuurd door een ensemble van Proprioceptive Inverse Dynamics Models (PIDM). Het beleid probeert toestanden te verkennen waar het PIDM-ensemble onzeker is (hoge epistemische onzekerheid), wat leidt tot een diverse dataset van dynamische overgangen die kenmerkend zijn voor de vroege, onzekere fasen van RL-training.
   • De data omvat proprioceptieve observaties (gevoel van de robot zelf) en acties, maar geen taak-specifieke beloningen.

2. Pretraining van het PIDM:

   • Een Proprioceptive Inverse Dynamics Model (PIDM) wordt getraind via supervised learning op de verzamelde data.
   • Het model leert een mapping van een geschiedenis van acties en proprioceptieve observaties ($x_{t-K:t+1}, a_{t-K:t-1}$) naar de benodigde actie om een gewenste toekomstige staat te bereiken.
   • Het model is modulair opgebouwd en leert de fundamentele kinematica, dynamica en stabiliteit van het robotlichaam zonder kennis van specifieke taken.

3. Warm-starting van RL (Actor-Critic Integratie):

   • De gewichten van het vooringestelde PIDM worden geladen in zowel het actor- als het critic-netwerk van de PPO-algoritme.
   • De architectuur wordt aangepast: de PIDM-backbone wordt behouden, maar er worden nieuwe, willekeurig geïnitieerde modules toegevoegd (een Intention Encoder voor taak-specifieke observaties en een Action Synthesizer of Value Synthesizer).
   • Dit zorgt ervoor dat het netwerk begint met een goede schatting van de fysica van de robot, terwijl de taak-specifieke kennis (beloningen, commando's) tijdens de verdere training wordt geleerd.

Belangrijkste Bijdragen

1. Paradigma voor Embodiment-specifieke Initialisatie: Een nieuwe methode om RL-training voor robotlocomotie te starten met gewichten die de fysieke eigenschappen van het robotlichaam bevatten, wat leidt tot betere prestaties en sample-efficiency.
2. Taak-agnostische Toepasbaarheid: De initialisatie is niet afhankelijk van specifieke downstream-taken (zoals specifieke beloningen of observatieruimtes). Het werkt voor diverse Partially Observable Markov Decision Processes (POMDP's) zolang het robotlichaam hetzelfde blijft.
3. Uitgebreide Empirische Validatie: De methode is getest op 9 verschillende RL-omgevingen met 3 verschillende robotlichamen (twee vierpotige robots: ANYmal-D en Unitree Go1, en één humanoid: Unitree G1).

Resultaten

De auteurs hebben hun methode uitgebreid getest en vergeleken met een standaard willekeurige initialisatie (Vanilla MLP) en een PIDM met willekeurige initialisatie.

• Sample-efficiency: De voorgestelde methode verbetert de sample-efficiency gemiddeld met 36,9%. Dit betekent dat het netwerk aanzienlijk minder iteraties nodig heeft om een bepaald prestatieniveau te bereiken.
• Eindprestatie: Er is een gemiddelde verbetering van 7,3% in de uiteindelijke taakprestatie (gemeten op basis van beloning of curriculum-progressie).
• Robuustheid: Het model presteert goed op taken die niet in de pretraining-dataset zaten (bijvoorbeeld parkour-taken op ruw terrein, terwijl de datacollectie voornamelijk op vlakke grond en basisruw terrein plaatsvond).
• Stabiliteit: Ablatiestudies tonen aan dat het pretrainen van zowel de actor als de critic het meest effectief is. Het gebruik van verkenning-gebaseerde data levert betere resultaten op dan het gebruik van data uit de vroege fasen van taak-specifieke training.

Betekenis en Impact

Dit werk biedt een praktische en "plug-and-play" oplossing voor het versnellen van RL-training in de robotica. Door de focus te leggen op het leren van de embodiment-dynamica in plaats van specifieke vaardigheden, overkomt de methode het probleem van data-efficiëntie zonder de complexiteit van het verzamelen van expert-demonstraties.

De bevindingen suggereren dat het inbouwen van fysiek inzicht (via inverse dynamica) in de initiële gewichten van neurale netwerken een krachtige strategie is om de "stumbling stages" (de vroege, onzekere fases) van RL-training te doorlopen. Dit maakt het mogelijk om robuuste locomotie op complexe terreinen sneller te leren, wat essentieel is voor de toepassing van robots in de echte wereld. De methode vereist geen wijzigingen in de bestaande PPO-hyperparameters of de beloningsfuncties, wat de adoptie in bestaande workflows vergemakkelijkt.