NestDex: Nested Policy Learning with Copilot Assisted Teleoperation for Dexterous Manipulation

De Dans van de Robotische Hand

Stel je voor dat je een robot probeert te leren om iets zo delicats te doen als het pellen van een druif of het insteken van een draad door een naald. Dit gaat niet alleen over het bewegen van een mechanische arm van punt A naar punt B; het gaat over de vingers van de robot. In de wereld van de robotica wordt dit "dexterous manipulation" (behendige manipulatie) genoemd. Waar een standaard robotgrijper lijkt op een pincet dat alleen opent en sluit, heeft een behendige hand veel gewrichten, net als een menselijke hand, wat complexe coördinatie vereist om objecten aan te raken, vast te houden en te draaien zonder ze te verpletteren.

De grootste hindernis bij het aanleren van deze vaardigheden aan robots is niet dat de robots te dom zijn om te leren; het is dat het ongelooflijk moeilijk is om ze te laten zien hoe ze het moeten doen. Om een robot door middel van voorbeeld te leren (een methode genaamd imitation learning of imitatie-leren), moet een mens de taak perfect uitvoeren terwijl de robot toekijkt. Maar voor een behendige hand is dit een nachtmerrie. Een menselijke operator moet namelijk tegelijkertijd de arm van de robot besturen en elk individueel vingergewricht coördineren om een zachte grip te behouden. Het is alsof je een auto probeert te besturen met één hand, terwijl je met de andere hand tegelijkertijd een complexe pianosolo speelt. Als de mens ook maar een klein beetje uit het veld slaat, is de data verpest en leert de robot niets. Dit artikel pakt precies dat probleem aan: hoe krijgen we robots te leren om deze verfijnde vingerbewegingen te maken zonder de menselijke operator gek te maken?

Maak kennis met NestDex: De "Co-piloot" van de Robot

De onderzoekers achter deze studie, James Zhao en zijn team, introduceerden een nieuw systeem genaamd NestDex. Zie het als het geven van een "co-piloot" voor de vingers van de robot. In plaats van de mens te vragen om elke individuele vingerbeweging direct te besturen, splitst NestDex de taak in twee delen. De menselijke operator bestuurt nog steeds de grote bewegingen — het sturen van de arm en bepalen waarheen te gaan — maar de vingers worden afgehandeld door een slimme, vooraf getrainde "inner policy" (interne beleidsregel).

Stel je voor dat je een auto bestuurt met een geavanceerde cruise control die precies weet hoe hij om een kuil heen moet sturen. Je zegt alleen tegen de auto "ga vooruit", en de cruise control regelt de kleine, snelle aanpassingen aan het stuur om de rit soepel te houden. In NestDex gebruikt de mens een eenvoudige "clutch" (koppeling — een enkele besturing) om de robotvingers te vertellen hoe ver ze een specifieke vaardigheid moeten uitvoeren. Als de mens de koppeling naar voren duwt, voert de robotvinger automatisch een vooraf geleerde vaardigheid uit, zoals "een fles vastpakken" of "op een knop drukken". Als de mens de koppeling terugtrekt, spoelt de vingerbeweging van de robot terug. De mens hoeft niet te weten hoe je een papieren beker knijpt; ze hoeven alleen maar te weten wanneer ze de koppeling moeten indrukken om de "knijp"-vaardigheid te starten.

Dit systeem werkt in twee lagen. Eerst verzamelt het team data met behulp van deze "co-pilot"-methode. De mens stuurt de arm aan en schakelt tussen de vinger-vaardigheden, waardoor een bibliotheek van perfecte demonstraties ontstaat. Vervolgens trainen ze een aparte "outer policy" (externe beleidsregel) om het volledig over te nemen. Deze outer policy is het brein van de robot voor de uiteindelijke taak; het leert van de demonstraties van de co-piloot, maar neemt uiteindelijk de leiding over, waarbij het zowel de arm als de vingers bestuurt zonder enige menselijke hulp of het co-pilot-systeem.

De Magie van Compressie en Smoothing

Een van de slimme trucs die NestDex gebruikt, is een "hand-action variational autoencoder" (of H-VAE). Je kunt dit zien als een compressie-algoritme voor de bewegingen van de robot. De hand van de robot heeft 20 gewrichten, wat betekent dat er miljoenen manieren zijn om ze te bewegen. Proberen een robot te leren alle 20 getallen tegelijkertijd te voorspellen, is alsof je een student vraagt om een hele encyclopedie pagina voor pagina uit het hoofd te leren. De H-VAE comprimeert deze complexe vingerbewegingen tot een kleinere, eenvoudigere "geheime code" (een latente actie) die gemakkelijker voor de robot te leren is. Wanneer de robot klaar is om de taak uit te voeren, decodeert deze de geheime code terug naar de volledige beweging van de 20 gewrichten. Het onderzoek toonde aan dat het gebruik van deze compressie de robot veel sneller liet leren en beter liet presteren dan wanneer de robot de ruwe, complexe bewegingen direct zou proberen te leren.

De onderzoekers testten ook hoe de robot omgaat met de echte fysica, zoals wanneer een vinger een glad object aanraakt. Ze vergeleken drie manieren waarop de robot kon bewegen:

1. Fixed Replay: Het exact afspelen van een opgenomen video van een succesvolle beweging.
2. Closed-Loop (No Smoothing): De robot kijkt naar zijn huidige positie en beslist de volgende stap, maar doet dit op een schokkerige, stop-en-ga manier.
3. Closed-Loop met Temporal Ensembling: De robot kijkt naar zijn positie, doet een voorspelling, maar middelt die voorspelling vervolgens met zijn recente eerdere voorspellingen om de beweging te verzachten (smoothing).

De resultaten waren duidelijk. De "Fixed Replay"-methode faalde vaak omdat als een object iets anders bewoog dan verwacht, de robot zou craschen. De "Closed-Loop"-methode was robuuster maar schokkerig. De "Temporal Ensembling"-methode was de winnaar: deze was zowel vloeiend als aanpasbaar. In tests met het grijpen van een waterfles slaagde de vloeiende, aanpasbare methode 9 van de 10 keer, terwijl de fixed replay slechts 3 van de 10 keer slaagde. Dit suggereert dat robots, om delicate taken uit te voeren, in staat moeten zijn om hun grip in realtime aan te passen en dit ook nog eens vloeiend te doen, in plaats van simpelweg een script af te spelen.

Van Co-piloot naar Solo-piloot

Het team testte NestDex op zes verschillende uitdagende taken, variërend van het gebruiken van een tang om een wortel te verplaatsen tot het in een map stoppen van papier. Ze vergeleken hun "co-pilot"-systeem met een standaardmethode waarbij de mens probeert de vingers direct te besturen (genaamd AnyTeleop). De resultaten waren opvallend. De standaardmethode faalde volledig bij verschillende taken, met een succespercentage van 0% bij het verzamelen van goede demonstraties voor zaken als "Toast Preparation" (toast bereiden) of "Binder Filing" (mappen vullen). In contrast hiermee behaalde NestDex een succespercentage van 100% bij het verzamelen van demonstraties voor alle zes de taken.

Nog belangrijker is dat het artikel aantoont dat de door NestDex verzamelde data daadwerkelijk werkt. Toen ze een robot trainden om de taken zelfstandig uit te voeren met de NestDex-data, slaagde de robot in 100% van de "Tongs Transfer" (tangenoverdracht) en "Ingredient Transfer" (ingrediëntenoverdracht) taken. Zelfs voor de moeilijkere taken waren de succespercentages aanzienlijk hoger dan wanneer de data van de standaardmethode werd gebruikt. Het artikel pleit expliciet tegen het idee dat de robot het co-pilot-systeem nodig heeft tijdens de uiteindelijke taak; de co-pilot is slechts een hulpmiddel om de data te verzamelen. Zodra de robot de "outer policy" heeft geleerd, kan hij de taak onafhankelijk uitvoeren, waarbij hij de compacte "geheime code" voor zijn vingers gebruikt en de vloeiende, aanpasbare controlestrategieën die hij heeft geleerd.

Kortom, NestDex suggereert dat we mensen niet hoeven te dwingen om expert te worden in het "robotvinger-dansen". In plaats daarvan kunnen we hen een eenvoudige afstandsbediening geven die slimme, vooraf geleerde vinger-vaardigheden activeert. Dit maakt het veel gemakkelijker om de hoogwaardige data te verzamelen die robots nodig hebben om te leren, en het resulteert in robots die beter in staat zijn om met de rommelige, complexe wereld van fysieke objecten om te gaan. De auteurs vonden dat deze aanpak niet alleen de dataverzameling sneller en betrouwbaarder maakt, maar ook leidt tot robots die complexe behendigheidstaken echt zelfstandig kunnen beheersen.