Learning Stable In-Grasp Manipulation in a Non-Dropping Action Space

Stel je voor dat je een robotarm probeert te leren jongleren, een muntje te laten draaien of een kaartspel te herschikken terwijl je het vasthoudt. Dit is de wereld van dextere manipulatie, een vakgebied waar wetenschappers proberen robots net zo behendig te maken als menselijke vingers. Lange tijd probeerden ingenieurs dit op te lossen door perfecte wiskundige vergelijkingen te schrijven die precies beschreven hoe elke vinger, veer en stuk wrijving zou moeten reageren. Maar het echte leven is rommelig; rubber glijdt, metaal buigt en wrijving verandert, waardoor deze perfecte wiskundige modellen vaak falen wanneer de robot daadwerkelijk probeert te bewegen.

Onlangs begonnen wetenschappers een andere truc te gebruiken genaamd Reinforcement Learning (RL). Denk hierbij aan een videogame waarbij de robot een personage is dat leert door dingen keer op keer te proberen. Als hij het object laat vallen, krijgt hij een "game over" en probeert hij het opnieuw. Als hij slaagt, krijgt hij een punt. Het probleem is dat de robot zonder gids heel langzaam leert. Hij kan per ongeluk een "cheatcode" ontdekken waarbij hij het object in de lucht werpt en weer opvangt, of hij kan het object op een manier laten vallen die eruitziet als een fout, maar hem in feite niets leert. De robot raakt gevangen in een lus van instabiele, gevaarlijke bewegingen omdat hij de basisregels van de natuurkunde niet begrijpt die voorkomen dat dingen vallen.

Dit artikel, getiteld "Learning Stable In-Grasp Manipulation in a Non-Dropping Action Space", stelt een slim middenpad voor. In plaats van de robot vanaf nul te laten leren of te vertrouwen op perfecte wiskunde, stellen de auteurs voor om de robot een "oefenwieltjes"-systeem te geven gebaseerd op solide natuurkunde. Ze nemen een bekende, stabiele methode voor het vasthouden van objecten en gebruiken die om een veilige speeltuin te bouwen waarin de robot kan leren. Binnen deze speeltuin is de robot vrij om te experimenteren en beter te worden, maar is het fysiek onmogelijk voor hem om het object te laten vallen of zijn eigen vingers te breken. Het resultaat is een robot die objecten veel sneller en nauwkeuriger kan manipuleren dan voorheen, terwijl hij ook nog eens veilig blijft.

De "Oefenwieltjes" voor Robotarmen

De auteurs, een team van Kyushu Universiteit in Japan, pakten een specifiek hoofdpijndossier in de robotica aan: hoe leer je een robot een object te bewegen terwijl hij het vasthoudt zonder het ooit los te laten. Zij noemen dit "in-grasp manipulation". Stel je voor dat je een tennisbal in je hand houdt en probeert deze te draaien zodat het logo naar je toe wijst, zonder dat je vingers eraf glijden.

Het artikel betoogt dat het proberen te leren van deze vaardigheid aan een robot vanaf de basis met pure Reinforcement Learning is als het aanleren van autorijden aan een peuter in een racewagen op de rand van een klif. De robot zal uiteindelijk misschien wel leren hoe hij moet rijden, maar hij zal eerst waarschijnlijk veel crashen. In de wereld van RL wordt dit het "long-tail instability problem" genoemd. De robot vindt vreemde, instabiele manieren om te bewegen die een seconde lijken te werken, maar uiteindelijk ervoor zorgen dat het object valt. De auteurs ontdekten dat wanneer de robot het object laat vallen, het leerproces in de war raakt omdat de robot niet weet waarom het misging, en hij verspilt tijd aan het proberen te herstellen van zaken die eigenlijk niet kapot zouden mogen gaan.

De Oplossing: Een Veilige Zandbak

Om dit op te lossen, hebben de auteurs de wiskunde niet weggegooid; ze hebben alleen de manier waarop ze het gebruiken veranderd. Ze begonnen met een bewezen natuurkundige methode genaamd FTODG (Fingers-Thumb Opposability-based Dynamic Grasping). Zie FTODG als een zeer strikte, zeer intelligente leraar die precies weet hoe hij een object moet vasthouden zodat het nooit valt. Deze leraar gebruikt specifieke regels over kracht en balans om het object stabiel te houden.

Deze "leraar" heeft echter een gebrek: hij is een beetje rigide. Hij kan het object perfect vasthouden, maar is niet zo goed in het nauwkeurig verplaatsen of precies draaien van het object zoals je dat wilt. Het is als een leraar die je wel kan behoeden voor vallen van je fiets, maar je niet kan leren hoe je een wheelie maakt.

Het grote idee van het artikel is om de leraar met de student te combineren. Ze creëerden een systeem genaamd TSIGL (Theoretically Stable In-Grasp Learning). Zo werkt het:

1. De Veilige Zone: Ze bouwden een "stabiele actieruimte". Stel je een zandbak voor met hoge muren. Binnen de zandbak is de robot vrij om zijn vingers te bewegen en verschillende manieren te proberen om het object te draaien of te verplaatsen.
2. Het Veiligheidsnet: Ze gebruikten een wiskundig instrument genaamd Control Barrier Functions (CBFs). Denk aan deze als onzichtbare krachtvelden rond de zandbak. Als de robot een beweging probeert te maken die zou leiden tot het laten vallen van het object of het te hard knijpen, stopt het krachtveld de beweging onmiddellijk en duwt het de robot zachtjes terug naar een veilige positie.
3. Het Leren: De robot (met behulp van RL) mag alleen binnen deze veilige zone verkennen. Hij leert de beste manier te vinden om het object te bewegen door de kracht en snelheid van zijn vingers aan te passen, maar hij hoeft zich nooit zorgen te maken over het "game over"-scenario van het laten vallen van het object.

Wat Ze Vonden

Het team testte dit idee in een computersimulatie met behulp van een robotarm genaamd de "Shadow Dexterous Hand". Ze leerden de robot drie vaardigheden: een object vasthouden met drie vingers, een object naar een nieuwe plek verplaatsen zonder het los te laten, en het object laten draaien.

De resultaten waren duidelijk en indrukwekkend. Wanneer ze de robot lieten leren zonder hun "veilige zandbak" (met behulp van standaard end-to-end learning), liet de robot het object duizenden keren vallen. In één test liet de standaardmethode een blikje 3.138 keer vallen tijdens het proberen te leren draaien. In contrast hiermee liet de TSIGL-methode met het veiligheidsnet het object nul keer vallen.

Omdat de robot geen tijd verspilde aan mislukte pogingen, leerde hij veel sneller. In de simulatie bereikte de TSIGL-robot een reeks van 42 succesvolle bewegingen achter elkaar, terwijl de standaardmethode moeite had om zelfs maar één of twee achter elkaar te halen voordat het object viel. Bovendien was de robot, nadat hij de vaardigheid had geleerd, zelfs beter in de taak dan de oorspronkelijke natuurkundige leraar (FTODG) op zichzelf. De robot leerde zijn grip precies goed aan te passen om het object nauwkeuriger te bewegen dan het rigide wiskundige model kon.

Waarom Het Belangrijk Is

De auteurs merken er voorzichtig bij op dat dit in een simulatie is getest, en nog niet in de echte wereld met een fysieke robot. De simulatie toonde echter aan dat door de veiligheid van natuurkunde te combineren met de flexibiliteit van leren, robots complexe vaardigheden veel efficiënter kunnen leren.

Het artikel sluit expliciet de mogelijkheid uit dat we alleen op Reinforcement Learning kunnen vertrouwen om deze problemen op te lossen, door aan te tonen dat zonder het "veiligheidsnet" het leren te traag en instabiel is. Ze laten ook zien dat het simpelweg toevoegen van een straf voor het laten vallen van een object (het vertellen van "laat het niet vallen") niet genoeg is; de robot zal nog steeds mazen in de wet vinden om het object te laten vallen tijdens het leren. De enige manier om het probleem echt op te lossen, ontdekten ze, is door de acties van de robot fysiek te beperken zodat het laten vallen van het object wiskundig onmogelijk is.

Kortom, dit artikel suggereert dat de beste manier om een robot behendig te leren niet is om hem te laten crashen en falen, maar om hem een veilige speeltuin te geven waar hij kan oefenen tot hij de vaardigheid beheerst, terwijl hij beschermd wordt door de natuurwetten.