ORPA: Online Residual Policy Adaptation for Robot Manipulation Control with Human Feedback
Dit artikel introduceert ORPA, een framework dat voorgetrainde robotische manipulatiebeleid verbetert door een lichtgewicht, op feedback gebaseerde module toe te voegen om realtime residuele aanpassingen in de gewrichtsruimte te voorspellen, wat onmiddellijke foutcorrectie en adaptatie aan distributieverschuivingen mogelijk maakt zonder dat volledige hertraining van het beleid vereist is.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Robots die een beker kunnen oppakken, een deur kunnen openen of een stapel objecten kunnen sorteren, zijn al lang de droom van ingenieurs. Jarenlang was de meest veelbelovende manier om een machine deze vaardigheden aan te leren imitatie leren. In deze aanpak demonstreert een mens een taak, bijvoorbeeld door de armen van een robot met de eigen handen te bewegen, en een computerprogramma kijkt nauwlettend toe om het patroon te leren. De robot probeert vervolgens dat patroon zelfstandig te kopiëren. Onlangs hebben krachtige nieuwe computermodellen deze robots verrassend goed gemaakt in complexe taken, waardoor ze lange reeksen bewegingen met indrukwekkende vloeiendheid achter elkaar kunnen uitvoeren. Deze digitale leerlingen hebben echter een aanzienlijke zwakte: ze zijn broos. Als het object slechts enkele centimeters verwijderd is van waar de robot het verwacht, of als de arm van de robot tijdens een taak iets uitschiet, kan het hele plan instorten. De robot, die een specifiek pad heeft onthouden, weet vaak niet hoe hij moet herstellen. Het oplossen hiervan vereist meestal het verzamelen van duizenden nieuwe voorbeelden en het volledig opnieuw trainen van het systeem, een proces dat traag, duur en onmogelijk is terwijl de robot daadwerkelijk aan het werk is.
Een team van onderzoekers aan het National Institute of Advanced Industrial Science and Technology in Japan heeft een andere manier voorgesteld om deze fouten af te handelen. Ze ontwikkelden een systeem genaamd Online Residual Policy Adaptation, of ORPA, waarmee een robot zijn acties in realtime kan corrigeren op basis van eenvoudige menselijke feedback, zonder de hele taak opnieuw te hoeven leren. In plaats van de robot vanaf nul een nieuwe manier van bewegen aan te leren, werkt ORPA als een subtiele gids die het bestaande plan van de robot bijstuurt wanneer er iets net niet helemaal goed gaat. De onderzoekers testten dit op een dubbelarmig robotplatform genaamd ALOHA, dat is ontworpen om menselijke bimanuele manipulatie na te bootsen. Ze ontdekten dat wanneer de robot kleine fouten tegenkwam, zoals een object dat iets uit positie was, het systeem de bewegingen direct kon aanpassen om te slagen, terwijl de standaardrobot zou falen.
De kern van dit werk is het scheiden van de algemene kennis van de robot van zijn directe correcties. De robot begint met een vooraf getraind brein dat weet hoe een taak moet worden uitgevoerd onder ideale omstandigheden. Dit brein blijft onaangetast. Wanneer de robot begint te bewegen, houdt een apart, lichtgewicht module de situatie in de gaten. Als een menselijke operator signaleert dat er iets mis is—bijvoorbeeld door te zeggen dat het object "te ver naar links" of "te hoog" is—berekent deze module een kleine aanpassing. Het vertelt de robot niet om opnieuw te beginnen; in plaats daarvan voegt het een kleine correctie toe aan de huidige beweging van de robot. Deze correctie wordt geleerd van data waarbij de onderzoekers opzettelijk kleine fouten introduceerden in succesvolle demonstraties en het systeem leerden hoe ze die moesten herstellen. Het resultaat is een robot die zijn oorspronkelijke, vloeiende gedrag behoudt, maar de mogelijkheid krijgt om ter plekke aan te passen, net zoals een mens die zijn grip kan aanpassen als een beker glad aanvoelt, zonder volledig te hoeven leren hoe hij een beker moet vasthouden.
Om dit concept te bewijzen, voerden de onderzoekers uitgebreide tests uit in zowel een computersimulatie als in de echte wereld. Ze stelden uitdagende taken op die een hoge precisie vereisen, zoals het overbrengen van een kubus van de ene hand naar de andere, het invoeren van een pen in een nauw gat, het openen van een dop van een fles en het sorteren van diverse objecten. In de simulaties verplaatsten ze de doelobjecten doelbewust iets van hun verwachte posities om de rommeligheid van de echte wereld na te bootsen. De standaardrobot, die alleen vertrouwde op de oorspronkelijke training, slaagde in slechts 60 procent van deze moeilijke proeven. Toen de onderzoekers het nieuwe correctiesysteem toevoegden, steeg het succespercentage naar meer dan 90 procent voor eenvoudige transfers en naar meer dan 80 procent voor de complexere invoeropdrachten. Het systeem presteerde ook beter dan oudere methoden die gebruikmaakten van vaste geometrische regels om fouten te herstellen. Die oudere methoden gingen ervan uit dat een "te ver naar links"-signaal altijd dezelfde hoeveelheid beweging betekende, ongeacht de context. Het nieuwe systeem leerde echter dat de omvang van de correctie afhangt van het specifieke moment in de taak en de positie van de armen van de robot.
De onderzoekers vergeleken hun methode ook met andere recente benaderingen die grote taalmodellen gebruiken om menselijke feedback te interpreteren. Hoewel die systemen veelbelovend waren, waren ze trager en vereisten ze complexe conversies tussen taal en fysieke beweging. Het nieuwe systeem werkt direct op de gewrichtsbewegingen van de robot, wat het sneller en efficiënter maakt. In tests met de fysieke robot in de echte wereld was de verbetering duidelijk maar genuanceerd. Voor taken zoals het verplaatsen van een snackdoosje of het sorteren van voorwerpen, was de robot al vrij goed en slaagde hij ongeveer 80 procent van de tijd uit zichzelf. Met het nieuwe systeem steeg dat aantal slechts licht, maar belangrijker nog, de robot werd veel beter in het herstellen van specifieke fouten. Bijvoorbeeld bij de moeilijke taak van het openen van een dop van een fles, wat nauwkeurig contact en timing vereist, hielp het systeem de robot om zijn bewegingen te stabiliseren en de taak betrouwbaarder te voltooien. De onderzoekers observeerden dat het systeem niet elke keer hoefde in te grijpen; het stapte alleen in wanneer de fout groot genoeg was om tot een mislukking te leiden, waardoor de natuurlijke flow van de oorspronkelijke bewegingen van de robot behouden bleef.
Dit werk suggereert een praktische weg vooruit om robots robuuster te maken in ongestructureerde omgevingen. Door te voorkomen dat het hele systeem telkens opnieuw getraind moet worden wanneer een nieuwe fout optreedt, hebben de onderzoekers een methode gecreëerd die computationeel licht is en klaar voor gebruik in realtime. Het systeem vervangt de aangeleerde vaardigheden van de robot niet, maar versterkt ze met een flexibele laag van correctie. In de experimenten leerde de robot een verscheidenheid aan foutmodi aan te pakken, inclusief timingverschillen en imperfect contact, simpelweg door zijn acties aan te passen op basis van de ontvangen feedback. De bevindingen wijzen erop dat deze aanpak robots betrouwbaarder kan maken in omgevingen waar de omstandigheden nooit perfect voorspelbaar zijn, waardoor ze effectiever naast mensen kunnen werken zonder constante supervisie of herprogrammering. Het succes van het systeem in zowel de simulatie als op de fysieke hardware toont aan dat kleine, geleerde aanpassingen een aanzienlijk verschil kunnen maken in de betrouwbaarheid van complexe robotische taken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.