ADEPT: Accelerating Dexterity via Pre-Training and Post-Training using Reinforcement Learning
ADEPT is een grootschalig reinforcement learning-framework dat de ontwikkeling van menselijke behendigheid bij robots met een hoge mate van vrijheidsgraden versnelt door voorgetraind te worden op generieke taken en een stabiel post-training recept toe te passen om zero-shot sim-to-real transfer mogelijk te maken voor het oplossen van complexe, langdurige manipulatietaken vanuit ruwe visuo-tactiele perceptie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Robots zijn al lang meesters op de fabrieksvloer, waarbij ze met rigide precisie bewegen om auto's te assembleren of dozen te stapelen. Toch, wanneer gevraagd wordt om de vloeiende, delicate taken van het dagelijs leven uit te voeren—zoals het oppakken van een breekbaar ei, het omdraaien ervan en het voorzichtig in een kom plaatsen—falen de meeste machines. Dit is de uitdaging van behendigheid. Het vereist dat een robot tientallen bewegende onderdelen tegelijkertijd coördineert, reagerend op tast en zicht in realtime om de chaotische fysica van objecten die glijden, rollen of botsen te beheersen. Jarenlang hebben onderzoekers geprobeerd robots deze vaardigheden aan te leren door ze te programmeren met rigide regels of door hen menselijke demonstraties te tonen, maar deze methoden falen vaak wanneer de omgeving zelfs maar licht verandert. Een nieuwe benadering suggereert echter dat het geheim van robotische behendigheid niet ligt in het aanleren van een robot elke specifieke taak vanaf nul, maar in het eerst geven van een brede, fundamentele ervaring met de fysieke wereld.
Een team van onderzoekers heeft een nieuw raamwerk ontwikkeld genaamd ADEPT, dat robots leert complexe manipulatievaardigheden te beheersen door eerst een generiek spel van het "herpositioneren" van objecten onder de knie te krijgen. Stel je een robothand voor die maandenlang in een virtuele wereld simpelweg willekeurige vormen oppakt—cilinders, kubussen, bollen—en ze naar verschillende plekken op een tafel verplaatst. De robot leert reiken, grijpen, tillen en draaien van deze objecten zonder een specifiek doel, behalve het succesvol verplaatsen ervan. Deze fase bouwt een diep, intuïtief begrip op van hoe objecten zich gedragen en hoe de vingers van de robot zelf moeten bewegen om ze te besturen. Zodra dit fundament is gelegd, introduceren de onderzoekers een specifieke nieuwe taak, zoals het insteken van een pen in een gat of het plaatsen van een bord in een rekje. In plaats van opnieuw te beginnen, gebruikt de robot zijn eerdere ervaring als gids. De onderzoekers ontdekten dat deze methode de robot in staat stelt de initiële, onhandige leerfase over te slaan en direct zijn algemene vaardigheden toe te passen op de nieuwe, specifieke uitdaging.
De kracht van deze benadering wordt duidelijk wanneer de robot een taak tegenkomt die hij nog nooit eerder heeft gezien. In hun experimenten testten de onderzoekers het systeem op twee verschillende robotarmen uitgerust met meervingerige handen: één met drieëntwintig bewegende gewrichten en een andere met negenenttwintig. Ze trainden de robots in een hoogwaardige simulatie waar ze duizenden proeven tegelijkertijd konden draaien. De robots leerden eerst een verscheidenheid aan eenvoudige vormen te herpositioneren. Wanneer de onderzoekers de robots vervolgens vroegen een moeilijke taak uit te voeren—het insteken van een pen in een bord, een uitdaging die precieze uitlijning en het hanteren van contactkrachten vereist—begonnen de robots niet vanaf nul. Ze herkenden onmiddellijk de noodzaak om naar de pen te reiken, deze te grijpen en op te tillen, vaardigheden die ze al onder de knie hadden. Het enige deel dat ze nog moesten leren, was de uiteindelijke, delicate insertie.
Echter, simpelweg een robot die getraind is op één taak vragen om een andere taak uit te voeren, zorgt er vaak voor dat hij vergeet wat hij heeft geleerd. De onderzoekers ontdekten dat als ze probeerden het gedrag van de robot direct bij te sturen, de nieuwe instructies de oude vaardigheden zouden overschrijven, waardoor de robot het vermogen om objecten goed te grijpen of te tillen zou verliezen. Om dit op te lossen, ontwikkelden ze een zorgvuldig trainingsrecept. Eerst gebruikten ze een techniek om het nieuwe gedrag van de robot voorzichtig te sturen zodat het leek op het oude, succesvolle gedrag, om ervoor te zorgen dat de kernvaardigheden intact bleven. Vervolgens pasten ze langzaam het begrip van de robot over wat een "goede" beweging is voor de nieuwe taak aan, waardoor hij kon adapteren zonder zijn balans te verliezen. Ten slotte trainden ze een tweede, eenvoudigere versie van de robot die alleen kon vertrouwen op wat hij zag via camera's en wat hij voelde via zijn vingertoppen, waarbij de interne data die de robot tijdens de training gebruikte, werd weggelaten. Deze "student"-robot werd vervolgens naar de echte wereld gestuurd.
De resultaten waren opmerkelijk. In de echte wereld konden deze robots succesvol een pen oppakken, deze in hun hand heroriënteren en in een gat insteken, terwijl ze alleen vertrouwden op visuele en tactiele feedback. Ze konden een symmetrische, sterachtige pen en een veel moeilijkere, asymmetrische vierkant-en-ronde pen aan, die een enkele, precieze oriëntatie vereist om te passen. Het systeem leerde ook om een plat bord op te pakken, het om te draaien en in een rekje te plaatsen, een reeks handelingen die de initiële training nooit expliciet had getoond. De robots voerden deze taken uit in vijf tot tien seconden, een snelheid die vergelijkbaar is met die van een mens, terwijl eerdere methoden met eenvoudigere grijpers en externe hulpmiddelen twintig tot zeventig seconden in beslag namen.
Cruciaal was dat de onderzoekers ontdekten dat de robots natuurlijke, menselijke manieren ontwikkelden om objecten vast te houden. Zonder te worden verteld hoe ze de pen moesten vasthouden, leerden de robots hun vingers eromheen te wikkelen in een stabiele, meerpuntsgreep, net als een menselijke hand. Robots die getraind waren zonder de initiële herpositioneringsfase, ontwikkelden daarentegen vaak onhandige, onstabiele manieren om het object vast te houden die even werkten, maar onder druk faalden. De studie suggereert dat door een robot eerst een brede, algemene ervaring met de fysica van objecten te geven, hij nieuwe, specifieke vaardigheden veel sneller en betrouwbaarder kan leren dan door te proberen alles tegelijk te leren. Deze benadering maakt robots niet alleen sneller; het maakt ze robuuster, in staat om de onvoorspelbare aard van de echte wereld aan te kunnen met een niveau van behendigheid dat voorheen onbereikbaar was.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.