Where to Touch, How to Contact: A Hierarchical RL-MPC Framework for Geometry-Aware Sim-to-Real Manipulation

Robots zijn al lang meesters op de fabrieksvloer, waarbij ze met precisie langs vooraf geprogrammeerde paden bewegen om auto's te assembleren of pakketten te sorteren. Toch, wanneer deze machines de onvoorspelbare chaos van de echte wereld betreden, vooral wanneer ze objecten moeten hanteren zonder ze simpelweg op te pakken, hebben ze vaak moeite. De uitdaging ligt in "contact-rijke" manipulatie, waarbij een robot een object moet duwen, schuiven, draaien of kantelen om het te verplaatsen. In tegenstelling tot een eenvoudige liftactie, hangen deze handelingen af van complexe, verschuivende interacties tussen het object, de robotarm en de omgeving. Als een robot een doos te hard duwt, kan deze wegglijden; als hij onder de verkeerde hoek duwt, kan de doos omkieperen of vast komen te zitten. Jarenlang hebben onderzoekers geprobeerd robots te leren hoe ze met deze situaties om moeten gaan door ze te trainen met enorme hoeveelheden data, in de hoop dat de machine uiteindelijk de regels van de fysica zou leren door middel van vallen en opstaan. Dit proces is echter vaak traag, data-hongerig en slaagt er niet in om te werken wanneer een robot die in een computersimulatie is getraind, in een echte kamer wordt geplaatst.

Een team van onderzoekers heeft een andere manier voorgesteld om dit probleem op te lossen door na te bootsen hoe mensen nadenken over het bewegen van objecten. In plaats van te proberen elke minuscule spierbeweging en wrijvingsdetail tegelijkertijd te leren, hebben ze de taak opgedeeld in twee verschillende niveaus van denken. Op het hoge niveau beslist de robot waar hij een object moet aanraken en wat de algemene uitkomst is die hij wil bereiken, zoals "duw de hendel om de doos naar voren te laten glijden." Op het lage niveau bepaalt een apart systeem hoe die uitvoering in real-time moet gebeuren, waarbij rekening wordt gehouden met de exacte fysica van het moment, zoals of het object blijft plakken of glijdt. Dit nieuwe raamwerk, dat een leerbaar "brein" combineert met een fysica-gebaseerde "spier", stelt robots in staat om veel sneller te leren en hun vaardigheden over te dragen van simulatie naar de werkelijkheid zonder extra training.

De onderzoekers testten dit idee op een robotarm uitgerust met een eenvoudig stokvormig gereedschap, waarbij ze de robot vroegen taken uit te voeren die geen grijpen vereisten. In één scenario moest de robot verschillende blokken in de vorm van letters van willekeurige startposities naar specifieke doelen duwen. In een ander scenario moest hij een kubus heroriënteren, door de kubus te kantelen en te draaien totdat deze in een gewenste positie landde. In een derde scenario moest hij een trap gebruiken om een object op een tafel te helpen kantelen. De sleutel tot hun succes was een specifiek type instructie dat zij een "contactintentie" noemden. Dit is geen gedetailleerd commando voor elke gewrichtsbeweging, maar eerder een hoog niveau doel dat zegt: "Raak het object hier aan, en streef ernaar om het naar die positie te krijgen." Het hoog-niveau beleid van de robot, getraind met reinforcement learning, voorspelt deze intentie op basis van wat het ziet. Zodra de intentie is ingesteld, neemt een laag-niveau controller het over. Deze controller werkt als een razendsnelle rekenmachine die constant de volgende paar seconden aan beweging plant om ervoor te zorgen dat de stok van de robot in contact blijft met het object op de gekozen plek en het object naar het doel beweegt, waarbij er direct wordt bijgestuurd als het object glijdt of ergens tegenaan botst.

Wat deze aanpak bijzonder effectief maakt, is hoe het het "wat" scheidt van het "hoe". Het hoog-niveau beleid hoeft alleen de vorm van het object en het doel te begrijpen, en negeert de rommelige, complexe fysica van contact. Hierdoor kan het snel leren en generaliseren naar vormen die het nog nooit eerder heeft gezien. In hun tests leerde de robot met bijna perfect succes ongeziene letters te duwen na een relatief kleine hoeveelheid training. Daarentegen had een systeem dat probeerde het hele proces vanaf nul te leren, zonder deze taakverdeling, veel meer data nodig en slaagde er nog steeds minder goed in. De onderzoekers ontdekten dat hun methode ongeveer veertig keer minder beslissingsstappen nodig had om een taak te leren vergeleken met deze traditionele end-to-end methoden. Bovendien kan het hoog-niveau beleid, omdat het zich richt op geometrie in plaats van specifieke fysieke dynamiek, in een eenvoudige computersimulatie worden getraind en vervolgens met bijna geen aanpassingen op een echte robot worden ingezet.

De resultaten van deze scheiding waren opvallend in zowel de simulatie als de echte wereld. Toen de onderzoekers de getrainde robot van de computer naar een fysieke Franka robotarm verplaatsten, voerde deze de taken met een hoge betrouwbaarheid uit zonder enige fijnafstemming. Voor de taak van het duwen van letters behaalde de robot een succespercentage van 100% voor letters die hij tijdens de training had gezien, en een succespercentage van 95% voor letters die hij nog nooit eerder was tegengekomen. Zelfs voor de complexere taak van het kantelen van een kubus in een driedimensionale ruimte, slaagde de robot bijna elke keer. In de tests in de echte wereld duwde de robot ongeziene letters succesvol en heroriënteerde hij objecten, waarbij hij de taak vaak voltooide in minder dan tien hoog-niveau beslissingen. De enige kleine mislukkingen kwamen door praktische problemen, zoals het verliezen van het zicht op het object door de camera, en niet omdat de logica van de robot gebrekkig was. Dit toonde aan dat de robot echt een robuuste strategie had geleerd voor interactie met de wereld, in plaats van slechts een specifieke reeks bewegingen te hebben onthouden.

De studie onderzocht ook wat er gebeurt als onderdelen van dit systeem worden verwijderd, waarmee werd bevestigd dat elk onderdeel essentieel is. Wanneer de onderzoekers de mogelijkheid om tussenliggende doelen te stellen verwijderden, raakte de robot vaak in de knoop, waarbij hij het object in cirkels of in hoeken duwde omdat hij probeerde de eindbestemming rechtstreeks te bereiken zonder een plan. Wanneer zij de informatie verwijderden over waar de robot veilig kon aanraken zonder de omgeving te raken, had de robot moeite met het vinden van geldige contactpunten. Deze tests toonden aan dat de robot zowel een duidelijk gevoel van de vorm van het object als een plan nodig heeft om het in fasen te bewegen om te slagen. Het raamwerk bleek ook superieur aan andere methoden die proberen contactdynamica direct te leren, die vaak vastlopen in lokale lussen of enorme hoeveelheden data nodig hebben om te convergeren. Door de moeilijke fysica-berekeningen uit te besteden aan een toegewijde controller, is het leersysteem vrij om zich te concentreren op de strategische beslissingen die er het meest toe doen.

Uiteindelijk biedt dit werk een nieuwe weg om robots meer in staat te maken in ongestructureerde omgevingen. Het suggereert dat de beste manier om een machine te leren de fysieke wereld te manipuleren, niet is om de machine te dwingen om alle details van de fysica tegelijkertijd te leren, maar om het een hiërarchie van taken te geven. De robot leert te redeneren over geometrie en strategie, terwijl een apart, betrouwbaar systeem de directe fysieke uitvoering afhandelt. Deze aanpak maakt het leren niet alleen sneller en efficiënter, maar overbrugt ook de kloof tussen simulatie en de werkelijkheid, waardoor robots in virtuele werelden kunnen worden getraind en vervolgens direct in de echte wereld aan het werk kunnen worden gezet. Terwijl de onderzoekers vooruitkijken, willen ze dit raamwerk uitbreiden naar complexere handen met meerdere vingers, hoewel ze erkennen dat de huidige methode afhankelijk is van nauwkeurige tracking van de positie van het object en uitdagingen kan ervaren met het enorme aantal contactpunten bij meer behendige taken. Voor nu tonen de resultaten echter een duidelijke en robuuste manier aan voor machines om de kunst van het aanraken en bewegen van de wereld om hen heen te leren.