RoboCousin: Build Your Own Simulation Playground for Robust Bimanual Robotic Manipulation

Het aanleren van het gebruik van twee handen aan een robot, zoals een mens dat doet, is een van de moeilijkste uitdagingen in de moderne robotica. Om complexe taken te leren zoals het vouwen van de was, het openen van een pot of het dragen van een zware doos, heeft een robot duizenden voorbeelden nodig van hoe dit moet. In de echte wereld is het verzamelen van deze voorbeelden traag, duur en vaak gevaarlijk. Als een robot een glas laat vallen, breekt het; als hij een stapel servies omver stoot, is het opruimen een klus. Vanwege deze reden hebben wetenschappers zich tot computersimulaties gewend. Ze bouwen virtuele werelden waarin robots miljoenen keren kunnen oefenen zonder iets kapot te maken. Echter, een groot probleem heeft dit veld tegengehouden: de meeste simulaties zijn als gesloten kamers met vast meubilair. Je kunt de robot wel zo vaak als je wilt door de kamer laten lopen, maar je kunt niet gemakkelijk een nieuw object toevoegen, zoals een specifieke koffiemok die de gebruiker bezit, of de indeling van de kamer veranderen. Om dat te doen, moet een menselijke ingenieur meestal urenlang handmatig de vorm van het object reconstrueren, definiëren hoe zwaar het is, en precies uitzoeken waar de vingers van de robot het moeten raken. Dit handmatige werk is zo traag dat het de creatie van de enorme, diverse datasets verhindert die nodig zijn om robots echt aanpasbaar te maken.

Een team van onderzoekers heeft een nieuw systeem geïntroduerd genaamd RoboCousin, dat deze flessenhals oplost door de simulatie te veranderen in een open, uitbreidbare werkplaats. In plaats van de robot te dwingen alleen te leren van een vooraf geselecteerde lijst met objecten, stelt dit systeem een gebruiker in staat om een eenvoudige foto van elk object of een beschrijving van een kamer te maken en dit direct te veranderen in een realistisch, interactief 3D-model waar de robot mee kan oefenen. Het systeem maakt niet alleen een mooie afbeelding; het bepaalt automatisch de fysieke eigenschappen van het object, zoals het gewicht en hoe glad het oppervlak is, en het berekent de beste plaatsen waar de grijpers van de robot het kunnen vastpakken. Dit proces transformeert een platte afbeelding in een "digitale neef" (digital cousin)—een virtuele versie die eruitziet en werkt als het echte ding, maar flexibel genoeg is om te worden gemengd met andere objecten en achtergronden om eindeloze nieuwe trainingsscenario's te creëren.

De onderzoekers hebben dit systeem gebouwd bovenop een bestaand simulatieplatform en een pijplijn toegevoegd die alles afhandelt, van de initiële foto tot de uiteindelijke robotbeweging. Wanneer een gebruiker een afbeelding van een object verstrekt, isoleert het systeem dit eerst van de achtergrond en reconstrueert de driedimensionale vorm. Vervolgens gebruikt het kunstmatige intelligentie om de fysieke eigenschappen van het object te raden, zoals de massa en wrijving, zodat de robot er realistisch mee interageert. Cruciaal is dat het systeem automatisch "contactpunten" identificeert, wat de specifieke plekken op het object zijn waar een robothand veilig en effectief kan grijpen. In traditionele opstellingen zou een mens deze punten handmatig voor elk object moeten markeren, een tijdrovend proces dat beperkt hoeveel objecten er toegevoegd kunnen worden. In dit nieuwe systeem doet de computer het onmiddellijk. Het resultaat is een bibliotheek van meer dan 3.000 verschillende objectinstanties en 50 verschillende achtergrondomgevingen, allemaal klaar voor de robot om te gebruiken.

Om het trainen nog robuuster te maken, creëert het systeem "digitale neven". Terwijl een "digitale tweeling" (digital twin) een exacte, rigide kopie is van een echte scène, is een digitale neef een variatie die de belangrijke relaties behoudt maar de details verandert. Bijvoorbeeld, als een robot moet leren hoe hij een fles van een tafel moet oppakken, kan het systeem een scène genereren waarbij de fles een andere kleur heeft, de tafel van een ander materiaal is, of de achtergrond een keuken is in plaats van een woonkamer, zolang de fles nog steeds op de tafel staat op een manier die logisch is. Deze aanpak leert de robot het kernconcept van de taak in plaats van slechts één specifieke opstelling te memoriseren. Het systeem schaalt ook op naar het kamerniveau. Het kan een pad plannen voor een mobiele robot om door een virtueel huis te navigeren, een tafel te benaderen en vervolgens de manipulatietaak uit te voeren, alles binnen één continue simulatie. Dit stelt de robot in staat om niet alleen te leren hoe hij zijn armen moet bewegen, maar ook hoe hij zijn hele lichaam moet bewegen om bij de taak te komen.

Het team heeft getest of deze geautomatiseerde aanpak daadwerkelijk werkt in de echte wereld. Ze genereerden meer dan één miljoen trainingspaden met behulp van het systeem en trainden vervolgens een fysieke robot met twee armen om specifieke taken uit te voeren. De resultaten waren opmerkelijk. Wanneer de robot werd getraind op objecten die het systeem automatisch had gereconstrueerd uit afbeeldingen, presteerde hij net zo goed, en in sommige gevallen zelfs beter, dan wanneer hij was getraind op objecten die zorgvuldig door menselijke experts waren vervaardigd. Bijvoorbeeld, in een taak om een fles op te pakken, steeg het succespercentage van 40 procent naar 80 procent bij het gebruik van de assets van het nieuwe systeem. Bovendien werd de robot, wanneer hij werd getraind op een verscheidenheid aan "neef"-scènes in plaats van één exacte kopie van een kamer, veel beter in het afhandelen van nieuwe situaties. In één test waarbij het optillen van een brillenkokeretje betrokken was, faalde een robot die op een enkele exacte scène was getraind volledig, terwijl de robot die op de diverse neef-scènes was getraind, 55 procent van de tijd slaagde.

De onderzoekers hebben ook geverifieerd dat de automatische gissingen van de computer over waar een object gegrepen moet worden, accuraat waren. Ze vergeleken de door het systeem voorgestelde grijppunten met een set punten die zorgvuldig door mensen waren gemarkeerd. De suggesties van de computer waren iets beter en behaalden een succespercentage van 76 procent in de simulatie, vergeleken met 72 procent voor de door mensen gemarkeerde punten. Dit bewijst dat het systeem het trage, handmatige proces van het annoteren van objecten kan vervangen door een snelle, geautomatiseerde methode die minstens even betrouwbaar is. Door het vermogen om echte observaties om te zetten in simulatie-assets te koppelen aan het vermogen om diverse trainingsscenario's te genereren, biedt RoboCousin een praktisch pad voorwaarts. Het suggereert dat de toekomst van robotleren niet vereist dat ingenieurs elk nieuw object handmatig bouwen, maar eerder rust op systemen die onmiddellijk de chaotische, gevarieerde wereld kunnen begrijpen en aanpassen waarin wij leven.