Robots die de rommelige, onvoorspelbare aard van de echte wereld kunnen hanteren, worden geconfronteerd met een fundamentele hindernis: ze moeten leren hoe objecten zich gedragen wanneer ze worden aangeraakt, geduwd of opgetild. In tegen tegenstelling tot een schaakstuk dat zich in vaste patronen beweegt, verandert een boodschappentas, een shirt of een stuk deeg voortdurend van vorm, en die veranderingen beïnvloeden hoe ze met alles om hen heen interageren. Om deze vaardigheden veilig en snel te leren, vertrouwen onderzoekers vaak op computersimulaties, waarbij robots duizenden keren kunnen oefenen zonder iets kapot te maken. Het simuleren van zachte, vervormbare objecten is echter berucht traag en moeilijk omdat de computer de fysica van elke kleine plooi en rek in realtime moet berekenen, een proces dat vaak vereist dat de tijd wordt onderverdeeld in extreem kleine, uiterst nauwkeurige fracties van een seconde om fouten te voorkomen.

Een team van onderzoekers heeft een nieuwe aanpak ontwikkeld genaamd WorldContact, een gespecialiseerd computermodel ontworpen om te voorspellen hoe zachte objecten bewegen en vervormen wanneer een robot ermee interageert. In plaats van elke microscopische stap van een fysieke simulatie te berekenen, leert dit model van een kleine set hoogwaardige voorbeelden om de uitkomst van een actie over een veel langere periode te voorspellen. Door zich specifiek te concentreren op waar de robot, het object en de omgeving elkaar raken, kan het systeem trainingsdata genereren voor robots met tien keer de snelheid van traditionele simulators. Bij tests op een echte robot stelde deze methode de machine in staat om een complexe taak — het optillen van een boodschappentas — veel effectiever te leren dan wanneer zij alleen op de oorspronkelijke, tragere simulatiedata had vertrouwd.

De kernuitdaging bij het aanleren van manipulatie van zachte objecten aan robots ligt in de enorme complexiteit van de betrokken fysica. Wanneer een robot een tas vastpakt, vouwt de stof, glijdt deze langs zichzelf en drukt deze tegen de tafel, wat een web van interacties creëert die elke milliseconde veranderen. Traditionele simulators gaan hierbij afhandeling door minuscule stapjes door de tijd te nemen, waarbij ze bij elk instant moment botsingen controleren en krachten berekenen om te garanderen dat de tas niet door de tafel of de hand van de robot heen gaat. Hoewel dit accuraat is, is deze methode computationeel duur, waardoor het traag is om de enorme hoeveelheden oefendata te genereren die robots nodig hebben om nieuwe vaardigheden te leren. De onderzoekers achter WorldContact realiseerden zich dat hoewel de fysica complex is, de meest cruciale factor voor het voorspellen van de toekomstige staat van een zacht object het begrijpen van de contactpunten is: waar de stof de grijper raakt, waar het de tafel raakt en waar verschillende delen van de stof elkaar raken.

Om het snelheidsprobleem op te lossen, bouwde het team een model dat de kleine, incrementele stappen van traditionele simulatie overslaat. In plaats daarvan leert het de volledige verandering in de vorm van het object over een groter tijdsinterval te voorspellen, ongeveer twintig keer langer dan de stappen die in de bronsimulator worden gebruikt. Het model wordt getraind op een beperkte set hoogwaardige trajecten, oftewel bewegingspaden die zijn opgenomen uit ofwel een nauwkeurige fysieke simulatie of reële interacties. Het analyseert deze voorbeelden om te begrijpen hoe de lokale geometrie en beweging rond specifieke punten op het object het geheel beïnvloeden. Door zich op deze contactzones te concentreren, kan het systeem voorspellen hoe het object zal vervormen en bewegen zonder elke individuele micro-interactie te hoeven oplossen die een standaard physics engine zou vereisen.

De onderzoekers testten deze aanpak met behulp van een dataset van zestien verschillende taken voor het manipuleren van boodschappentassen, variërend van eenvoudige botsingen tot complexe grijp- en tilscenario's. Ze gebruikten een geautomatiseerde agent om de initiële trainingsdata te genereren, waarbij werd gegarandeerd dat elke beweging fysiek geldig was en vrij van fouten zoals objecten die door elkaar heen bewegen. Zodra het model getraind was, werd het gebruikt om een enorme hoeveelheid aanvullende oefendata te generen. De resultaten lieten zien dat WorldContact 'state rollouts' kon produceren — voorspellingen van hoe het object in de loop van de tijd zou bewegen — tien keer sneller dan de oorspronkelijke simulator, exclusief de tijd die nodig is voor het renderen van afbeeldingen of het opslaan van bestanden. Deze versnelling stelde het team in staat om een veel grotere dataset te creëren voor het trainen van de controlepolicy van een robot, oftewel de set regels die de robot volgt om zijn volgende zet te bepalen.

De echte test van deze methode kwam toen de onderzoekers het toepasten op een taak in de echte wereld: een robot leren om een boodschappentas op te tillen. Ze begonnen met een vooraf getrainde robotpolicy en verfijnden deze met behulp van de simulatiedata. Wanneer de robot alleen werd getraind op de oorspronkelijke, beperkte set van vijfentwintig simulatietrajecten, slaagde hij er in zestigenvijf procent van de pogingen in om de tas in één keer op te tillen. Echter, toen dezelfde policy werd verfijnd met behulp van de uitgebreide dataset gegenereerd door WorldContact, sprong het succespercentage naar vijfentastig procent. Deze spectaculaire verbetering bewees dat de extra data, die efficiënt door het nieuwe model was gecreëerd, de robot een veel rijker begrip gaf van hoe hij de tas moest hanteren zonder deze te laten vallen of de greep te missen.

Het systeem werkt door het object onder te verdelen in duizenden punten, of vertices, en informatie te coderen over hoe elk punt zich tot zijn buren en de omgeving verhoudt. Het besteedt speciale aandacht aan vier soorten contact: ruimtelijk contact tussen verschillende delen van het object, topologisch contact tussen punten die verbonden zijn in de structiefuur van het object, controleerbaar contact met de armen en grijpers van de robot, en omgevingscontact met oppervlakken zoals tafels. Door deze lokale details te combineren met een globaal begrip van de scène, kan het model de toekomstige staat van het gehele object met hoge getrouwheid voorspellen. In visuele vergelijkingen faalden andere methoden vaak in het behouden van de verbinding tussen de grijper en de tas, waardoor de tas viel, of ze produceerden fysiek onmogelijke vervormingen. WorldContact behield daarentegen een stabiel contact en een realistische beweging gedurende het hele tilproces.

Dit werk suggereert een nieuwe weg voor schaalbare robotlering, waarbij de bottleneck niet langer de beschikbaarheid van data is, maar de efficiëntie van de generatie ervan. Door een contact-gecentreerd model te gebruiken om een kleine set hoogwaardige ervaringen te vergroten, kunnen onderzoekers robotpolicies snel aanpassen aan nieuwe taken en objecten. Hoewel het huidige succes werd gemeten in simulatie en op een specifieke set taken voor het tillen van tassen, wijst de aanpak op een toekomst waarin robots complexe manipulatievaardigheden kunnen leren van beperkte interacties in de echte wereld, door intelligente modellen te gebruiken om de hiaten op te vullen. De onderzoekers merken op dat er uitdagingen blijven bestaan, met name om ervoor te zorgen dat het model perfect werkt wanneer de echte wereld afwijkt van de trainingsdata, maar de resultaten bieden een overtuigend bewijs dat efficiënte datageneratie het vermogen van een robot om in de fysieke wereld te handelen aanzienlijk kan versterken.