DeformSmith: Physics Harness-Guided Hierarchical Generation of Deformable Assets for Robot Manipulation

In de virtuele werelden waar robots leren bewegen, zijn de objecten waarmee ze interageren vaak te perfect. Een digitale appel is een starre bol die nooit deukt; een digitale handdoek is een plat vel dat nooit plooit. Voor een robot om te leren hoe hij iets moet grijpen, optillen of dragen in een simulatie, moet dat object zich gedragen als het echte ding. Het moet indrukken bij het knijpen, draperen bij het laten vallen en zijn vorm behouden bij het optillen. Het creëren van deze digitale objecten vanaf nul is moeilijk omdat het visuele uiterlijk van een object — hoe het eruitziet — slechts de helft van het verhaal is. De andere helft is de verborgen fysieke natuur: hoe zwaar het is, hoe zacht of stijf het materiaal is, en hoe het reageert wanneer het wordt aangeraakt. Zonder te weten hoe deze onzichtbare eigenschappen zijn, kan een robot proberen een digitale banaan op te pakken, om er vervolgens achter te komen dat deze uiteenspat als glas of door zijn vingers glipt als water, simpelweg omdat de computer niet wist hoe hij het moest laten buigen.

Onderzoekers proberen al lang deze 3D-objecten te genereren met behulp van tekstbeschrijvingen of enkele foto's, maar tot nu toe waren de resultaten vaak visueel overtuigend maar fysiek gebrekkig. Ze kunnen eruitzien als een knuffelbeest, maar in een simulatie zouden ze onder hun eigen gewicht instorten of niet reageren op de grip van een robot. De uitdaging ligt in het feit dat een foto of een zin niet genoeg informatie bevat om een computer precies te vertellen hoe een object zou moeten vervormen. Om dit op te lossen, heeft een team van onderzoekers een nieuw systeem ontwikkeld genaamd DeformSmith. Dit framework raadt niet alleen wat een object zou moeten lijken; het bouwt het object in lagen, waarbij het de fysieke gedragingen bij elke stap test, en gebruikt een gesimuleerde robot om het object te proberen te manipuleren voordat het proces is voltooid.

De kern van deze nieuwe aanpak is een stapsgewijs constructieproces dat nabootst hoe een menselijke ingenieur een prototype zou bouwen, maar dan met de computer die het zware werk doet. Het systeem begint met een eenvoudige beschrijving of een enkele foto en bouwt eerst de 3D-vorm van het object. Zodra de vorm bestaat, geeft het systeem het een fysieke identiteit, waarbij bepaald wordt hoeveel het weegt en hoe het met de grond interageert. Vervolgens voegt het de materiaaleigenschappen toe, waarbij bepaald wordt of het object zacht is als een spons of stevig als een rubberen bal. Cruciaal is dat het systeem niet alleen deze waarden instelt en op het beste hoopt. Het voert een reeks fysieke tests uit, zoals het laten vallen van het object of het erop drukken, om te zien of het zich correct gedraagt. Als het object te gemakkelijk instort of op de verkeerde manier stuitert, past het systeem automatisch de interne instellingen aan en probeert het opnieuw.

Wat deze methode uniek maakt, is hoe het een robot in de loop betrekt. Nadat het object de basisfysieke tests heeft doorstaan, probeert een gesimuleerde robotarm het op te pakken, te dragen en neer te zetten. Dit is waar het systeem het meest leert. De robot probeert het object te grijpen, en het systeem kijkt nauwlettend om te zien of het object zijn vorm behoudt, of het glijdt, of dat het vervormt op een manier die het onmogelijk maakt om te bewegen. Als de robot faalt, gebruikt het systeem die mislukking als een aanwijzing. Het kan beseffen dat het object te glad is, of dat de grip te zwak was, of dat het materiaal te zacht is voor de taak. Het systeem gaat vervolgens terug en verfijnt de eigenschappen van het object of verandert de beweging van de robot, waarbij de cyclus wordt herhaald totdat de robot de taak succesvol kan voltooien. Dit creëert een feedbackloop waarbij het object constant wordt verbeterd op basis van hoe goed het werkt in een reële scenario.

De onderzoekers testten dit systeem door tientallen verschillende objecten te maken, van een rugbybal tot een pluchen zeehond, met behulp van zowel tekstbeschrijvingen als enkele afbeeldingen. Ze vergeleken hun resultaten met andere geavanceerde methoden die hetzelfde proberen te doen. In deze vergelijkingen waren de door DeformSmith gecreëerde objecten aanzienlijk realistischer. Wanneer ze werden gevallen, behielden ze hun vorm en stuiterden of deukden ze op een natuurlijke manier, terwijl objecten van andere systemen vaak plat werden als een pannenkoek of uit elkaar vielen. In blinde tests waarbij mensen beoordeelden welk object er beter uitzag en beter functioneerde, won het nieuwe systeem de meerderheid van de keren. Het was bijzonder succesvol in het creëren van objecten die succesvol gemanipuleerd konden worden door een robot, waarbij het succespercentage voor het oppakken en verplaatsen van objecten steeg van minder dan de helft naar meer dan twee derde wanneer de robotgestuurde verfijning werd gebruikt.

Het systeem werkt door het probleem op te splitsen in beheersbare fasen, waardoor wordt gegarandeerd dat de vorm correct is voordat men zich zorgen maakt over het gewicht, en het gewicht correct is voordat men zich zorgen maakt over het materiaal. Dit voorkomt dat de computer in de war raakt door alles tegelijkertijd te proberen te repareren. Een centrale "harness" (harnas) fungeert als een supervisor, houdt alle regels bij en zorgt ervoor dat wijzigingen die in één fase worden aangebracht, het werk in een vorige fase niet verstoren. Bijvoorbeeld, als het systeem besluit om een object zachter te maken, controleert het of deze verandering het object niet te zwaar maakt of ervoor zorgt dat het in de vloer wegzakt. Deze zorgvuldige, hiërarchische aanpak stelt het systeem in staat om complexe, interactieve objecten te bouwen die klaar zijn voor gebruik in trainingssimulaties voor robots.

Hoewel het systeem krachtig is, merken de onderzoekers op dat het momenteel het beste werkt met vaste objecten die kunnen worden ingedrukt of uitgerekt, in plaats van vloeistoffen of korrelige materialen zoals zand. De fysieke eigenschappen die het afleidt zijn ook schattingen gebaseerd op visuele aanwijzingen en simulatie, wat betekent dat ze nog steeds geverifieerd moeten worden met echte metingen als ze voor daadwerkelijke fysieke robots worden gebruikt. Echter, het vermogen om een grote verscheidenheid aan fysiek geloofwaardige objecten te genereren vanuit eenvoudige inputs, opent een nieuwe deur voor de robotica. In plaats van handmatig elk object dat een robot zou kunnen tegenkomen te modelleren, kunnen ingenieurs nu een object beschrijven of een foto laten zien, en het systeem zal een digitale tweeling bouwen die klaar is om getest, gemanipuleerd en waarvan geleerd kan worden. Deze capaciteit suggereert een toekomst waarin robots veel sneller kunnen leren omgaan met de rommelige, vervormbare wereld van alledaagse objecten, simpelweg door te oefenen met een uitgebreide bibliotheek van automatisch gegenereerde, fysiek nauwkeurige digitale assets.