Robots zijn al lang meesters van de lopende band, waarbij ze dezelfde precieze beweging duizenden keren zonder fouten herhalen. Toch, wanneer we hen vragen om de vloeiende, aanpasbare taken van het dagelijks leven uit te voeren—het oppakken van een zware doos, het optillen van een stoel, of het dragen van een dienblad—struikelen ze vaak. De moeilijkheid ligt niet in de kracht van de machine, maar in de onzekerheid van de visie ervan. Een robotarm ziet de wereld door een camera, en net als elke camera heeft deze een beperkt gezichtsveld. Wanneer een robot naar een groot object kijkt, ziet hij alleen de zijde die naar hem toe gericht is; de achterkant, de onderkant en de verborgen hoeken blijven een mysterie. Dit is bijzonder problematisch voor dual-arm robots (robots met twee armen), die zijn ontworpen om samen te werken om zware of onhandige voorwerpen op te tillen. Om een groot object veilig op te tillen, moeten twee armen een paar punten vinden die niet alleen sterk genoeg zijn om het gewicht te dragen, maar ook zo gepositioneerd zijn dat de robot het object niet laat vallen of zijn eigen handen tegen het voorwerp slaat. Als de robot niet de volledige vorm kan zien, kan hij een plek gokken die er aan de oppervlakte goed uitziet, maar die in werkelijkheid te dun, te gebogen of geblokkeerd is door een verborgen deel van het object.

Jarenlang hebben onderzoekers geprobeerd robots te leren objecten te grijpen door hen volledige 3D-kaarten van de wereld te voeden, uitgaande van de veronderstelling dat de robot de ontbrekende stukken al heeft ingevuld. Maar in de echte wereld krijgt een robot zelden een perfect, volledig beeld. Ze krijgen gedeeltelijke, ruisachtige flitsen. Een nieuwe aanpak genaamd PartialBiGrasp, ontwikkeld door onderzoekers van het Robotics Research Center in Hyderabad, pakt dit gat direct aan. In plaats van te proberen de volledige verborgen vorm van een object te reconstrueren voordat er wordt gehandeld, leert dit systeem de robot om te redeneren over wat verborgen is op basis van wat zichtbaar is. Het team ontdekte dat door te leren de lokale geometrie van een object te interpreteren—zoals de dikte en hoe een oppervlak achter een rand doorloopt—een robot stabiele, tweehandige grepen kan genereren, zelfs wanneer hij slechts een fractie van het object kan zien.

De kernuitdaging waar de onderzoekers mee te maken kregen, is dat een geldige tweehandige greep niet simpelweg twee onafhankelijke grijpbewegingen zijn die bij elkaar worden opgeteld. De twee armen moeten in concert werken en strikte fysieke regels naleven om ervoor te zorgen dat het object niet glijdt of roteert. In één enkel beeld kan een robot een plat oppervlak zien dat perfect lijkt voor een grip, om er vervolgens achter te komen dat het object te dun is om vast te houden, of dat de achterkant van het object zo wegbuigt dat de positie van de tweede arm onmogelijk is. Eerdere methoden faalden hier vaak omdat ze vertrouwden op het eerst reconstrueren van het hele object, een proces dat regelmatig fouten introduceerde rondom dunne randen en complexe curves. Als de reconstructie ook maar iets fout was, zou de robot een greep plannen die er goed uitzag op het computerscherm, maar die in de werkelijkheid zou resulteren in een botsing of het laten vallen van het object.

Om dit op te lossen, bouwden de onderzoekers een systeem dat de volledige reconstructiestap overslaat en direct overgaat tot het begrijpen van de geometrie die relevant is voor de greep. Het visiesysteem van de robot creëert eerst een puntenwolk die het zichtbare oppervlak vertegenwoordigt. In plaats van te proberen de hele vorm te raden, gebruikt het systeem een gespecialiseerd neuraal netwerk om een continue kaart van de aanwezigheid van het object te leren. Deze kaart stelt de robot in staat om "vragen te stellen" over elk punt in de 3D-ruimte, zelfs de punten die hij niet kan zien, om te bepalen of daar solide materiaal aanwezig is of lege ruimte. Het systeem werkt op twee niveaus. Ten eerste helpt een globaal overzicht de robot om de algemene vorm te begrijpen en brede gebieden te identificeren waar een greep mogelijk is. Ten tweede zoomt een lokaal overzicht in op specifieke kandidaat-plekken om fijne details te controleren, zoals of er genoeg ruimte is voor de vingers van de robot om te sluiten zonder het object te raken, of of het oppervlak dik genoeg is om het gewicht te ondersteunen.

Deze tweeledige aanpak stelt de robot in staat om paren grepen te voorspellen die fysiek stabiel zijn. Het systeem genereert vele potentiële paren en gebruikt vervolgens een geleerde "critic" om ze te evalueren, waarbij wordt gecontroleerd of ze voldoen aan de natuurwetten die nodig zijn om het object stevig vast te houden. Cruciaal is dat het systeem niet stopt bij de initiële gok. Het voert een verfijningsproces uit dat kleine aanpassingen aan de handen van de robot simuleert. Door de verborgen geometrie rond de contactpunten te controleren, kan het systeem de greep lichtjes bijsturen om een botsing te vermijden of om ervoor te zorgen dat de vingers stevig tegen een solide oppervlak drukken. Deze verfijning vindt plaats zonder dat het hele object gezien hoeft te worden, door te vertrouwen op het vermogen van het systeem om de verborgen lokale structuur te interpreteren.

De onderzoekers testten deze methode uitgebreid en vergeleken deze met andere toonaangevende technieken die ofwel probeerden het volledige object eerst te reconstrueren, of die vertrouwden op simpelere koppelingsstrategieën. In simulaties met een grote dataset van objecten bereikte de nieuwe methode een succespercentage van bijna 68 procent in het genereren van fysiek stabiele grepen, waarmee het andere benaderingen die vaak worstelden met botsingspercentages of het falen om geldige paren te vinden, aanzienlijk overtrof. Bij tests op echte objecten met een dual-arm robotopstelling behield het systeem een hoog succespercentage van meer dan 81 procent, zelfs wanneer de invoergegevens ruisachtig en incompleet waren. De resultaten toonden aan dat het systeem zware voorwerpen zoals koffers en stoelen succesvol kon optillen, waarbij de onstabiele of botsende grepen die andere methoden plagden, werden vermeden.

Een van de meest significante bevindingen was dat het vermogen van het systeem om verborgen geometrie te interpreteren essentieel was. Wanneer de onderzoekers de component die verantwoordelijk is voor de lokale verfijning verwijderden, daalde het succespercentage en nam het aantal botsingen toe. Dit bewees dat het kennen van de algemene vorm van het object niet genoeg was; de robot moest de specifieke, fijnmazige details van het oppervlak dat hij aanraakte begrijpen. Bovendien toonde de studie aan dat het proberen te reconstrueren van het gehele object vóór de greep niet alleen rekenkundig duur was, maar ook foutgevoelig, wat de uiteindelijke greep minder betrouwbaar maakte. Door zich direct te richten op de geometrie die nodig is voor de greep, bleef het systeem efficiënt en robuust.

Het werk benadrukte ook de beperkingen van huidige benaderingen. Het systeem houdt nog geen rekening met de fysieke bereikbaarheid van de armen van de robot of de complexe bewegingsplanning die nodig is om ze in positie te brengen zonder elkaar te raken. Het genereert de ideale grijppunten, maar er is nog steeds een aparte planner nodig om te garanderen dat de robot er daadwerkelijk kan komen. Echter, door het probleem van het vinden van de juiste plekken op een object vanuit een gedeeltelijk zicht op te lossen, verwijdert dit onderzoek een belangrijke barrière voor de inzet van dual-arm robots in ongestructureerde omgevingen. Het suggereert dat robots kunnen leren de vorm van een object te "voelen" door middel van inferentie, waardoor ze de zware, onhandige en complexe taken van de echte wereld kunnen afhandelen met een niveau van vertrouwen dat voorheen onbereikbaar was.