Roboter sind seit langem Meister des Fließbands, die dieselbe präzise Bewegung tausende Male ohne Fehler wiederholen können. Doch wenn wir sie bitten, die flüssigen, anpassungsfähigen Aufgaben des täglichen Lebens auszuführen – eine schwere Kiste aufzuheben, einen Stuhl zu heben oder ein Tablett zu tragen –, stolpern sie oft. Die Schwierigkeit liegt nicht in der Stärke der Maschine, sondern in der Ungewissheit ihrer Sicht. Ein Roboterarm sieht die Welt durch eine Kamera, und wie jede Kamera hat auch er ein begrenztes Sichtfeld. Wenn ein Roboter ein großes Objekt betrachtet, sieht er nur die ihm zugewandte Seite; die Rückseite, der Boden und die verborgenen Ecken bleiben ein Mysterium. Dies ist besonders problematisch für zweiarmige Roboter, die darauf ausgelegt sind, zusammenzuarbeiten, um schwere oder unhandliche Gegenstände zu heben. Um ein großes Objekt sicher zu heben, müssen zwei Arme ein Paar von Stellen finden, die nicht nur stark genug sind, um das Gewicht zu halten, sondern auch so positioniert sind, dass der Roboter das Objekt nicht fallen lässt oder seine eigenen Hände gegen den Gegenstand schlägt. Wenn der Robot die vollständige Form nicht sehen kann, wählt er vielleicht eine Stelle, die an der Oberfläche gut aussieht, aber in Wirklichkeit zu dünn, zu gekrümmt oder durch einen verborgenen Teil des Objekts blockiert ist.

Jahrelang haben Forscher versucht, Roboter das Greifen von Objekten beizubringen, indem sie ihnen vollständige 3D-Karten der Welt einspeisten, unter der Annahme, dass der Roboter bereits alle fehlenden Teile ergänzt hat. Doch in der realen Welt erhalten Roboter selten eine perfekte, vollständige Sicht. Sie bekommen nur teilweise, verrauschte Einblicke. Ein neuer Ansatz namens PartialBiGrasp, entwickelt von Forschern am Robotics Research Center in Hyderabad, adressiert diese Lücke direkt. Anstatt zu versuchen, die gesamte verborgene Form eines Objekts zu rekonstruieren, bevor gehandelt wird, lehrt dieses System den Roboter, über das Verborgene basierend auf dem Sichtbaren nachzudenken. Das Team fand heraus, dass ein Roboter, indem er lernt, die lokale Geometrie eines Objekts abzuleiten – wie etwa dessen Dicke und wie eine Oberfläche hinter einer Kante weiterläuft –, stabile, zweihändige Griffe generieren kann, selbst wenn er nur einen Bruchteil des Objekts sieht.

Die Kernherausforderung, die die Forscher bewältigten, besteht darin, dass ein gültiger zweihändiger Griff nicht einfach zwei unabhängige Griffe ist, die zusammengefügt wurden. Die beiden Arme müssen harmonisch zusammenarbeiten und dabei strikte physikalische Regeln erfüllen, um sicherzustellen, dass das Objekt nicht rutscht oder rotiert. In einer einzelnen Ansicht sieht ein Roboter vielleicht eine flache Oberfläche, die perfekt für einen Griff erscheint, nur um festzustellen, dass das Objekt zu dünn ist, um es zu halten, oder dass sich die Rückseite des Objekts so krümmt, dass die Position des zweiten Arms unmöglich wird. Frühere Methoden scheiterten hier oft, weil sie darauf angewiesen waren, zuerst das gesamte Objekt zu rekonstruieren – ein Prozess, der häufig Fehler an dünnen Kanten und komplexen Kurven einführte. Wenn die Rekonstruktion auch nur leicht fehlerhaft war, plante der Roboter einen Griff, der auf dem Computerbildschirm gut aussah, in der Realität jedoch zu einer Kollision oder zum Fallenlassen führte.

Um dies zu lösen, bauten die Forscher ein System, das den Schritt der vollständigen Rekonstruktion überspringt und direkt zum Verständnis der für den Griff relevanten Geometrie übergeht. Das Sichtsystem des Roboters erstellt zuerst eine Punktwolke, die die sichtbare Oberfläche repräsentiert. Anstatt zu versuchen, die gesamte Form zu erraten, nutzt das System ein spezialisiertes neuronales Netzwerk, um eine kontinuierliche Karte der Präsenz eines Objekts zu erlernen. Diese Karte ermöglicht es dem Roboter, „Fragen“ über jeden Punkt im 3D-Raum zu stellen, selbst über jene, die er nicht sehen kann, um zu bestimmen, ob dort festes Material oder leerer Raum vorhanden ist. Das System arbeitet auf zwei Ebenen. Erstens hilft eine globale Ansicht dem Roboter, die Gesamtform zu verstehen und breite Bereiche zu identenifizieren, in denen ein Griff möglich sein könnte. Zweitens zoomt eine lokale Ansicht auf spezifische Kandidatenstellen, um feine Details zu prüfen, wie etwa ob genügend Platz vorhanden ist, damit sich die Finger des Roboters schließen können, ohne das Objekt zu treffen, oder ob die Oberfläche dick genug ist, um das Gewicht zu tragen.

Dieser zweistufige Ansatz ermöglicht es dem Roboter, ein Paar Griffe vorherzusagen, die physikalisch stabil sind. Das System generiert viele potenzielle Paare und nutzt dann einen gelernten „Kritiker“, um diese zu bewerten und zu prüfen, ob sie die zur sicheren Handhabung des Objekts erforderlichen physikalischen Gesetze erfüllen. Entscheidend ist, dass das System nicht beim ersten Entwurf stehen bleibt. Es führt einen Verfeinerungsprozess durch, der kleine Anpassungen der Hände des Roboters simuliert. Durch die Überprüfung der verborgenen Geometrie rund um die Kontaktpunkte kann das System den Griff leicht nachjustieren, um Kollisionen zu vermeiden oder sicherzustellen, dass die Finger fest gegen eine solide Oberfläche drücken. Diese Verfeinerung findet statt, ohne das gesamte Objekt sehen zu müssen, indem sie sich stattdessen auf die Fähigkeit des Systems stützt, die verborgene lokale Struktur abzuleiten.

Die Forscher testeten diese Methode umfassend und verglichen sie mit anderen führenden Techniken, die entweder versuchten, das gesamte Objekt zuerst zu rekonstruieren, oder auf einfacheren Paarungsstrategien basierten. In Simulationen unter Verwendung eines großen Objektdatensatzes erreichte die neue Methode eine Erfolgsquote von fast 68 Prozent bei der Erzeugung physikalisch stabiler Griffe und übertraf damit signifikant andere Ansätze, die oft mit Kollisionsraten zu kämpfen hatten oder keine gültigen Paare fanden. Bei Tests mit realen Objekten unter Verwendung eines Dual-Arm-Roboter-Setups behielt das System eine hohe Erfolgsquote von über 81 Prozent bei, selbst wenn die Eingangsdaten verrauscht und unvollständig waren. Die Ergebnisse zeigten, dass das System schwere Gegenstände wie Aktenkoffer und Stühle erfolgreich heben konnte, wobei es die instabilen oder kollidierenden Griffe vermied, die andere Methoden plagten.

Eines der bedeutendsten Ergebnisse war, dass die Fähigkeit des Systems, die verborgene Geometrie abzuleiten, essenziell war. Als die Forscher die Komponente, die für die lokale Verfeinerung verantwortlich war, entfernten, sank die Erfolgsquote und die Anzahl der Kollisionen nahm zu. Dies bewies, dass das Wissen über die allgemeine Form des Objekts nicht ausreichte; der Roboter musste die spezifischen, feingliedrigen Details der Oberfläche verstehen, die er berührte. Darüber hinaus zeigte die Studie, dass der Versuch, das gesamte Objekt vor dem Greifen zu rekonstruieren, nicht nur rechenintensiv, sondern auch anfällig für Fehler war, die den endgültigen Griff weniger zuverlässig machten. Indem sich das System direkt auf die für den Griff relevante Geometrie konzentrierte, blieb es effizient und robust.

Die Arbeit hob auch die Grenzen aktueller Ansätze hervor. Das System berücksichtigt noch nicht die physische Erreichbarkeit der Roboterarme oder die komplexe Bewegungsplanung, die erforderlich ist, um sie in Position zu bewegen, ohne sich gegenseitig zu treffen. Es generiert die idealen Griffpunkte, aber ein separater Planer wird immer noch benötigt, um sicherzustellen, dass der Roboter tatsächlich dorthin gelangen kann. Indem die Forschung jedoch das Problem löst, die richtigen Stellen an einem Objekt aus einer Teilansicht zu finden, beseitigt sie eine große Barriere für den Einsatz von zweiarmigen Robotern in unstrukturierten Umgebungen. Sie legt nahe, dass Roboter lernen können, die Form eines Objekts durch Inferenz zu „fühlen“, was es ihnen ermöglicht, die schweren, unhandlichen und komplexen Aufgaben der realen Welt mit einem Maß an Zuversicht zu bewältigen, das zuvor unerreichbar war.