RoboCousin: Build Your Own Simulation Playground for Robust Bimanual Robotic Manipulation

Einem Roboter beizubringen, zwei Hände wie ein Mensch zu benutzen, gehört zu den schwierigsten Herausforderungen der modernen Robotik. Um komplexe Aufgaben wie das Falten von Wäsche, das Öffnen eines Glases oder das Tragen einer schweren Kiste zu erlernen, muss ein Roboter tausende Beispiele dafür sehen, wie man es macht. In der realen Welt ist das Sammeln dieser Beispiele langsam, teuer und oft gefährlich. Wenn ein Roboter ein Glas fallen lässt, zerbricht es; wenn er einen Stapel Geschirr umstößt, ist die Aufräumarbeit eine mühsame Aufgabe. Aus diesem Grund haben sich Wissenschaftler der Computersimulation zugewandt. Sie bauen virtuelle Welten, in denen Roboter Millionen Male üben können, ohne etwas kaputt zu machen. Ein großes Problem hat dieses Feld jedoch bisher zurückgehalten: Die meisten Simulationen sind wie geschlossene Räume mit feststehenden Möbeln. Man kann den Roboter zwar so oft wie man möchte durch den Raum laufen lassen, aber man kann nicht einfach ein neues Objekt hinzufügen, wie zum Beispiel eine spezifische Kaffeetasse, die der Nutzer besitzt, oder das Layout des Raums ändern. Um dies zu tun, muss ein menschlicher Ingenieur normalerweise Stunden damit verbringen, die Form des Objekts manuell nachzubauen, zu definieren, wie schwer es ist, und genau herauszufinden, wo die Finger des Roboters es berühren sollten. Diese manuelle Arbeit ist so langsam, dass sie die Erstellung der massiven, vielfältigen Datensätze verhindert, die nötig sind, um Roboter wirklich anpassungsfähig zu machen.

Ein Forscherteam hat ein neues System namens RoboCousin vorgestellt, das diesen Engpass löst, indem es die Simulation in eine offene, erweiterbare Werkstatt verwandelt. Anstatt den Roboter zu zwingen, nur aus einer vorab ausgewählten Liste von Objekten zu lernen, ermöglicht dieses System einem Benutzer, ein einfaches Foto eines beliebigen Objekts oder eine Beschreibung eines Raumes zu machen und dieses sofort in ein realistisches, interaktives 3D-Modell zu verwandeln, mit dem der Roboter üben kann. Das System erstellt nicht nur ein hübsches Bild; es ermittelt automatisch die physikalischen Eigenschaften des Objekts, wie etwa dessen Gewicht und wie rutschig seine Oberfläche ist, und berechnet die besten Stellen, an denen der Greifer des Roboters ansetzen sollte. Dieser Prozess verwandelt ein flaches Bild in einen „digitalen Cousin“ – eine virtuelle Version, die aussieht und sich wie das reale Objekt verhält, aber flexibel genug ist, um mit anderen Objekten und Hintergründen gemischt zu werden, um endlose neue Trainingsszenarien zu erstellen.

Die Forscher bauten dieses System auf einer bestehenden Simulationsplattform auf und fügten eine Pipeline hinzu, die alles vom anfänglichen Foto bis zur finalen Roboterbewegung handhabt. Wenn ein Benutzer ein Bild eines Objekts bereitstellt, isoliert das System dieses zuerst vom Hintergrund und rekonstruiert seine dreidimensionale Form. Es verwendet dann künstliche Intelligenz, um die physikalischen Merkmale des Objekts zu erraten, wie Masse und Reibung, um sicherzustellen, dass der Roboter realistisch mit ihm interagiert. Entscheidend ist, dass das System automatisch „Kontaktpunkte“ identifiziert, also die spezifischen Stellen am Objekt, an denen eine Roboterhand sicher und effektiv greifen kann. In traditionellen Setups müsste ein Mensch diese Punkte für jedes einzelne Objekt manuell markieren, ein mühsamer Prozess, der die Anzahl der hinzugefügten Objekte begrenzt. In diesem neuen System erledigt der Computer dies sofort. Das Ergebnis ist eine Bibliothek von über 3.000 verschiedenen Objektinstanzen und 50 verschiedenen Hintergrundumgebungen, die alle bereit sind, vom Roboter genutzt zu werden.

Um das Training noch robuster zu machen, erstellt das System „digitale Cousins“. Während ein „digitaler Zwilling“ eine exakte, starre Kopie einer realen Szene ist, ist ein digitaler Cousin eine Variation, die die wichtigen Beziehungen beibehält, aber die Details verändert. Wenn ein Robot beispielsweise lernen muss, wie man eine Flasche von einem Tisch aufhebt, kann das System eine Szene generieren, in der die Flasche eine andere Farbe hat, der Tisch aus einem anderen Material besteht oder der Hintergrund eine Küche statt eines Wohnzimmers ist, solange die Flasche immer noch auf eine sinnvolle Weise auf dem Tisch steht. Dieser Ansatz lehrt den Roboter das Kernkonzept der Aufgabe, anstatt nur eine spezifische Einrichtung auswendig zu lernen. Das System skaliert auch auf die Ebene des Raumes hoch. Es kann einen Pfad für einen mobilen Roboter planen, um durch ein virtuelles Haus zu navigieren, sich einem Tisch zu nähern und dann die Manipulationsaufgabe auszuführen, alles innerhalb einer einzigen kontinuierlichen Simulation. Dies ermöglicht es dem Roboter, nicht nur zu lernen, wie er seine Arme bewegt, sondern wie er seinen ganzen Körper bewegt, um zur Aufgabe zu gelangen.

Das Team testete, ob dieser automatisierte Ansatz tatsächlich in der realen Welt funktioniert. Sie erzeugten mit dem System über eine Million Trainings-Trajektorien und trainierten daraufhin einen physischen Roboter mit zwei Armen, um spezifische Aufgaben auszuführen. Die Ergebnisse waren beeindruckend. Als der Roboter an Objekten trainiert wurde, die das System automatisch aus Bildern rekonstruiert hatte, schnitt er genauso gut oder in einigen Fällen sogar besser ab, als wenn er an Objekten trainiert worden wäre, die von menschlichen Experten sorgfältig handgefertigt wurden. Beispielsweise stieg die Erfolgsquote bei einer Aufgabe zum Aufheben einer Flasche von 40 Prozent auf 80 Prozent an, als die neuen Assets des Systems verwendet wurden. Darüber hinaus wurde der Roboter, wenn er auf einer Vielzahl von „Cousin“-Szenen anstatt auf einer einzigen exakten Kopie eines Raumes trainiert wurde, wesentlich besser darin, neue Situationen zu bewältigen. In einem Test, bei dem es um das Aufheben eines Brillenetuis ging, versagte ein Roboter, der auf einer einzigen exakten Szene trainiert wurde, völlig, während derjenige, der auf den variierten Cousin-Szenen trainiert wurde, in 55 Prozent der Fälle erfolgreich war.

Die Forscher verifizierten auch, dass die automatischen Vermutungen des Computers darüber, wo ein Objekt zu greifen ist, korrekt waren. Sie verglichen die vom System vorgeschlagenen Greifpunkte mit einer Reihe von Punkten, die sorgfältig von Menschen markiert worden waren. Die Vorschläge des Computers waren etwas besser und erreichten eine Erfolgsquote von 76 Prozent in der Simulation, verglichen mit 72 Prozent für die von Menschen markierten Punkte. Dies beweist, dass das System den langsamen, manuellen Prozess der Objektannotation durch einen schnellen, automatisierten Prozess ersetzen kann, der mindestens ebenso zuverlässig ist. Durch die Verbindung der Fähigkeit, reale Beobachtungen in Simulations-Assets zu verwandeln, mit der Fähigkeit, vielfältige Trainingsszenarien zu generen, bietet RoboCousin einen praktischen Weg nach vorn. Es legt nahe, dass die Zukunft des Roboterlernens nicht darauf wartet, dass Ingenieure jedes neue Objekt von Hand bauen, sondern darauf basiert, dass Systeme in der Lage sind, die unordentliche, vielfältige Welt, in der wir leben, sofort zu verstehen und sich an sie anzupassen.