Stellen Sie sich eine Welt vor, in der Roboter wie unglaublich talentierte, aber etwas tollpatschige Köche sind. Sie können Gemüse mit perfekter Präzision schneiden, wenn die Küche leer und das Licht hell ist, aber sobald man sie bittet, einen Knoten Spaghetti in einer dunklen, überfüllten Speisekammer zu entwirren, erstarren sie. Dies ist der aktuelle Stand der „dexterous manipulation“ (geschickten Manipulation) in der Robotik – die Fähigkeit, empfindliche, flexible oder eng gepackte Objekte so zu handhaben, wie es eine menschliche Hand kann. Jahrzehntelang haben Wissenschaftler versucht, Robotern dies beizubringen, indem sie komplexe Regelwerke schrieben: „Wenn du ein rotes Kabel siehst, bewege dich nach links; wenn du Widerstand spürst, halte an.“ Aber das echte Leben ist chaotisch. Kabel verdrehen sich, Lichter flackern und Anschlüsse stecken in engen Zwischenräumen fest. Die große Frage ist nicht nur: „Kann ein Roboter das?“ sondern: „Kann ein Roboter lernen, dies so leicht zu tun, wie ein Mensch lernt, seine Schuhe zu binden, ohne für jede neue Aufgabe tausende Seiten an Anweisungen zu benötigen?“

Dieses Papier mit dem Titel „Industrial Dexterity Benchmark“ befasst sich genau mit diesem Problem. Die Forscher entwickelten eine neue Art, Roboter zu testen, ein neues „Gehirn“, von dem sie lernen können, und ein neues Set an Trainingsübungen. Anstatt den Roboter Schritt für Schritt zu programmieren, ließen sie ihn einem Menschen bei der Arbeit zusehen und dann versuchen, das Gefühl und die Bewegung zu kopieren. Sie fanden heraus, dass der Roboter viel besser darin wird, schwierige Aufgaben zu bewältigen, wenn man ihm erlaubt, die Welt auf vielfältige Weise wahrzunehmen (indem er beispielsweise sowohl mit den Augen sieht als auch mit seinen Händen fühlt) und durch Imitation lernt. Konkret zeigten sie, dass ein Roboter lernen konnte, ein Kabel in einem überfüllten Rechenzentrum zu reinigen und wieder einzustecken, mit einer Erfolgsquote von 78 %, nachdem er einen Menschen nur 100 Mal dabei beobachtet hatte, während die alten, regelbasierten Methoden kaum den Anfang fanden.

Das Problem: Das „verhedderte Chaos“ der realen Welt

Stellen Sie sich ein modernes Rechenzentrum wie eine riesige, hochtechnologische Bibliothek vor, in der die Bücher eigentlich Kabel sind. Diese Kabel sind so dicht gepackt, dass kaum ein Zoll Platz zwischen ihnen liegt. Wenn ein Mensch ein Kabel austauschen oder einen Stecker reinigen muss, muss er äußerst vorsichtig sein. Ein falscher Handgriff, und er könnte das Kabel eines Nachbarn lösen, was das gesamte System zum Absturz bringen könnte. Jahrelang waren Roboter schlecht darin. Sie sind großartig darin, eine Kiste von einem leeren Tisch aufzuheben, aber schlecht darin, in eine überfüllte Schublade zu greifen, um eine bestimmte Socke herauszuziehen, ohne die anderen zu stören.

Der alte Weg, dies zu lösen, bestand darin, ein „Regelwerk“ für den Roboter zu erstellen. Ingenieure sagten dem Roboter: „Suche zuerst nach einer Markierung. Berechne dann den Winkel. Bewege dann deinen Arm exakt 5 Millimeter.“ Das funktionierte in einem perfekten Labor, aber sobald sich die Beleuchtung änderte oder ein Kabel sich leicht bewegte, wurde der Roboter verwirrt und scheiterte. Es war, als würde man versuchen, durch eine Stadt zu navigieren, indem man eine Karte benutzt, die nur funktioniert, wenn die Sonne direkt senkrecht über einem steht.

Der neue Ansatz: Lernen durch Beobachten

Die Autoren dieses Papiers beschlossen, einen anderen Ansatz zu versuchen. Anstatt ein Regelwerk zu schreiben, bauten sie ein System, das es dem Roboter ermöglicht, durch Imitation zu lernen, ganz ähnlich wie ein Kind, das Fahrradfahren lernt, indem es seinen Eltern zusieht. Sie führten drei Hauptwerkzeuge ein, um dies zu ermöglichen:

1. Das „Trainingsgym“ (IDB Boards): Sie bauten drei verschiedene physische Boards, die als Trainingshindernisse dienen. Eines ahmt die überfüllten Kabel eines Rechenzentrums nach, ein anderes sieht aus wie die unordentliche Verkabelung im Inneren eines Autos, und das dritte ist eine winzige Getriebebaugruppe. Diese Boards sind das „Gym“, in dem der Roboter übt. Das Papier konzentriert sich hauptsächlich auf das Rechenzentrum-Board, bei dem der Roboter ein Kabel ausstecken, es gegen ein Reinigungspad führen und wieder einstecken muss, ohne etwas anderes umzuwerfen.
2. Das „Lernframework“ (DAG-ROS): Dies ist die Software, die die Augen, Hände und das Gehirn des Roboters verbindet. Sie ermöglicht es einem Menschen, die Kontrolle über den Roboter zu übernehmen (Teleoperation) und die Aufgabe auszuführen, während das System jede Bewegung, jede Kameraansicht und jeden Druck, den der Roboter spürt, aufzeichnet. Es ist wie ein Videospiel-Wiedergabesystem, das jeden Frame der perfekten menschlichen Leistung speichert, damit der Roboter sie später studieren kann.
3. Das „Intelligente Gehirn“ (AG-iDP3): Dies ist der Star der Show. Es handelt sich um eine Art künstliche Intelligenz namens „Diffusion Policy“. Stellen Sie sich einen Roboter vor, der mit einer verschwommenen, zufälligen Vermutung beginnt, was er tun soll, und dann diese Vermutung Schritt für Schritt „entstört“ (denoise), bis sie zu einer klaren, flüssigen Bewegung wird. Dieses Gehirn schaut nicht nur auf ein Bild; es fusioniert mehrere Sinne. Es betrachtet die Szene mit einer am Handgelenk montierten Kamera, einer Weitwinkelkamera und einem Tiefensensor (der in 3D sieht), während es gleichzeitig den Druck in seinem Handgelenk fühlt. Es kombiniert all diese Informationen, um zu entscheiden, wie es sich bewegen soll.

Das Experiment: Ein Rennen von sechs Robotern

Um zu sehen, ob dieses neue „intelligente Gehirn“ tatsächlich funktionierte, setzten die Forscher ein Rennen auf. Sie testeten sechs verschiedene Versionen des „Visionssystems“ des Roboters bei der Kabelaufgabe im Rechenzentrum. Einige Roboter hatten nur eine Kamera, einige zwei, einige Tiefensensoren und einige eine Mischung aus allem. Sie führten 48 Versuche für jedes Setup durch.

Die Ergebnisse waren eindeutig. Der Roboter, der sich nur auf eine einzige Kamera verließ (die traditionelle Art), war nur 36 % der Zeit erfolgreich. Es war, als würde man versuchen, eine Nadel einzufädeln, während man mit einem Auge blind ist. Der Roboter, der jedoch einen „multimodalen“ Ansatz nutete – also eine Handgelenk-Kamera, eine Szenenkamera und 3D- Tiefendaten kombinierte – war 78 % der Zeit erfolgreich.

Die wichtigste Erkenntnis war, dass der 3D-Kontext entscheidend war. Wenn der Roboter die Tiefe der Kabel sehen konnte (entweder durch einen 3D-Sensor oder indem er zwei Kameras aus verschiedenen Winkeln nutzte), konnte er das Kabel fast perfekt greifen (88–98 % Erfolgsquote). Aber die wahre Magie geschah während der „Einführphase“. Der multimodale Roboter konnte den winzigen Stecker viel besser mit dem engen Port ausrichten als die anderen. Interessanterweise schnitt ein Roboter, der einen spezifischen Typ von 3D-Sensor (Time-of-Flight) verwendete, in dieser industriellen Umgebung sogar besser ab als die Standard-Stereokamera, was darauf hindeutet, dass es zuverlässiger ist, „Tiefe“ direkt zu sehen, als sie aus zwei flachen Bildern zu erraten.

Warum das wichtig ist

Das Papier argumentiert, dass dieser neue Ansatz ein Wendepunkt für die industrielle Automatisierung ist. Die alte Methode erforderte es den Ingenieuren, tausende Stunden mit dem Labeling von Bildern und der Feinabstimmung von Parametern für jede einzelne neue Aufgabe zu verbringen. Mit diesem neuen System benötigte der Roboter nur etwa 100 Demonstrationen (etwa 100 Mal das Beobachten eines Menschen bei der Aufgabe), um sie gut zu beherrschen.

Die Forscher stellten auch fest, dass das System noch nicht perfekt ist. Der Roboter war manchmal „spröde“ (brittle), was bedeutet, dass er verwirrt sein konnte, wenn ein zufälliges Objekt im Hintergrund erschien, das er während des Trainings nicht gesehen hatte. Sie zeigten jedoch, dass sie dies beheben konnten, indem sie den Kameraausschnitt einschränten, um sich nur auf den Aufgabenbereich zu konzentrieren.

Das Faz-Wort

Dieses Papier legt nahe, dass die Zukunft der Industrieroboter nicht darin besteht, bessere Regelwerke zu schreiben, sondern sie zu lehren, die Welt so zu „fühlen“ und zu „sehen“ wie Menschen. Durch die Kombination mehrerer Sinne und die Verwendung einer Lernmethode, die die menschliche Imitation nachahmt, können Roboter die chaotischen, engen und empfindlichen Aufgaben bewältigen, die sie jahrzehntelang aus Fabriken ferngehalten haben. Obwohl das Papier nicht behauptet, alle Probleme der Robotik gelöst zu haben, liefert es ein starkes, reproduzierbares Rezept, um Roboter geschickt genug für die reale Welt zu machen und den „tollpatschigen Koch“ mit nur ein wenig Übung in einen fähigen Lehrling zu verwandeln.