Roboter, die in einem unordentlichen Raum navigieren, ein bestimmtes Werkzeug aufheben und es einem Menschen reichen können, benötigen eine Art von Intelligenz, die Sehen, Verstehen und Bewegen miteinander verbindet. Jahrelang haben Forscher Systeme entwickelt, die ein leistungsstarkes visuelles Gehirn, das in der Lage ist, Objekte zu erkennen und Anweisungen zu lesen, mit einem separaten Steuerungsmodul kombinieren, das diese Gedanken in die präzisen Bewegungen eines Roboterarms und einer Roboterhand übersetzt. Dieser zweiteilige Ansatz hat es Maschinen ermöglicht, zunehmend komplexere Aufgaben auszuführen, vom Stapeln von Blöcken bis hin zum Zusammenbauen einfacher Geräte. Eine kritische Frage blieb jedoch bestehen: Sieht der Teil des Roboters, der tatsächlich die Gliedmaßen bewegt, die Welt wirklich so, wie der Teil, der denkt? Wenn die visuellen Informationen verloren gehen oder verschwimmen, während sie vom „denkenden“ Gehirn zum „bewegenden“ Körper übergeben werden, kann der Roboter zwar verstehen, dass sich eine Tasse auf einem Tisch befindet, aber er scheitert am Greifen, weil er die Entfernung oder die Form des Objekts nicht genau einschätzen kann.

Ein Forschungsteam hat genau identifiziert, wo dieser Zusammenbruch stattfindet, und eine Lösung entwickelt, um ihn zu beheben. Sie entdeckten, dass in aktuellen fortschrittlichen Robotersystemen die letzte Schicht der visuellen Informationen, die an das Steuerungsmodul weitergegeben wird, stark auf Sprache und Objektnamen ausgerichtet ist, während die entscheidenden Details über die Tiefe und den dreidimensionalen Raum verloren gehen. Um dies zu lösen, entwickelten sie eine neue Methode namens V-Link, die als Brücke fungiert, um diese verlorenen räumlichen Details wiederherzustellen, bevor der Roboter versucht, sich zu bewegen. Indem sie das System explizit darauf trainierten, sowohl das „Was“ (die Identität des Objekts) als auch das „Wo“ (seine exakte Position im 3D-Raum) zu trennen und zu bewahren, ermöglichten die Forscher Robotern, feinfühlige Manipulationsaufgaben mit deutlich höheren Erfolgsraten auszuführen. In Tests, die sowohl Computersimulationen als auch reale humanoide Roboter umfassten, ermöglichte dieser Ansatz Maschinen, Aufgaben zu bewältigen, an denen sie zuvor gescheitert waren, wie etwa das Einschalten eines Netzschalters oder das Navigieren durch komplexe Umgebungen, was beweist, dass die Wiederherstellung der vollen Reichhaltigkeit der visuellen Wahrnehmung für präzise robotergestützte Aktionen unerlässlich ist.

Der Kern des Problems liegt in der Struktur moderner Robotergehirne. Diese Systeme verwenden typischerweise ein großes, vortrainiertes Modell, um Bilder und Sprache zu verarbeiten und einen finalen Satz von Merkmalen zu generieren, die die Szene zusammenfassen. Diese Zusammenfassung wird dann in ein separates Controller-Modul eingespeist, das entscheidet, wie sich der Roboter bewegen soll. Die Forscher fanden heraus, dass diese Zusammenfassung zwar hervorragend geeignet ist, um Objekte zu identifizieren, aber überraschend schlecht darin ist, die geometrische Realität der Szene zu vermitteln. Als sie die Fähigkeit des Controllers testeten, die Tiefe zu schätzen oder Objekte allein basierend auf dieser finalen Zusammenfassung zu segmentieren, waren die Ergebnisse schwach. Der Controller schien eine Abkürzung zu nehmen und sich eher auf die semantischen Labels der Objekte zu verlassen als auf deren physische Form und Distanz. Dies ist vergleichbar mit einem Fahrer, der zwar den Namen jeder Straße kennt, aber nicht einschätzen kann, wie groß der Abstand zum Auto vor ihm ist; das Wissen ist vorhanden, aber die praktische Anwendung fehlt.

Um dies zu adressieren, führten die Forscher einen Mechanismus ein, der das System dazu zwingt, explizit zwei verschiedene Arten von visuellen Informationen zu lernen und zu bewahren: eine, die auf die Geometrie der Szene fokussiert ist, und eine andere auf deren semantische Bedeutung. Sie fügten spezielle, lernbare Token – im Wesentlichen dedizierte Fragen, die sich das System selbst stellt – in die visuelle Verarbeitungsphase ein. Ein Satz von Token wurde darauf trainiert, sich ausschließlich auf Tiefe und räumliche Beziehungen zu konzentrieren, während der andere darauf fokussiert ist, Objekte und deren Kategorien zu identifizieren. Entscheidend ist, dass diese Token während des Lernprozesses mittels Hilfsaufgaben trainiert werden, wie etwa der Vorhersage der Tiefenkarte einer Szene oder der Segmentierung verschiedener Objekte, aber diese zusätzlichen Aufgaben werden entfernt, sobald der Roboter eingesetzt wird. Dies stellt sicher, dass der Roboter lernt, diese räumlichen und semantischen Details zu internalisieren, ohne die zusätzlichen Berechnungen in Echtzeit durchführen zu müssen.

Sob溶en diese spezialisierten Repräsentationen gelernt wurden, werden sie über einen sorgfältig gestalteten Pfad zurück in das Steuerungsmodul des Roboters injiziert. Das System mischt die Informationen nicht einfach zusammen; stattdessen verwendet es einen asymmetrischen Ansatz, bei dem die semantischen Informationen die Standard-Visualdaten ergänzen, während die räumlichen Informationen einen eigenen Kanal erhalten, um die Bewegungen des Roboters zu bedingen. Dieses Design stellt sicher, dass der Controller die 3D-Geometrie der Szene nicht ignorieren kann. Das Ergebnis ist ein Roboter, der nicht nur weiß, was er sieht, sondern auch genau versteht, wo er sich im Verhältnis zu seinem eigenen Körper im Raum befindet.

Die Auswirkung dieser Wiederherstellung war unmittelbar und messbar in einer Vielzahl anspruchsvoller Szenarien. In einer Reihe von Simulationen, die Aufgaben wie das Bewegen von Objekten, das Platzieren von Gegenständen und das Kontaktieren von Oberflächen umfassten, übertraf die neue Methode die bisherigen State-of-the-Art-Modelle signifikant. In einem Benchmark stieg die Erfolgsquote um mehr als dreißig Prozent, und in einem anderen verbesserte sie sich um fast neunzehn Prozent. Die Verbesserung war nicht nur eine Frage der schnelleren Aufgabenbewältigung; es ging um die Fähigkeit zur feingliedrigen Manipulation, die eine präzise Tiefenwahrnehmung erfordert. In realen Tests mit einem humanoiden Roboter schloss das System Aufgaben wie das autonome Ein- und Ausschalten des Stroms mit Erfolgsraten von neunundneunzig Prozent bzw. vierundneunzig Prozent erfolgreich ab, was einen erheblichen Sprung gegenüber dem Basismodell darstellt.

Vielleicht am wichtigsten ist, dass diese Verbesserung mit fast keinen Kosten für die Geschwindigkeit des Roboters einherging. Die Forscher berechneten, dass die neue Methode nur einen Bruchteil einer Millisekunde zur Zeit hinzufügt, die der Roboter benötigt, um eine Entscheidung zu treffen. Diese Effizienz ist entscheidend für die praktische Robotik, in der Verzögerungen zu Instabilität oder Fehlern führen können. Durch die Wiederherstellung der verlorenen visuellen Repräsentationen, ohne das System zu verlangsamen, haben die Forscher demonstriert, dass der Engpass in der Robotermanipulation nicht ein Mangel an Rechenleistung war, sondern eine Lücke in der Art und Weise, wie visuelle Informationen von der Wahrnehmung zur Aktion übertragen werden. Die Arbeit legt nahe, dass Roboter das volle Spektrum visueller Hinweise erhalten müssen, damit sie die physische Welt wirklich meistern können, um sicherzustellen, dass ihr Verständnis einer Szene so reichhaltig und detailliert ist wie ihre Fähigkeit, sich darin zu bewegen.