From Perception to Assistance: Open-Vocabulary Shared Autonomy for Robotic Manipulation

Stellen Sie sich vor, Sie versuchen, einen Faden durch ein Nadelöhr zu führen, während Sie dicke Winterhandschuhe tragen, auf einer wackeligen Leiter stehen und durch ein beschlagenes Fenster auf die Nadel blicken. Das ist in etwa das Gefühl, wenn man einen riesigen Roboterarm aus der Ferne steuert. Dies ist die Welt der Teleoperation, in der ein menschlicher Operator eine Maschine mithilfe von Kameras und Joysticks führt. Das Problem ist, dass unsere Augen und unser Gehirn nicht besonders gut darin sind, die Tiefe durch einen Bildschirm einzuschätzen, und industrielle Umgebungen oft vollgestopft sind mit Rohren, Wänden und anderen Hindernissen, gegen die man leicht zusammenstoßen kann.

Um dies zu lösen, haben Wissenschaftler die geteilte Autonomie (Shared Autonomy) entwickelt. Betrachten Sie dies als einen „Co-Piloten“ für den Roboter. Anstatt dass der Mensch alles allein macht, greift der Computerchip des Roboters ein, um zu helfen. Er könnte den Arm sanft von einer Wand weglenken oder ihn in Richtung eines Ziels drücken, aber der Mensch hält immer noch das Steuer in der Hand. Dieses Paper untersucht eine neue, intelligentere Version dieses Co-Piloten-Systems, das speziell für Roboter entwickelt wurde, die herumlaufen können (wie vierbeinige Hunde) und delikate Aufgaben in unordentlichen, realen Fabriken verrichten.

---

Der „Smart Co-Pilot“ für Roboterhunde

Lernen Sie den Roboter kennen: eine vierbeinige Maschine (wie der Boston Dynamics Spot) mit einem langen, geschickten Arm, der an ihrem Rücken befestigt ist. Seine Aufgabe? In eine unordentliche Industrieanlage zu laufen, ein bestimmtes Ventil oder Werkzeug zu finden und es zu drehen oder aufzunehmen. Die Herausforderung? Der Operator ist weit entfernt und sieht den Roboter durch einen Kamera-Feed, der die Tiefenwahrnehmung erschwert. Wenn der Operator versucht, ein Ventil zu drehen, könnte er versehentlich den Roboterarm gegen ein nahegelegenes Rohr schlagen, weil er nicht genau sehen kann, wie nah er dran ist.

Dieses Paper stellt ein System vor, das wie ein hilfreicher, unsichtbarer Führer für den Roboterarm fungiert. Es kombt drei Superkräfte: Markerkreies Sehen, Sprachverständnis und sanftes Lenken.

1. Keine Handschuhe, keine Kalibrierung, nur Sie

Normalerweise benötigt man, um einen Roboter mit seinem Körper zu steuern, spezielle Anzüge mit Sensoren oder muss vor einer Kamera stehen, die auf die eigene Körpergröße kalibriert werden muss. Dieses neue System sagt: „Nein danke.“ Es verwendet eine Standard-3D-Kamera (RGB-D), um die natürlichen Bewegungen des Operators zu beobachten.

Stellen Sie sich vor, die Kamera ist ein superaufmerksamer Freund, der Ihre Schultern, Hüften und Handgelenke beobachtet. Sie erstellt in Echtzeit eine mentale Karte Ihres Körpers. Wenn Sie Ihre rechte Hand nach vorne bewegen, bewegt sich der Roboterarm nach vorne. Wenn Sie Ihr Handgelenk drehen, dreht sich der Greifer des Roboters. Das System berechnet sogar Ihre Armlänge im laufenden Betrieb, sodass es genau weiß, wie es Ihre Bewegungen an die Größe des Roboters anpassen muss. Kein Setup, keine Marker, einfach nur Sie und der Roboter, die synchron sich bewegen.

2. „Hey Roboter, greif das Radventil“

In der Vergangenheit war es schwierig, einem Roboter zu sagen, was er greifen soll. Man musste auf ein bestimmtes Objekt zeigen oder einen Code verwenden. Dieses System erlaubt es Ihnen, natürliche Sprache zu verwenden. Der Operator kann einfach sagen (oder tippen): „Radventil“.

Hier geschieht die Magie: Der Roboter nutzt ein „Vision-Language-Modell“ (denken Sie an ein Robotergehirn, das gleichzeitig lesen und sehen kann), um den Kamera-Feed zu analysieren und das „Radventil“ zu finden. Sobald er es entdeckt hat, sagt er nicht nur „Ich sehe es“. Er erstellt einen präzisen 3D-Zielpunkt im Raum, wie eine digitale Zielscheibe. Noch besser: Er verfolgt dieses Ventil kontinuierlich weiter, während sich der Roboter bewegt, indem er andere Kameras an seinem Körper nutzt, um sicherzustellen, dass er das Ziel nie aus den Augen verliert, selbst wenn die Sicht des Operators blockiert wird.

3. Das unsichtbare Magnetfeld

Dies ist der coolste Trick des Papers. Wenn der Roboterarm dem Ziel näher kommt, setzt ein unsichtbares „Potenzialfeld“ (wie eine sanfte magnetische Kraft) ein.

Stellen Sie sich vor, Sie fahren mit einem Auto auf einen Parkplatz zu. Sie lenken zwar, aber es gibt einen sanften Wind, der Ihr Auto leicht in Richtung der Mitte des Parkplatzes drückt, um Ihnen beim perfekten Einparken zu helfen. Genau das macht dieses System.

• Sie sind immer noch verantwortlich: Wenn Sie nach links wollen, bewegt sich der Roboter nach links. Das System nimmt Ihnen niemals das Steuer weg.
• Die Hilfe ist subtil: Sobald Sie sich innerhalb von 0,4 Metern (etwa 1,3 Fuß) des Ziels befinden, zieht das System Ihren Befehl sanft in Richtung des exakten Zentrums des „Radventils“. Es korrigiert kleine Fehler, die Sie aufgrund der nebligen Kameraansicht machen könnten.
• Das Ergebnis: Sie können grob zielen, und der „Co-Pilot“ des Roboters glättet den letzten Annäherungsweg, um sicherzustellen, dass der Greifer exakt dort landet, wo er hin muss.

4. Der „Nicht-Crash“-Schild

Während der Roboter sich bewegt, erstellt er ständig eine 3D-Karte des Raums mithilfe seiner eigenen Kameras. Er weiß genau, wo sich Wände, Rohre und Verkehrskegel befinden. Das Paper testete dies, indem der Operator absichtlich versuchte, den Roboterarm in einen Verkehrskegel zu steuern.

Das Ergebnis? Der Befehl des Operators führte direkt in den Kegel, aber der Roboterarm stoppte 18 cm (etwas mehr als 7 Zoll) davor. Das System wirkte wie ein Kraftfeld, das den Pfad um das Hindernis herum bog, während es dennoch versuchte, der allgemeinen Richtung des Operators zu folgen. Es bewies, dass selbst wenn der Mensch einen Fehler macht, das Sicherheitsgehirn des Roboters einen Crash verhindert.

5. Der „Autopilot“-Knopf

Manchmal ist der Operator es leid, zu steuern. Sobald sie das Ziel gefunden und bestätigt haben, können sie zwei Finger hochhalten, um in den autonomen Modus zu wechseln. Der Roboter übernimmt dann die vollständige Kontrolle, nutzt dieselben Sicherheitsregeln und dasselbe 3D-Ziel, um die Aufgabe (wie das Greifen des Ventils) eigenständig zu beenden. Wenn der Operator die Kontrolle zurückhaben möchte, hebt er einfach wieder einen Finger.

Was haben sie herausgefunden?

Die Forscher testeten dieses System an einem echten Roboter in einer unordentlichen Industrieumgebung bei zwei Hauptaufgaben: dem Drehen eines großen Industrieventils und dem Aufnehmen eines Elektrobohrers.

• Das „Ganze Team“ gewinnt: Wenn sie das gesamte System verwendeten (das Sprachziel + das sanfte Lenken + den Crash-Schutz), war der Roboter in 100 % der Versuche erfolgreich (5 von 5 bei beiden Aufgaben).
• Das „Halbe Team“ scheitert: Wenn sie den Crash-Schutz entfernten, stieß der Roboter gegen Hindernisse. Wenn sie das sanfte Lenken entfernten, verfehlte der Roboter das Ziel, da die Kameraansicht nicht präzise genug war. Dies zeigte, dass beide Teile notwendig sind; sie lösen unterschiedliche Probleme.
• Die Zahlen: Das System war sehr genau. Der Arm des Roboters folgte der Hand des Menschen mit einem durchschnittlichen Fehler von nur 59 mm (etwa 2,3 Zoll). In den Crash-Tests versuchte der Operator, den Arm um 6 cm in ein Hindernis zu drücken, aber der Roboter hielt den Arm mindestens 18 cm von der Gefahr entfernt.

Das Fazit

Dieses Paper behauptet nicht, alle Probleme der Robotik gelöst zu haben. Es zeigt, dass wir durch die Kombination einer einfachen, markerg freien Kamera-Schnittstelle mit einem smarten „Co-Piloten“, der Sprache versteht und Fehler sanft korrigiert, Roboter wesentlich besser für die Arbeit in unordentlichen, realen Fabriken machen können. Es ist kein Roboter, der völlig eigenständig denkt, und auch kein Roboter, der nur blind Befehlen folgt. Es ist eine Partnerschaft, bei der der Mensch die Absicht vorgibt („Hol das Ventil da“) und der Roboter die schwierigen Details übernimmt, nicht zu kollidieren und perfekt zu landen.