UMI-Underwater: Learning Underwater Manipulation without Underwater Teleoperation

Die Arbeit stellt UMI-Underwater vor, ein System, das durch eine selbstüberwachte Datensammlung und die Übertragung von Land-zu-Wasser-Griffwissen über eine tiefenbasierte Affordanzdarstellung das Unterwasser-Graspen ohne Unterwasser-Teleoperation ermöglicht und dabei die Robustheit gegenüber visuellen Störungen sowie die Generalisierung auf neue Objekte verbessert.

Das Wesentliche

Stellen Sie sich vor, Sie möchten einem Roboter beibringen, Dinge unter Wasser zu greifen – vielleicht um Müll vom Meeresboden zu holen oder Schätze zu bergen. Das Problem ist: Unterwasser ist alles chaotisch. Das Licht ist trüb, die Farben verschwinden, und wenn man den Roboter fernsteuert, ist das extrem teuer und anstrengend.

Die Forscher von der Stanford-Universität haben mit „UMI-Underwater" eine clevere Lösung entwickelt, die wie ein genialer Trick funktioniert. Hier ist die Erklärung, wie sie das geschafft haben, ganz einfach und mit ein paar bildhaften Vergleichen:

1. Das Problem: Der Roboter ist wie ein blindes Schwein im Nebel

Unter Wasser sieht alles anders aus als an Land. Wenn man einem Roboter beibringt, einen Stein zu greifen, indem man ihm Fotos von einem klaren Pool zeigt, funktioniert das im trüben Ozean oft nicht mehr. Die Farben sind weg, das Licht ist anders. Zudem ist es eine Qual, einen Roboter unter Wasser per Fernsteuerung zu lenken, um tausende Beispiele zu sammeln. Es ist, als würde man versuchen, einem Kind das Fahrradfahren beizubringen, indem man es stundenlang auf einem schweren, wackeligen Fahrrad im Schlamm schieben muss.

2. Lösungsteil A: Der Roboter lernt durch „Selbstversuch" (Autonomes Sammeln)

Statt dass ein Mensch den Roboter fernsteuert, lassen die Forscher den Roboter selbstständig üben.

• Der Trick: Der Roboter versucht einfach, Dinge zu greifen. Wenn er es schafft, merkt er sich das als „gute Tat". Wenn er danebengreift oder das Ding wieder fallen lässt, versucht er es sofort noch einmal, vielleicht ein bisschen anders (z. B. von der Seite).
• Die Analogie: Stellen Sie sich einen kleinen Hund vor, der lernt, einen Ball zu fangen. Er rennt los, verfehlt ihn, rennt nochmal, fängt ihn endlich. Niemand muss ihm sagen, wie er rennen soll; er lernt durch Versuch und Irrtum. Der Roboter macht genau das: Er sammelt tausende erfolgreiche Greif-Versuche ganz allein, ohne dass ein Mensch am Joystick sitzt.

3. Lösungsteil B: Der „Land-Transfer" (Die Brücke zwischen zwei Welten)

Hier kommt der eigentliche Clou: Wie bringt man dem Roboter bei, was er greifen soll, ohne ihm unter Wasser tausende Beispiele zu zeigen?

• Die Idee: Die Forscher nutzen eine Hand-Apparat, die wie eine normale Greifzange aussieht (genannt UMI-Aquatic). Menschen greifen damit an trockenem Land nach verschiedenen Gegenständen (Steine, Spielzeug, Dosen).
• Der Zaubertrick: Anstatt dem Roboter zu zeigen, wie die Dinge unter Wasser aussehen (was schwierig ist), zeigen sie ihm, wie die Dinge an Land aussehen. Aber sie nutzen keine bunten Fotos, sondern eine Tiefenkarte (eine Art 3D-Scan, der zeigt, wie weit weg die Dinge sind).
• Die Analogie: Stellen Sie sich vor, Sie wollen einem Freund beibringen, wie man einen bestimmten Keks aus einer Dose nimmt. Es ist dunkel im Raum (unter Wasser). Statt ihm zu zeigen, wie der Keks im Dunkeln aussieht, geben Sie ihm eine Schablone (die Tiefenkarte), die auf dem Keks an Land gezeichnet wurde. Da die Form und die Distanz des Kekses im Dunkeln und im Licht gleich sind, passt die Schablone perfekt, auch wenn die Farben ganz anders aussehen.
• Der Roboter nutzt diese „Land-Schablone", um unter Wasser sofort zu wissen: „Aha, da ist ein Greifpunkt!", ohne dass er jemals diesen spezifischen Gegenstand unter Wasser gesehen hat.

4. Lösungsteil C: Der „Gehirn-Transfer" (Die KI)

Die KI des Roboters besteht aus zwei Teilen:

1. Der Sucher (Affordance-Modell): Dieser Teil schaut auf die Tiefenkarte und sagt: „Greife hier!" Er ignoriert die verwirrenden Farben und den trüben Nebel und konzentriert sich nur auf die Form und den Abstand.
2. Der Ausführende (Diffusion-Policy): Dieser Teil nimmt den Befehl „Greife hier!" und bewegt die Arme des Roboters so, dass er den Gegenstand tatsächlich fängt.

Warum ist das so toll?

• Kein Fernsteuerungs-Stress: Man muss den Roboter nicht mühsam unter Wasser lenken. Er lernt selbst.
• Robustheit: Wenn sich der Hintergrund ändert (z. B. von blauem Poolboden zu einer gemusterten Wand), scheitern normale Roboter sofort, weil sie verwirrt sind. Dieser Roboter ignoriert den Hintergrund und schaut nur auf die Form (die Tiefenkarte).
• Neue Dinge: Der Roboter kann Gegenstände greifen, die er unter Wasser noch nie gesehen hat, solange er sie an Land „kennengelernt" hat. Es ist, als würde er ein Buch über das Greifen lesen, bevor er ins Wasser springt.

Zusammenfassung in einem Satz

Die Forscher haben einen Roboter gebaut, der unter Wasser selbstständig übt und dabei Wissen von an Land gesammelten Übungen nutzt, indem er sich auf die Form (Tiefe) statt auf die Farbe konzentriert – so kann er auch in trüben Gewässern und mit neuen Gegenständen erfolgreich arbeiten, ohne dass ein Mensch ihn ständig steuern muss.

Es ist im Grunde wie ein Roboter, der im Schwimmbad schwimmt, aber sein „Gehirn" hat vorher an Land in einem klaren Raum trainiert und weiß genau, wo er zugreifen muss, egal wie trüb das Wasser ist.

Technische Zusammenfassung

1. Problemstellung

Die autonome Manipulation von Robotern unter Wasser ist eine enorme Herausforderung, die durch zwei Hauptfaktoren begrenzt wird:

• Visuelle Degradation: Unterwasserbilder leiden unter starker Lichtabsorption, Streuung, Trübung und schnellen Änderungen der Beleuchtung (z. B. durch Lichtbrechungen). Dies führt zu einer extremen Variation des Erscheinungsbilds, selbst innerhalb derselben Umgebung, was end-zu-end-visuomotorische Strategien (Visuomotor Policies) sehr anfällig für Verteilungsverschiebungen (Distribution Shifts) macht.
• Datenbeschaffung: Das Sammeln hochwertiger Demonstrationsdaten für das Lernen von Manipulationsaufgaben unter Wasser ist extrem teuer, zeitaufwendig und erfordert oft eine menschliche Fernsteuerung (Teleoperation). Die Abhängigkeit von Teleoperation begrenzt die Skalierbarkeit und Vielfalt der Trainingsdaten.

Ziel des Papers ist es, diese Engpässe zu überwinden, indem eine Methode entwickelt wird, die keine Teleoperation unter Wasser benötigt und dennoch robuste Manipulationsfähigkeiten erlernt, die auf neue Objekte und Umgebungen verallgemeinern.

2. Methodik

Das vorgestellte System, UMI-Underwater, kombiniert zwei komplementäre Ansätze: eine autonome, selbstüberwachte Datensammlung unter Wasser und einen zero-shot Transfer von Wissen von Land zu Wasser mittels affordanzenbasierter Repräsentationen.

A. Selbstüberwachte Datensammlung unter Wasser (Self-Supervised Data Collection)

Um die Abhängigkeit von menschlicher Fernsteuerung zu eliminieren, wurde eine Pipeline entwickelt, die autonom erfolgreiche Greifversuche sammelt:

• Heuristischer Controller: Ein einfacher PD-Regler steuert den ROV (Remotely Operated Vehicle) durch eine sequenzielle Greifroutine (Ausrichtung, Annäherung, Tiefenjustierung, Greifen).
• Selbstüberwachung: Ein Segmentierungsmodell (SAM2) wählt Ziele aus, und ein monokularer Tiefenschätzer (Depth Anything V2) regelt den Abstand.
• Erfolgserkennung: Der Erfolg wird nicht durch externe Sensoren, sondern durch einen „Drag-Test" (Ziehen des Objekts) validiert. Bleibt das Objekt im Greifer, gilt der Versuch als erfolgreich.
• Wiederherstellungsstrategien: Das System beinhaltet Mechanismen zum Neugreifen (Regrasp) nach Fehlversuchen und zum Ausweichen bei Überdrehen (Overshoot), um die Dateneffizienz zu steigern.
• Ergebnis: Das System sammelte autonom 536 Episoden (davon 233 erfolgreiche) in einem Pool, was den menschlichen Aufwand drastisch reduzierte.

B. UMI-Aquatic und Affordance-Transfer (Land-zu-Wasser)

Um die Generalisierungsfähigkeit zu verbessern und die Lücke zwischen Land- und Unterwasserwahrnehmung zu schließen, wird ein Affordance-Modell verwendet:

• UMI-Aquatic Interface: Es wurde eine handgehaltene Greifvorrichtung entwickelt (abgeleitet vom Universal Manipulation Interface, UMI), die mit einer iPhone-Kamera und AprilTags ausgestattet ist. Damit wurden 800 diverse Greifdemonstrationen an Land gesammelt.
• Tiefenbasierte Affordanz: Anstatt RGB-Bilder zu nutzen (die aufgrund von Farb- und Lichtverschiebungen schlecht transferierbar sind), trainiert das Modell Affordanz-Heatmaps basierend auf Tiefenkarten.
• Zero-Shot Transfer: Das Affordanz-Modell wird ausschließlich mit den an Land gesammelten Daten trainiert. Durch geometrische Verwarpung (Warping) der Landbilder in die Geometrie der Unterwasserkamera und die Nutzung von Tiefendaten als Eingabe kann das Modell ohne Fine-Tuning direkt unter Wasser eingesetzt werden.
• Visuomotorische Policy: Eine Diffusion-Policy lernt die Steuerung basierend auf den vorhergesagten Affordanz-Heatmaps (die das Wo des Greifens angeben) und Tiefendaten. Die Policy wird nur mit den erfolgreichen, autonom gesammelten Unterwasserdaten trainiert.

3. Wichtige Beiträge

1. Selbstüberwachte Datensammlung unter Wasser: Eine praktische Pipeline, die erfolgreich Greifdemonstrationen autonom generiert, Wiederherstellungsverhalten nutzt und Erfolge automatisch filtert, wodurch die Notwendigkeit von Teleoperation entfällt.
2. Affordance-Heatmaps als domänenübergreifende Schnittstelle: Ein zielkonditionierter, tiefenbasierter Affordanz-Prädiktor, der mit UMI-Aquatic-Daten an Land trainiert wird und einen Zero-Shot-Transfer von Land zu Wasser ermöglicht. Dies überbrückt die Wahrnehmungslücke (Licht, Farbe) ohne gemischtes Training oder Nachjustierung.
3. Robustheits- und Transfer-Evaluation: Umfassende Experimente, die zeigen, dass der Ansatz nicht nur in der Trainingsverteilung funktioniert, sondern auch bei Hintergrundverschiebungen und bei völlig neuen Objekten (die nur im Land-Datensatz gesehen wurden) robust ist.

4. Ergebnisse

Die Evaluation erfolgte in einem Schwimmbecken mit drei Szenarien:

• In-Distribution (ID): Auf bekannten Objekten im Trainingshintergrund.
  • Ergebnis: Die Methode (DP + Aff + Depth) erreichte 85 % Erfolg, verglichen mit 65 % für eine reine RGB-Baseline. Der Affordance-Ansatz reduzierte Verwechslungen zwischen mehreren Objekten signifikant.
• OOD Visuelle Generalisierung (Hintergrundwechsel): Bekannte Objekte, aber mit neuen, texturierten Hintergrundwänden.
  • Ergebnis: Die reine RGB-Policy fiel auf 0 % (katastrophales Versagen durch visuelle Verschiebung). Die Affordance-Methode blieb mit 80 % stabil, da sie sich auf Tiefen- und Affordanzsignale verließ, die weniger anfällig für Hintergrundänderungen sind.
• OOD Generalisierung auf neue Objekte: Vollständig neue Objekte (z. B. eine Kanne, eine Dose), die nur im Land-Datensatz vorkamen.
  • Ergebnis: Die Affordance-Methode erreichte 75 % Erfolg, während die RGB-Baseline nur 50 % erreichte. Dies beweist, dass das an Land trainierte Affordanz-Wissen effektiv auf neue Objekte unter Wasser übertragen werden kann.

Ein kritischer Fehlerfall wurde identifiziert: Bei starkem Überdrehen (Overshoot) kann sich die Sicht so ändern, dass das Affordanz-Modell auf ein anderes Objekt (Ablenkung) fokussiert, was zu einem Zielwechsel führt.

5. Bedeutung und Fazit

Das Paper demonstriert einen Paradigmenwechsel in der Unterwasserrobotik:

• Skalierbarkeit: Durch die Eliminierung der Teleoperation und die Nutzung von selbstüberwachter Datensammlung wird die Kostenbarriere für das Sammeln von Trainingsdaten gesenkt.
• Robustheit: Die Trennung von „Ziellokalisierung" (durch das Affordanz-Modell) und „Steuerung" (durch die Policy) sowie die Nutzung von Tiefendaten statt RGB machen das System extrem robust gegenüber den visuellen Herausforderungen unter Wasser.
• Generalisierung: Der Nachweis, dass an Land gesammelte Daten (via UMI-Aquatic) genutzt werden können, um unter Wasser neue Objekte zu manipulieren, ohne das Modell an die Unterwasserumgebung anzupassen, ist ein bedeutender Fortschritt für die Übertragbarkeit robotischer Fähigkeiten.

Zusammenfassend bietet UMI-Underwater einen praktischen Weg, um robuste autonome Manipulationssysteme für komplexe Unterwasserumgebungen zu entwickeln, die ökologische Probenahme, Schrottentfernung und Infrastrukturinspektion ermöglichen.