UMI-Underwater: Learning Underwater Manipulation without Underwater Teleoperation

Dit artikel introduceert UMI-Underwater, een systeem dat onderwater grijpvaardigheden leert zonder onderwaterteleoperatie door kennis van landgebaseerde menselijke demonstraties over te dragen via een dieptebasede afforance-representatie en een zelftoezichtend dataverzamelingsproces.

De kern

UMI-Underwater: Hoe robots onder water leren grijpen zonder dat mensen ze hoeven te besturen

Stel je voor dat je een duiker bent die een schat moet vinden op de zeebodem. Maar in plaats van zelf te duiken, stuur je een robot. Het probleem? Onder water is het vaak troebel, het licht verandert constant en het is erg moeilijk om de robot precies te besturen via een kabeltje vanaf een boot. Bovendien is het extreem duur en tijdrovend om duizenden proeven te doen om de robot slim te maken.

De auteurs van dit paper, een team van Stanford, hebben een slimme oplossing bedacht die twee problemen tegelijk oplost: hoe krijg je genoeg data zonder mensen? en hoe leer je de robot onder water te grijpen als je alleen proefjes op het land hebt gedaan?

Hier is hoe het werkt, vertaald in begrijpelijke termen:

1. De "Zelflerende" Robot (De Automaat)

Normaal gesproken moet een mens een robot onder water besturen om te laten zien hoe je iets vastpakt. Dat is als het proberen te leren zwemmen door iemand anders te laten duwen; het kost veel tijd en energie.

In dit project laat de robot zichzelf oefenen.

• De Analogie: Stel je voor dat je een hond traint om een bal te vangen. In plaats dat jij de bal gooit, laat je de hond zelf urenlang rennen, vallen, en proberen. Als hij de bal pakt, krijgt hij een beloning (een "succes-signal"). Als hij valt, staat hij gewoon op en probeert het opnieuw.
• In de praktijk: De robot doet onder water duizenden pogingen om objecten vast te grijpen. Als hij faalt, probeert hij een andere hoek of duwt hij het object even weg om het opnieuw te proberen. De computer kijkt alleen naar de momenten waarop het lukt en slaat die op. Zo heeft de robot binnen een paar uur duizenden "succesvolle" ervaringen, zonder dat een mens ook maar één keer de knoppen heeft hoeven indrukken.

2. De "Land-Op-Water" Bril (De Transfer)

Het grootste probleem is dat wat je op het land ziet, er heel anders uitziet dan onder water. Kleuren verdwijnen, het wordt groenig of blauw en wazig. Als je een robot alleen op onderwater-beelden traint, faalt hij zodra het licht verandert of als er een nieuw object is.

De oplossing is een bril die de wereld anders laat zien.

• De Analogie: Stel je voor dat je een chef-kok bent die een gerecht wil leren koken. Je kunt duizenden uren in de modderige keuken van een vissersboot proberen (onder water), of je kunt in een strakke, heldere keuken op het land oefenen met dezelfde ingrediënten.
• De slimme truc: De onderzoekers hebben een "handgrijper" (een interface) ontworpen die je op het land vasthoudt, alsof je een game-controller vasthoudt. Ze hebben hiermee duizenden keren geoefend om objecten vast te pakken.
• De "Diepte-Bril": Omdat kleuren onder water veranderen, kijken ze niet naar de kleur van het object, maar naar de vorm en afstand (diepte). Het is alsof je een zwart-witfoto van een object maakt. Een zwart-witfoto van een stoel op het land ziet er bijna hetzelfde uit als een zwart-witfoto van diezelfde stoel onder water.
• Het resultaat: De robot leert op het land waar hij moet grijpen (op basis van vorm/diepte). Omdat hij niet kijkt naar de verkleurde onderwater-kleuren, kan hij die kennis direct toepassen onder water, zonder opnieuw te hoeven leren. Dit noemen ze "zero-shot transfer": het werkt direct, zonder extra training.

3. De "Magische Kaart" (Affordance)

Hoe vertel je de robot precies wat hij moet pakken als er drie verschillende dingen op de zeebodem liggen?

• De Analogie: Stel je voor dat je een blindeman bent die een schat moet vinden. Iemand geeft je een kaart met een gloeiend rode stip op de plek waar de schat ligt. Je hoeft niet te kijken naar de rotsen of het zeewier; je volgt gewoon de gloeiende stip.
• In de praktijk: Het systeem maakt een "warmtekaart" (affordance heatmap) van de onderwaterwereld. Op deze kaart gloeit het object dat gepakt moet worden fel rood, en alles wat niet gepakt moet worden is donker. De robot kijkt niet naar de rommelige onderwaterwereld, maar volgt gewoon de gloeiende stip.

Wat leverde dit op?

De onderzoekers testten hun systeem in een zwembad en vonden drie geweldige dingen:

1. Minder menselijk werk: De robot leerde zichzelf, wat duizenden uren menselijke besturing bespaarde.
2. Robuustheid: Als je de achtergrond van het zwembad veranderde (bijvoorbeeld van blauw naar een houten patroon), faalde de robot die alleen naar kleuren keek. De robot met de "diepte-kaart" bleef perfect werken.
3. Nieuwe objecten: Ze legden objecten in het water die de robot nooit eerder had gezien (zoals een blikje of een boormachine), maar die hij wel op het land had geoefend. Omdat hij leerde op basis van vorm (diepte) en niet op basis van specifieke onderwater-kleuren, kon hij deze nieuwe objecten direct vastpakken.

Kortom: Door te leren op het land met een speciale "diepte-bril" en door de robot zelf te laten oefenen onder water, hebben ze een systeem gemaakt dat onder water kan grijpen, zelfs als het donker, troebel of vol verrassingen is. Het is alsof ze de robot een superkracht hebben gegeven: het vermogen om te zien wat echt belangrijk is, ongeacht hoe rommelig de omgeving eruitziet.

Technische samenvatting

Probleemstelling

Robotische manipulatie onder water is cruciaal voor toepassingen zoals ecologische bemonstering, het verwijderen van afval en inspectie van infrastructuur. Echter, het bereiken van robuuste autonomie is extreem uitdagend vanwege:

1. Perceptuele degradatie: Onderwaterbeelden lijden onder golflengte-afhankelijke attenuatie, verstrooiing, troebelheid en snel veranderende verlichting (caustiek), wat de uiterlijke verschijning van objecten drastisch verandert, zelfs binnen dezelfde omgeving.
2. Hoge kosten van datacollectie: Het verzamelen van diverse, hoogwaardige demonstraties voor onderwaterrobots vereist doorgaans menselijke teleoperatie, wat tijdrovend, duur en risicovol is.
3. Hydrodynamische complexiteit: Interacties worden bemoeilijkt door stroming en de koppeling tussen het voertuig en het object.
4. Generalisatieproblemen: Bestaande visuele motorische beleidslijnen (policies) zijn vaak breekbaar bij distributieveranderingen (bijv. nieuwe achtergronden of objecten) en kunnen niet eenvoudig worden getransfereerd van land naar water.

Methodologie

Het paper introduceert UMI-Underwater, een systeem dat twee pijlers combineert om deze knelpunten aan te pakken: een zelftoezichtende (self-supervised) datacollectiepijplijn en een domeinoverschrijdende overdracht van kennis via "affordance"-kaarten.

1. Zelftoezichtende Datacollectie (Autonome Pijplijn)

In plaats van teleoperatie gebruikt het systeem een autonome, heuristische controller om succesvolle grijpbeurten te genereren:

• Proces: De robot (een ROV) voert een gefaseerde routine uit: uitlijning van de yaw, nadering, diepte-aanpassing en grijpen.
• Validatie: Grijpsucces wordt automatisch geverifieerd door een "drag-test" (de robot trekt het object 3 seconden; als het niet loslaat, is het een succes).
• Herstelmechanismen: Bij mislukkingen voert de robot herstelgedrag uit, zoals opnieuw grijpen (re-grasp) met een laterale offset of terugtrekken bij een te grote nadering (overshoot).
• Resultaat: Dit systeem heeft 536 autonome grijpbeurten verzameld in een zwembad, waarvan 233 succesvol waren, zonder menselijke teleoperatie tijdens de collectie.

2. UMI-Aquatic en Land-naar-Water Transfer

Om de data-efficiëntie te maximaliseren en de domein-kloof te overbruggen, wordt een hybride aanpak gebruikt:

• UMI-Aquatic: Een handbediende interface (afgeleid van de Universal Manipulation Interface) wordt gebruikt om diverse demonstraties op het land te verzamelen. Deze interface bevat een iPhone-camera en AprilTags voor nauwkeurige tracking van de grijper.
• Affordance-voorspelling: In plaats van een eind-tot-eind RGB-beleid te trainen, wordt een dieptegedreven affordance-model getraind op de land-data. Dit model voorspelt een "grijp-warmtekaart" (affordance heatmap) die aangeeft waar een object gegrepen kan worden.
• Zero-shot Overdracht: Het model wordt uitsluitend getraind op land-data (geen gemengde training of fine-tuning). Door gebruik te maken van diepte in plaats van RGB als invoer, wordt de kloof in verlichting en kleur tussen land en water overbrugd. Geometrische warping zorgt ervoor dat de land-data visueel overeenkomt met de onderwatercamera.

3. Visuele Motorische Beleid (Diffusion Policy)

• Een diffusion policy wordt getraind op de autonome onderwaterdata.
• Invoer: Het beleid conditioneert op drie modaliteiten:
  1. De voorspelde affordance-warmtekaart (die het doel aangeeft).
  2. Monoculaire dieptekaarten (afgeleid van RGB).
  3. Robot proprioceptie (kompas, pitch, diepte).
• Doel: Het beleid genereert een reeks acties (yaw, vooruit/achteruit, op/af, links/rechts, open/sluiten) om het doelobject te grijpen en vast te houden.

Kernbijdragen

1. Zelftoezichtende Onderwater Datacollectie: Een praktische pijplijn die autonome grijpbeurten verzamelt met herstelgedrag en automatische succesfiltering, waardoor de afhankelijkheid van teleoperatie wordt geëlimineerd.
2. Affordance als Domein-Interface: Een doel-geconditioneerde, dieptegedreven affordance-voorspeller die is getraind op land-data (UMI-Aquatic) en zero-shot wordt overgedragen naar onderwater. Dit overbrugt de perceptuele kloof zonder fine-tuning.
3. Robuustheid en Generalisatie: Het systeem demonstreert superioriteit in generalisatie naar onbekende achtergronden en nieuwe objecten die alleen in de land-dataset zijn gezien.

Resultaten

De methode werd geëvalueerd in een zwembad met drie scenario's:

1. In-distributie (ID): Bij bekende objecten en achtergronden behaalde het model (DP + Aff + Depth) een succespercentage van 85%, vergeleken met 65% voor een RGB-only baseline. De RGB-baseline faalde vaak door verwarring tussen meerdere objecten (doelverwarring), terwijl de affordance-kaart het doel expliciet markeerde.
2. Visuele Generalisatie (Onbekende Achtergronden): Bij het veranderen van de achtergrond van het zwembad (bijv. van blauw naar houtnerfpatroon) faalde de RGB-only policy volledig (0% succes). Het voorgestelde model behield een hoge robuustheid (80% succes), omdat diepte en affordance minder gevoelig zijn voor achtergrondtextuur.
   • Belangrijke bevinding: Het toevoegen van RGB aan het robuuste model (DP + RGB + Aff + Depth) leidde zelfs tot een crash naar 0%, wat aantoont dat RGB onder sterke visuele verschuivingen de robuustheid kan ondermijnen.
3. Generalisatie naar Nieuwe Objecten (Zero-shot): Bij objecten die alleen in de land-dataset voorkwamen (bijv. een kan, een blik, een boor), maar niet in de onderwatertrainingsdata, behaalde het model 75% succes. De RGB-only baseline (getraind op onderwaterdata) behaalde slechts 50%. Dit toont aan dat affordance-kennis van het land effectief kan worden overgedragen naar nieuwe onderwaterobjecten.

Betekenis en Conclusie

UMI-Underwater biedt een baanbrekende oplossing voor de beperkingen van onderwaterrobotica door:

• De menselijke last bij datacollectie drastisch te verminderen via autonome, zelftoezichtende systemen.
• Een nieuwe paradigma te introduceren waarbij land-data wordt gebruikt om onderwaterbeleid te sturen, zonder dat er onderwaterdemonstraties nodig zijn voor het trainen van de perceptuele component.
• Het aantonen dat het scheiden van "waar grijpen" (affordance/diepte) en "hoe bewegen" (diffusion policy) leidt tot superieure generalisatie en robuustheid in uitdagende, veranderende omgevingen.

De auteurs merken op dat toekomstig werk zich moet richten op het verbeteren van de lage-niveau besturing (bijv. MPC in plaats van PID) om overshoot te verminderen, en op het integreren van kleur- en textuurgegevens op een manier die de domein-robustheid behoudt.