UMI-Underwater: Learning Underwater Manipulation without Underwater Teleoperation

Il paper introduce UMI-Underwater, un sistema che supera le difficoltà della manipolazione sottomarina combinando la raccolta autonoma di dati con il trasferimento di conoscenze da dimostrazioni terrestri tramite una rappresentazione basata sulla profondità, permettendo così un'afferramento zero-shot robusto e generalizzabile senza necessità di teleoperazione sottomarina.

L'essenziale

Immagina di dover insegnare a un robot sottomarino come afferrare oggetti sul fondo dell'oceano. È come cercare di imparare a cucinare in una cucina che cambia colore ogni secondo, dove l'acqua è torbida e non puoi vedere bene nulla. Inoltre, mandare un umano a guidare il robot sott'acqua è costosissimo e faticoso.

Gli autori di questo studio hanno risolto il problema con due trucchi magici: un robot che si allena da solo e un "cervello" che impara sulla terraferma per funzionare sott'acqua.

1. Il Problema: L'Oceano è un incubo per i robot

Sott'acqua, la luce cambia, i colori svaniscono e l'acqua fa da "filtro" che distorce tutto. Se provi ad addestrare un robot mostrandogli solo video sottomarini, ci vorrebbero anni e milioni di dollari per raccogliere abbastanza esempi. Inoltre, se il robot sbaglia, spesso si blocca o perde l'oggetto, rendendo difficile imparare dagli errori.

2. La Soluzione: Due Superpoteri

Superpotere A: Il Robot "Auto-Allenante" (Nessun pilota umano!)

Invece di avere un umano che guida il robot con un joystick (teleoperazione), gli autori hanno creato un sistema che fa da "allenatore" al robot.

• Come funziona: Immagina un bambino che impara a prendere una palla. All'inizio sbaglia, la lascia cadere, la rincorre e riprova. Il robot fa lo stesso: prova ad afferrare un oggetto. Se ci riesce, il sistema dice "Bravo, salva questo movimento!". Se sbaglia, il robot fa un piccolo passo indietro, si sposta di lato e riprova (una strategia chiamata re-grasp).
• Il risultato: Il robot raccoglie centinaia di tentativi di successo da solo, in piscina, senza che nessun umano debba guidarlo. È come se il robot avesse un coach che gli dice: "Quello è stato un buon movimento, ripetilo!", mentre gli altri vengono scartati.

Superpotere B: Il "Cervello" che viaggia dalla Terra all'Acqua (UMI-Aquatic)

Qui sta la parte più geniale. Invece di addestrare il robot sott'acqua (dove è difficile vedere), gli autori gli hanno insegnato sulla terraferma.

• L'idea: Hanno usato una pinza manuale (come un piccolo artiglio robotico) collegata a un iPhone. Una persona ha afferrato oggetti vari (anatre di gomma, rocce, lattine) camminando per casa o in giardino.
• Il trucco della "Mappa di Affordance": Invece di insegnare al robot come muovere le braccia (che è difficile perché l'acqua è diversa dall'aria), hanno insegnato al robot DOVE guardare.
  • Immagina di avere una mappa termica (una mappa di calore) che ti dice: "Qui c'è un punto perfetto per afferrare".
  • Hanno addestrato questo "sensore di punti di afferrata" usando solo i video fatti sulla terraferma.
  • Poi, quando il robot è sott'acqua, usa questa stessa mappa. Anche se l'acqua è torbida e i colori sono strani, la forma e la profondità degli oggetti restano simili. Il robot pensa: "Ah, sulla terraferma ho imparato che quel punto è buono per afferrare, quindi lo provo anche qui sott'acqua".

3. Perché funziona meglio degli altri?

Gli altri robot usano solo la "vista" (RGB, cioè i colori). È come cercare di guidare di notte con gli occhiali da sole colorati: se cambia la luce o lo sfondo, il robot va in tilt.

Il loro sistema usa invece la profondità (quanto è lontano l'oggetto) e la mappa di afferrata.

• Analogia: È come se invece di guardare i colori di un oggetto per capire come prenderlo, guardassi la sua ombra o la sua sagoma. L'ombra non cambia se l'acqua è verde o marrone, quindi il robot non si confonde mai.

4. I Risultati: Un Robot "Poliglotta"

Hanno fatto degli esperimenti in una piscina:

1. Oggetti nuovi: Hanno mostrato al robot oggetti che non aveva mai visto sott'acqua (come una caffettiera o un trapano), ma che aveva "visto" solo sulla terraferma durante l'addestramento. Il robot li ha afferrati perfettamente!
2. Sfondi diversi: Hanno cambiato le pareti della piscina (da blu a motivi legnosi). I robot normali si sono persi e hanno fallito al 100%. Il loro robot ha continuato a funzionare perché non si fidava dei colori, ma delle forme e delle distanze.

In sintesi

Questo paper ci dice che per far funzionare i robot sott'acqua non serve mandare più umani a guidarli. Serve invece:

1. Lasciarli sbagliare e riprovare da soli finché non imparano.
2. Insegnar loro dove guardare usando dati semplici presi sulla terraferma, così possono adattarsi all'acqua senza bisogno di essere riaddestrati.

È come se avessimo dato al robot un "senso di orientamento" che funziona sia sulla sabbia che sotto l'acqua, rendendolo molto più intelligente e indipendente.

Sommario tecnico

1. Il Problema

La manipolazione robotica sott'acqua è fondamentale per applicazioni come il campionamento ecologico, la rimozione di detriti e l'ispezione delle infrastrutture. Tuttavia, l'autonomia robusta rimane una sfida significativa a causa di:

• Degradazione percettiva: Immagini sott'acqua caratterizzate da attenuazione dipendente dalla lunghezza d'onda, scattering, torbidità e illuminazione variabile, che causano grandi spostamenti nell'aspetto visivo anche nello stesso ambiente.
• Costo dei dati: La raccolta di dimostrazioni di manipolazione di alta qualità sott'acqua è estremamente costosa e laboriosa, richiedendo tipicamente il telecontrollo umano (teleoperazione), che è lento e soggetto a errori.
• Fragilità dei modelli: Le politiche visuomotori end-to-end tendono a essere fragili di fronte a cambiamenti nella distribuzione dei dati (es. nuovi oggetti o sfondi diversi) e faticano a generalizzare dai dati terrestri a quelli sottomarini.

2. Metodologia

Il sistema proposto, UMI-Underwater, affronta queste sfide attraverso due pilastri principali: una pipeline di raccolta dati autonoma e auto-supervisionata e un metodo di trasferimento della conoscenza basato su "affordance" (possibilità d'azione) che salta il divario tra terra e acqua.

A. Raccolta Dati Auto-Supervisionata (Sott'acqua)

Per eliminare la dipendenza dal telecontrollo umano, gli autori hanno sviluppato una pipeline autonoma che raccoglie dimostrazioni di presa di successo:

• Controllore Euristico: Un controller PD visivo-servoing guida il ROV (Veicolo Sottomarino Remoto) attraverso fasi sequenziali: allineamento del yaw, avvicinamento in avanti, regolazione della profondità e chiusura della pinza.
• Validazione del Successo: Il successo non viene etichettato manualmente, ma determinato tramite un "drag verification": dopo la chiusura della pinza, il robot esegue una breve manovra di trascinamento. Se l'oggetto rimane nella pinza per 3 secondi, l'episodio è considerato un successo.
• Meccanismi di Recupero: Il sistema include strategie di recupero automatico per fallimenti, come il "re-grasp" (ritentare con un offset laterale) e il "backup" (ritirarsi se l'oggetto esce dal campo visivo a causa di effetti idrodinamici).
• Risultato: Questa pipeline ha raccolto 536 dimostrazioni in circa 15 ore di runtime autonomo, di cui 233 sono state utilizzate per l'addestramento.

B. Interfaccia UMI-Aquatic e Trasferimento Zero-Shot

Per colmare il divario tra terra e acqua senza addestramento misto o fine-tuning:

• UMI-Aquatic: Viene utilizzata una versione modificata dell'interfaccia manuale universale (UMI), dotata di una fotocamera iPhone e tag AprilTag per tracciare lo stato della pinza. Questo permette di raccogliere rapidamente 800 dimostrazioni di presa su terra (con oggetti come rocce, alghe, anatre giocattolo, ma anche oggetti nuovi come brocche e trapani).
• Predittore di Affordance basato sulla Profondità: Viene addestrato un modello per prevedere mappe di calore (heatmap) di affordance (dove afferrare) utilizzando solo dati di profondità (ottenuti da Depth Anything V2) e non RGB.
  • Perché la profondità? L'input RGB subisce cambiamenti drastici di colore e illuminazione tra terra e acqua. La profondità è più robusta a questi cambiamenti.
  • Allineamento Geometrico: Le immagini terrestri vengono "warped" (deformate geometricamente) per corrispondere alla geometria della telecamera subacquea, permettendo un trasferimento zero-shot.
• Politica Visuomotoria (Diffusion Policy): Una politica basata su diffusione (Diffusion Policy) viene addestrata sui dati sottomarini raccolti autonomamente. Questa politica condiziona le sue azioni non solo sulla profondità e sulla propriocezione, ma anche sulla mappa di affordance generata dal modello pre-addestrato su dati terrestri.

3. Contributi Chiave

1. Pipeline di raccolta dati auto-supervisionata: Un sistema pratico che raccoglie dimostrazioni di presa sottomarine autonome, riducendo drasticamente il carico umano e la necessità di teleoperazione.
2. Interfaccia di percezione cross-dominio (Affordance Heatmaps): Un predittore di affordance condizionato all'obiettivo, addestrato su dati terrestri (UMI-Aquatic) e basato sulla profondità. Questo permette un trasferimento zero-shot da terra ad acqua senza bisogno di dati misti o ri-addestramento.
3. Valutazione di Robustezza e Trasferimento: Dimostrazione sperimentale che l'approccio supera i baselines basati solo su RGB, specialmente in scenari di generalizzazione a nuovi oggetti e sfondi non visti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti in una piscina con tre scenari di valutazione:

• Distribuzione In-Identica (ID): Su oggetti visti durante l'addestramento con lo stesso sfondo.
  • Risultato: La politica DP + Aff + Depth ha raggiunto un 85% di successo, contro il 65% del baseline basato solo su RGB. L'affordance aiuta a risolvere la confusione tra oggetti multipli.
• Generalizzazione Visiva (Sfondi Non Visti): Oggetti noti ma con sfondi della piscina completamente diversi (es. carta da parati con texture).
  • Risultato: Le politiche basate su RGB sono fallite catastroficamente (0% di successo) a causa dello spostamento di distribuzione visiva. La politica DP + Aff + Depth ha mantenuto un'alta robustezza (80%), dimostrando che l'uso della profondità e dell'affordance ignora le variazioni di sfondo.
• Generalizzazione a Oggetti Nuovi (Zero-Shot): Oggetti mai visti sott'acqua (presi solo dal dataset terrestre UMI, come brocche e trapani).
  • Risultato: La politica con affordance ha ottenuto un 75% di successo, superando significativamente il baseline RGB (50%). Ciò dimostra che la conoscenza delle affordance appresa su terra si trasferisce efficacemente a nuovi oggetti sott'acqua.

5. Significato e Conclusioni

Questo lavoro rappresenta un passo avanti significativo verso l'autonomia robotica sottomarina:

• Riduzione del Carico Umano: Sostituisce la costosa teleoperazione con una raccolta dati autonoma e auto-supervisionata.
• Superamento del Divario Terra-Acqua: Dimostra che è possibile trasferire competenze di manipolazione da ambienti terrestri a quelli sottomarini senza raccogliere dati sottomarini specifici per ogni nuovo oggetto, sfruttando rappresentazioni robuste basate sulla profondità.
• Robustezza Ambientale: L'approccio è intrinsecamente robusto ai cambiamenti di illuminazione, colore e sfondo, problemi critici per i sistemi robotici sottomarini.

Limitazioni e Lavori Futuri:
Il sistema dipende dalla qualità della stima della profondità monocular (che può essere rumorosa) e ignora le informazioni cromatiche utili in alcuni contesti. Inoltre, il controllo di basso livello (PID) può causare overshoot che portano a errori di selezione dell'obiettivo. Futuri lavori potrebbero integrare fusioni profondità-RGB robuste al dominio e controller dinamici (es. MPC) per migliorare la precisione del movimento.