UMI-Underwater: Learning Underwater Manipulation without Underwater Teleoperation

Ce papier présente UMI-Underwater, un système qui apprend la manipulation sous-marine sans téléopération en collectant automatiquement des démonstrations et en transférant des connaissances terrestres via une représentation d'affordance basée sur la profondeur pour surmonter les défis visuels et généraliser à de nouveaux objets.

L'essentiel

🌊 UMI-Underwater : Apprendre à un robot à pêcher sans se mouiller (et sans humain)

Imaginez que vous voulez apprendre à un robot sous-marin à attraper des objets au fond de l'océan. C'est un cauchemar pour deux raisons principales :

1. L'eau est une mauvaise caméra : La lumière se dégrade, les couleurs disparaissent, et tout semble flou ou vert. C'est comme essayer de conduire une voiture avec des lunettes de soleil épaisses et dans un brouillard épais.
2. C'est trop cher et long : Pour entraîner un robot, il faut généralement un humain qui le télécommande depuis la surface. Mais rester sous l'eau à manipuler des objets est lent, fatiguant et coûteux.

Les chercheurs de Stanford ont inventé une solution intelligente, qu'ils appellent UMI-Underwater. Voici comment ça marche, en utilisant des analogies simples.

---

1. Le Robot "Apprend tout seul" (La Pêche Automatique) 🤖

Au lieu d'avoir un humain qui tire sur des manettes pour chaque tentative, le robot a son propre réflexe de survie.

• L'analogie du chien qui apprend : Imaginez un chiot qui essaie d'attraper une balle. S'il rate, il ne pleure pas et s'arrête. Il recule, essaie un autre angle, et réessaie.
• La réalité du robot : Le robot plonge, essaie de saisir un objet. S'il rate (l'objet glisse), il ne s'arrête pas. Il a un programme "récupération" : il recule, se décale un peu sur le côté, et réessaie.
• Le tri automatique : À la fin de chaque tentative, le robot se demande : "Est-ce que j'ai bien tenu l'objet ?". Si oui, il garde cette expérience comme une leçon. Si non, il l'oublie.
• Le résultat : En quelques heures, le robot a accumulé des centaines d'heures d'entraînement, sans qu'un humain n'ait besoin de le guider à chaque seconde. C'est comme si le robot apprenait à nager en se débattant tout seul dans la piscine.

2. Le "Super-Héros" qui voit à travers l'eau (Le Transfert Terre-Eau) 🦸‍♂️

C'est ici que la magie opère. Le robot doit apprendre à saisir des objets, mais l'eau rend les images illisibles. Comment faire ?

• Le problème : Si vous entraînez un robot uniquement sous l'eau, il ne comprendra que les objets qu'il a vus sous l'eau, dans des conditions d'eau spécifiques.
• La solution ingénieuse : Les chercheurs ont utilisé un gripière à main (comme une pince tenue par un humain) sur la terre ferme (dans un laboratoire sec).
  • Ils ont filmé des humains attrapant des objets (rochers, canettes, jouets) avec une caméra iPhone.
  • Ils ont créé une carte spéciale appelée "Affordance". Imaginez une carte thermique (en rouge et bleu) qui indique exactement où il faut pincer un objet pour le saisir, peu importe la couleur ou la lumière.
• Le pont invisible : Le robot a appris à lire cette "carte thermique" sur la terre ferme. Ensuite, ils ont plongé le robot sous l'eau.
  • Le secret : Au lieu de regarder les couleurs (qui changent sous l'eau), le robot regarde la forme et la profondeur (la géométrie).
  • L'analogie : C'est comme si vous appreniez à conduire une voiture en regardant uniquement les lignes blanches de la route (la géométrie) plutôt que les panneaux de signalisation colorés. Que la route soit sous la pluie, sous la neige ou en plein soleil, les lignes blanches restent les mêmes. Le robot utilise cette logique : "Peu importe si l'objet est rouge ou vert, la forme de la prise est la même".

3. Le Cerveau du Robot (La Politique de Diffusion) 🧠

Une fois que le robot a la "carte thermique" (où saisir) et qu'il voit la profondeur, il doit décider comment bouger ses bras.

• Ils ont utilisé une intelligence artificielle appelée Diffusion Policy.
• L'analogie du sculpteur : Imaginez un bloc de pierre brut (le mouvement aléatoire). Le robot "sculpte" ce mouvement pas à pas, en effaçant le bruit et le chaos, jusqu'à ce qu'il reste un mouvement fluide et parfait pour attraper l'objet.
• Grâce à la "carte thermique" apprise sur la terre, ce cerveau fonctionne immédiatement sous l'eau, même sur des objets qu'il n'a jamais vus auparavant (comme une canette ou une perceuse), sans avoir besoin de réapprendre.

---

🏆 Les Résultats : Pourquoi c'est génial ?

Les chercheurs ont testé leur système dans une piscine avec trois défis :

1. Le test classique : Attraper des objets connus.
   • Résultat : Le robot a réussi 85% du temps, contre 65% pour les méthodes classiques. Il ne se trompe plus de cible.
2. Le test du décor changeant : Changer le fond de la piscine (ajouter des motifs de bois, etc.).
   • Résultat : Les robots classiques (qui regardent les couleurs) ont échoué à 100%. Ils étaient perdus par le nouveau décor. Notre robot, lui, a réussi 80% du temps car il regarde la forme, pas le décor.
3. Le test des objets inconnus : Mettre dans la piscine des objets qu'il n'a jamais vus sous l'eau (un pichet, une canette), mais qu'il a vus sur la terre ferme.
   • Résultat : Le robot a réussi 75% du temps. Il a su transférer son apprentissage de la terre à l'eau sans aucune aide supplémentaire.

En résumé 🎯

Ce papier nous dit que pour faire avancer la robotique sous-marine, il faut arrêter de tout faire sous l'eau.

1. Laissez le robot s'entraîner tout seul (avec des tentatives et des erreurs) pour éviter de fatiguer les humains.
2. Enseignez-lui les bases sur la terre ferme (où c'est facile et clair) en lui apprenant à voir la "forme" des choses plutôt que leurs couleurs.
3. Lancez-le sous l'eau : Il utilisera cette connaissance géométrique pour naviguer dans le brouillard et attraper des objets, même s'il ne les a jamais vus sous l'eau.

C'est une façon intelligente de dire : "Pour naviguer dans l'inconnu, mieux vaut apprendre les règles du jeu dans un environnement calme, puis les appliquer dans la tempête."

Résumé technique

1. Problématique

La manipulation robotique sous-marine fait face à des défis majeurs qui entravent le développement de l'autonomie :

• Dégradation visuelle sévère : Les images sous-marines sont affectées par l'atténuation des longueurs d'onde, la rétrodiffusion (backscatter), la turbidité et des changements rapides d'éclairage, rendant les politiques visuomotrices basées sur la couleur (RGB) fragiles face aux changements de distribution.
• Coût de la collecte de données : La téléopération sous-marine est coûteuse, lente et physiquement éprouvante. Collecter un ensemble de données diversifié et de haute qualité pour l'apprentissage par démonstration est un goulot d'étranglement pratique.
• Fossé de domaine (Land-to-Water) : Les démonstrations humaines effectuées à terre ne se transfèrent pas directement aux robots sous-marins en raison des différences radicales d'apparence visuelle et de dynamique.

L'objectif de l'article est de surmonter ces obstacles en créant un système capable de collecter des données de manière autonome et de transférer la connaissance de la manipulation de la terre vers l'eau sans téléopération ni réentraînement (zero-shot).

2. Méthodologie

L'approche proposée, nommée UMI-Underwater, repose sur deux piliers complémentaires : une collecte de données auto-supervisée et une représentation d'affordance basée sur la profondeur.

A. Collecte de données auto-supervisée sous-marine

Pour éliminer la dépendance à la téléopération, les auteurs ont développé un pipeline autonome :

• Contrôleur heuristique : Un contrôleur visuo-servoing (PD) guide le robot (ROV) à travers des étapes séquentielles : alignement de l'axe Yaw, approche avant, ajustement de la profondeur, et fermeture de la pince.
• Validation et récupération : La réussite d'une prise est validée par une « vérification de traînée » (drag verification) : le robot recule brièvement ; si l'objet ne glisse pas, la tentative est marquée comme un succès.
• Mécanismes de récupération : En cas d'échec (mauvaise prise ou perte de vue due à l'hydrodynamisme), le système exécute automatiquement des comportements de récupération (reprise de la prise avec un décalage latéral, recul pour réacquérir la cible).
• Résultat : Ce pipeline a permis de collecter 536 tentatives de prise (dont 233 réussies) dans une piscine, avec une intervention humaine minimale.

B. Interface UMI-Aquatic et Transfert Zero-Shot

Pour pallier le manque de données sous-marines et le fossé visuel, l'équipe utilise des démonstrations à terre :

• UMI-Aquatic : Une interface de manipulation portable dérivée de l'UMI (Universal Manipulation Interface), équipée d'un iPhone et d'une pince manuelle. Elle permet de collecter rapidement des démonstrations à terre.
• Représentation d'Affordance basée sur la Profondeur : Au lieu d'utiliser le RGB (sensible aux changements de couleur et de lumière), le modèle prédit une carte d'affordance (heatmap) basée sur la profondeur monocular.
  • Le modèle est entraîné sur les données UMI-Aquatic (terre) en utilisant des cartes de points de contact automatiquement étiquetées via le suivi de marqueurs AprilTags.
  • Pour combler le fossé géométrique, les images de terre sont recalées (warping) pour correspondre à la géométrie de la caméra sous-marine.
  • Transfert Zero-Shot : Le modèle d'affordance entraîné sur terre est déployé directement sous l'eau sans aucun réentraînement ni mélange de données.

C. Politique Visuo-motrice (Diffusion Policy)

• Une politique de diffusion est entraînée sur les données de prise sous-marines collectées de manière autonome.
• Entrées : La politique conditionne ses actions sur la carte d'affordance prédite (qui indique où saisir), la carte de profondeur monocular, et l'état proprioceptif du robot.
• Sortie : Elle génère une trajectoire d'actions (déplacement et ouverture/fermeture de la pince) sur un horizon court, exécutée de manière récurrente.

3. Contributions Clés

1. Pipeline de collecte auto-supervisée : Une méthode pratique pour générer des démonstrations de prise sous-marines réussies sans téléopération humaine, utilisant des comportements de récupération et un filtrage automatique de la réussite.
2. Interface d'affordance inter-domaine : L'utilisation de cartes d'affordance basées sur la profondeur, entraînées sur des données de manipulation à terre (via UMI-Aquatic), permettant un transfert zero-shot de la terre vers l'eau. Cela élimine le besoin de données d'entraînement sous-marines pour la localisation de la cible.
3. Évaluation de robustesse et de transfert : Démonstration que cette approche surpasse les méthodes basées uniquement sur le RGB, notamment dans des conditions de changement de fond visuel et de généralisation à de nouveaux objets jamais vus sous l'eau.

4. Résultats Expérimentaux

Les expériences ont été menées dans une piscine avec trois scénarios d'évaluation :

• Performance In-Distribution (ID) : Sur des objets vus pendant l'entraînement avec le fond de la piscine d'origine.
  • Résultat : La méthode proposée (DP + Aff + Depth) atteint 85 % de réussite, contre 65 % pour la méthode de référence basée uniquement sur le RGB. L'affordance aide à éviter la confusion entre plusieurs objets.
• Généralisation Visuelle (Changement de fond) : Avec des fonds de piscine nouveaux (motifs en bois, etc.).
  • Résultat : La méthode basée sur le RGB tombe à 0 % de réussite (échec catastrophique dû au changement de distribution visuelle). La méthode proposée maintient 80 % de réussite, prouvant la robustesse de l'affordance basée sur la profondeur face aux changements d'apparence.
• Généralisation aux Nouveaux Objets (Zero-Shot) : Utilisation d'objets présents uniquement dans les données de terre (UMI) mais jamais vus sous l'eau.
  • Résultat : La méthode proposée atteint 75 % de réussite, contre 50 % pour la méthode RGB. Cela démontre que l'affordance apprise à terre se transfère efficacement pour guider la prise d'objets inconnus sous l'eau.

Analyse des échecs : La principale limite observée est un changement de cible involontaire si le robot dépasse sa cible (overshoot), ce qui modifie la vue et trompe le modèle d'affordance. Cela suggère un besoin d'un contrôle de bas niveau plus précis (ex: MPC).

5. Signification et Impact

Ce travail représente une avancée significative pour la robotique sous-marine autonome :

• Réduction de la charge humaine : Il démontre qu'il est possible de former des politiques de manipulation complexes sans téléopération coûteuse, en combinant collecte autonome et démonstrations à terre.
• Robustesse aux conditions réelles : En privilégiant la géométrie (profondeur) et les affordances plutôt que l'apparence (couleur), le système devient robuste aux variations environnementales typiques du milieu sous-marin (turbidité, éclairage).
• Scalabilité : L'approche permet d'exploiter la richesse des données de manipulation à terre pour résoudre des tâches sous-marines, ouvrant la voie à des systèmes plus capables pour l'inspection d'infrastructures, le nettoyage de débris et l'échantillonnage écologique, sans nécessiter de vastes campagnes de collecte de données sous l'eau.