UMI-Underwater: Learning Underwater Manipulation without Underwater Teleoperation

El artículo presenta UMI-Underwater, un sistema que supera las dificultades de la manipulación submarina mediante la recolección autónoma de demostraciones y la transferencia de conocimientos desde datos terrestres utilizando una representación de affordance basada en profundidad, logrando así un agarre robusto y generalizable sin necesidad de teleoperación bajo el agua.

Lo esencial

¡Claro que sí! Imagina que quieres enseñarle a un robot a recoger objetos del fondo del mar, pero hay un gran problema: el agua es un lugar muy difícil para los robots.

Piensa en esto:

1. La visión es mala: El agua es como una niebla espesa, cambia de color, hay burbujas y la luz se comporta de forma extraña. Para un robot, ver bajo el agua es como intentar leer un libro con los ojos cerrados y una linterna parpadeante.
2. Es caro y lento: Para enseñarle al robot, normalmente necesitas un humano que lo controle con un mando a distancia (teleoperación) desde un barco. Pero hacerlo es peligroso, cansado y muy costoso.

Los autores de este paper (llamado UMI-Underwater) tienen una solución brillante que combina dos ideas geniales para resolver estos problemas. Aquí te lo explico con una analogía sencilla:

La Idea Principal: "El Chef y el Entrenador"

Imagina que el robot es un chef novato que nunca ha cocinado bajo el agua.

1. El Entrenador (UMI-Aquatic): Aprender en tierra firme

En lugar de obligar al chef a practicar en el mar (donde se ahogaría o se frustraría), los investigadores crearon un gripero portátil (como un control de videojuego con una cámara) que usan en tierra firme.

• La magia: Un humano toma este control y "simula" agarrar objetos (como una taza, una lata o un juguete) en su sala de estar.
• El truco: El robot no aprende a "ver" colores bajo el agua. En su lugar, aprende a ver la forma y la profundidad (como si fuera un mapa 3D en blanco y negro).
• El resultado: El robot aprende dónde agarrar las cosas basándose en su forma, no en su color. Como la forma de una taza es la misma en la tierra que bajo el agua, el robot puede transferir ese conocimiento instantáneamente (sin necesidad de volver a entrenar) al mundo submarino. Es como si el chef aprendiera a cortar cebollas en casa y luego fuera al mar a cortarlas sin tener que volver a aprender.

2. El Chef (El Robot): Aprender solo en el mar

Ahora que el robot sabe dónde agarrar, necesita aprender cómo moverse en el agua.

• Autonomía: En lugar de que un humano controle el robot, este intenta agarrar cosas por sí mismo.
• El sistema de "Prueba y Error Inteligente": Si el robot falla (se le cae el objeto), no se rinde. Tiene un "plan B": se aleja un poco, se mueve a un lado y lo intenta de nuevo.
• El filtro de éxito: El robot solo guarda en su memoria los intentos que sí funcionaron. Si falla, lo borra. Así, el robot se vuelve más inteligente con el tiempo, acumulando miles de intentos exitosos sin que nadie tenga que estar mirándolo.

¿Por qué es tan especial?

Imagina que el robot tiene que agarrar un objeto entre tres que están en el fondo del mar, pero el fondo del mar cambia de color (de azul a un patrón de madera).

• Los robots antiguos (solo visión RGB): Se confunden. Si el fondo cambia, el robot piensa que el objeto ha cambiado y falla. Es como si intentaras encontrar una llave en la oscuridad y, si cambias la luz, ya no sabes dónde está.
• El nuevo robot (UMI-Underwater): No le importa el color del fondo ni si el agua está turbia. Solo mira la forma (la profundidad) y la señal de "agarrar aquí" que aprendió en tierra.
  • Resultado: Funciona incluso si nunca ha visto ese objeto antes bajo el agua, siempre que haya visto su forma en tierra.

En resumen, con una metáfora final:

Piensa en el robot como un buzo que usa gafas de realidad aumentada.

1. Las gafas (Affordance): Le muestran un "brillo" o una flecha sobre los objetos que son fáciles de agarrar. Estas gafas se calibraron en tierra firme, por lo que funcionan perfectamente bajo el agua sin necesidad de ajustes.
2. El entrenamiento (Auto-recopilación): El buzo practica solo en la piscina. Si se equivoca, se reincorpora y lo intenta de nuevo. Solo guarda en su diario los días que tuvo éxito.

¿Qué logran?

• Ahorro: Ya no necesitan humanos costosos controlando el robot todo el tiempo.
• Robustez: El robot no se confunde si el agua se vuelve turbia o si el fondo cambia de color.
• Generalización: Puede agarrar objetos nuevos (como una taladradora o una lata) que nunca vio bajo el agua, porque aprendió a agarrar "formas" en tierra.

Es una forma muy inteligente de decirle a un robot: "No te preocupes por el agua turbia ni por el color; solo mira la forma y sigue la flecha que te enseñamos en la tierra". ¡Y funciona!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "UMI-Underwater: Learning Underwater Manipulation without Underwater Teleoperation" en español:

1. El Problema

La manipulación robótica submarina es fundamental para tareas como el muestreo ecológico, la eliminación de escombros y la inspección de infraestructuras. Sin embargo, la autonomía robusta sigue siendo un desafío debido a:

• Degradación perceptiva: Imágenes de baja calidad causadas por atenuación de longitud de onda, dispersión, turbidez y cambios rápidos en la iluminación.
• Costo de datos: La recolección de demostraciones de alta calidad bajo el agua es extremadamente costosa y lenta, ya que la mayoría de los sistemas dependen de la teleoperación humana.
• Fragilidad de las políticas: Las políticas visomotoras de extremo a extremo suelen fallar ante cambios en la distribución (por ejemplo, diferentes fondos o iluminación) y tienen dificultades para generalizar a objetos no vistos durante el entrenamiento.

2. Metodología

El sistema propuesto, UMI-Underwater, aborda estos problemas mediante dos pilares principales: una colección de datos autónoma y una transferencia de conocimiento basada en "afordancias" (posibilidades de acción) desde tierra al agua.

A. Recolección de Datos Auto-supervisada (Sin Teleoperación)

En lugar de depender de un operador humano, el sistema utiliza un controlador heurístico para recolectar demostraciones de agarre de forma autónoma en una piscina:

• Pipeline de 6 etapas: El robot (ROV) alinea el guiñada (yaw), se acerca hacia adelante, ajusta la profundidad, se acerca a corta distancia, intenta el agarre y valida el éxito.
• Validación de éxito: En lugar de sensores externos, el sistema valida el agarre arrastrando el objeto durante 3 segundos; si no se resbala, se marca como éxito.
• Mecanismos de recuperación: Incluye estrategias de "re-agarre" (si falla, retrocede y lo intenta de nuevo con un offset lateral) y recuperación de "sobrepaso" (si el objeto sale del campo de visión, retrocede para volver a localizarlo).
• Resultado: Se recolectaron 536 demostraciones autónomas, de las cuales 233 exitosas se usaron para entrenar la política.

B. Interfaz UMI-Aquatic y Transferencia de Afordancias

Para superar la brecha entre tierra y agua, el equipo utiliza una interfaz portátil derivada de UMI (Universal Manipulation Interface):

• Recolección en tierra: Se utiliza un agarre manual con una cámara iPhone y etiquetas AprilTags para rastrear el estado del agarre. Esto permite recolectar 800 demostraciones en tierra de forma rápida y barata.
• Modelo de Afordancia basado en Profundidad: Se entrena un predictor de mapas de calor de afordancia (dónde agarrar) utilizando datos de profundidad (no RGB) obtenidos de las demostraciones en tierra.
  • Por qué profundidad: El RGB sufre cambios drásticos de color y luz bajo el agua, mientras que la geometría (profundidad) es más invariante.
  • Alineación geométrica: Se utiliza un proceso de "warping" (deformación) para alinear la perspectiva de la cámara del iPhone con la del robot submarino, permitiendo una transferencia zero-shot (sin entrenamiento mixto ni ajuste fino).
• Política Visomotora (Diffusion Policy): Se entrena una política de difusión que toma como entrada:
  1. El mapa de calor de afordancia predicho (que indica el objetivo).
  2. El mapa de profundidad monoculares.
  3. Señales de propiocepción del robot.
     Esta política genera trayectorias de acción para ejecutar el agarre.

3. Contribuciones Clave

1. Pipeline de recolección auto-supervisada: Un sistema práctico que elimina la necesidad de teleoperación humana para escalar la recolección de datos de agarre submarino, utilizando comportamientos de recuperación y filtrado automático de éxitos.
2. Interfaz de percepción de afordancias cruzada: Un predictor de afordancias basado en profundidad entrenado exclusivamente con datos en tierra (UMI-Aquatic) que se transfiere al entorno submarino de forma zero-shot, superando la brecha de dominio sin necesidad de datos etiquetados bajo el agua para la etapa de localización.
3. Evaluación de robustez y transferencia: Demostración de que el enfoque supera a las baselines basadas solo en RGB en escenarios de generalización a objetos nuevos y cambios drásticos en el fondo.

4. Resultados Experimentales

Los experimentos se realizaron en una piscina con tres configuraciones de evaluación:

• Distribución Inicial (ID): Objetos vistos durante el entrenamiento en el fondo original.
  • Resultado: La política con afordancias y profundidad (DP + Aff + Depth) logró un 85% de éxito, superando a la baselines solo RGB (65%). La baselines RGB falló principalmente por confundir objetivos en escenas con múltiples objetos.
• Generalización Visual (Fondo no visto): Objetos vistos, pero con fondos de pared nuevos (texturas de madera, etc.).
  • Resultado: La política solo RGB colapsó al 0% de éxito debido a la sensibilidad a los cambios de color/textura. La política con afordancias mantuvo un 80% de éxito, demostrando robustez ante cambios de apariencia.
• Generalización a Objetos Nuevos (Zero-shot): Objetos que nunca se vieron bajo el agua (solo en datos de tierra), como una jarra o una taladradora.
  • Resultado: La política con afordancias logró un 75% de éxito, mientras que la baselines solo RGB (entrenada solo en objetos submarinos) logró un 50%. Esto confirma que las afordancias aprendidas en tierra guían eficazmente al robot hacia regiones agarrables en objetos nuevos bajo el agua.

5. Significado e Impacto

Este trabajo representa un avance significativo hacia la autonomía robótica submarina al:

• Reducir la barrera de entrada: Elimina la necesidad de costosas sesiones de teleoperación bajo el agua para entrenar políticas.
• Habilitar la transferencia de conocimiento: Demuestra que es posible entrenar sistemas complejos de manipulación en tierra y desplegarlos bajo el agua con alto rendimiento, utilizando representaciones geométricas (profundidad) en lugar de texturales (RGB) para mitigar la brecha de dominio.
• Robustez: Proporciona una solución viable para entornos submarinos donde la iluminación y el color son impredecibles, priorizando la geometría y la intención de agarre sobre la apariencia visual.

Limitaciones y Futuro: El sistema depende de estimaciones de profundidad que pueden ser ruidosas, perdiendo información de textura. Además, el controlador PID actual puede causar sobrepasos que confunden al sistema de localización de objetivos. Futuras direcciones incluyen fusión de profundidad y RGB regularizada y controladores dinámicos más avanzados (MPC).