Bi-AQUA: Bilateral Control-Based Imitation Learning for Underwater Robot Arms via Lighting-Aware Action Chunking with Transformers

El artículo presenta Bi-AQUA, un marco pionero de aprendizaje por imitación bilateral para brazos robóticos submarinos que integra un diseño consciente de la iluminación basado en transformadores para lograr una manipulación robusta y adaptable a las variaciones lumínicas en entornos subacuáticos.

Lo esencial

Imagina que intentas usar un brazo robótico para recoger un objeto bajo el agua. Ahora, imagina que el agua no es solo agua, sino que a veces está iluminada por una luz roja, luego por una azul, luego parpadea, y a veces hay burbujas que distorsionan todo. Para un robot normal, esto es una pesadilla: sus "ojos" (cámaras) se confunden, los colores se ven mal y el robot no sabe si debe agarrar fuerte o suave.

El paper "Bi-AQUA" presenta una solución inteligente para este problema. Aquí te lo explico como si fuera una historia:

1. El Problema: El Robot "Ciego" bajo el Agua

Los robots terrestres (como los que ves en las fábricas) funcionan bien porque la luz es constante. Pero bajo el agua, la luz cambia drásticamente en segundos.

• La analogía: Es como intentar conducir un coche de noche, pero de repente te cambian las luces del semáforo de rojo a verde, luego a azul, y además hay niebla. Un conductor normal se perdería. Los robots actuales se comportan igual: si la luz cambia, se vuelven torpes o dejan de funcionar.

2. La Solución: Bi-AQUA (El Robot con "Sentido de la Luz" y "Sentido del Tacto")

Los autores crearon un nuevo sistema llamado Bi-AQUA. Tiene dos superpoderes principales:

A. El "Sentido del Tacto" (Control Bilateral)

La mayoría de los robots solo "ven" y actúan. Bi-AQUA, en cambio, usa un sistema de maestro y aprendiz.

• La analogía: Imagina que tú (el maestro) tienes un brazo robótico en el aire y el robot (el aprendiz) está bajo el agua. Cuando tú mueves tu mano, el robot la imita. Pero lo genial es que si tú sientes que algo está duro o pegajoso, el robot también "siente" esa resistencia a través de cables de datos.
• Por qué importa: Si el robot intenta sacar un tapón de un agujero y se atasca, no solo "ve" que no sale, sino que "siente" la fuerza. Esto le permite ajustar su agarre, como lo haría un humano, evitando romper las cosas.

B. El "Sentido de la Luz" (Modelado de Iluminación)

Aquí es donde Bi-AQUA es revolucionario. En lugar de intentar limpiar la imagen de la cámara (como hace un filtro de Instagram), el robot aprende a entender la luz como un dato más.

• La analogía: Piensa en el robot como un chef.
  • El robot normal: Si la luz de la cocina cambia de blanca a roja, el chef piensa que la carne ha cambiado de color y se confunde.
  • Bi-AQUA: El chef tiene un "sensor de luz" especial. Cuando la luz cambia a roja, el chef piensa: "Ah, la luz es roja, así que sé que la carne sigue siendo roja, solo que la luz me engaña". El robot tiene un traductor interno que le dice: "Oye, la luz es azul ahora, ajusta tus ojos para ver los objetos reales".

3. ¿Cómo funciona la magia? (Los 3 Ingredientes Secretos)

El sistema usa tres trucos de inteligencia artificial para lograr esto:

1. El Traductor de Luz (Lighting Encoder): Es un pequeño cerebro que mira la foto y dice: "¡Oye! Hoy la luz es muy azul y tenue". No necesita que le digan qué color es; lo descubre solo.
2. El Filtro Mágico (FiLM): Una vez que sabe qué luz hay, ajusta los "gafas" del robot. Si la luz es azul, el robot se prepara mentalmente para ver mejor los tonos azules y corregir los demás.
3. La Nota de Luz (Lighting Token): Es como una nota que el robot se pega en la frente antes de tomar una decisión. Le dice al cerebro del robot: "Recuerda, estamos bajo una luz cambiante, ten cuidado".

4. Los Resultados: ¡Funciona de verdad!

Los autores probaron esto en un tanque de agua real con tareas difíciles:

• Coger y poner objetos: El robot logró mover cosas incluso cuando la luz cambiaba de color cada 2 segundos.
• Cerrar un cajón: Una tarea larga que requiere empujar y sentir la resistencia.
• Sacar un pasador de un agujero: La tarea más difícil. Requiere precisión milimétrica y sentir la fricción.

El resultado:

• Los robots antiguos (sin este sistema) fallaban estrepitosamente cuando la luz cambiaba o se volvía azul/roja.
• Bi-AQUA tuvo un éxito del 100% en casi todas las situaciones, incluso con luces que nunca había visto antes (como el color cian o púrpura) y con burbujas molestando.

En Resumen

Bi-AQUA es como darle a un robot dos cosas que le faltaban:

1. Manos sensibles: Para sentir si está empujando demasiado fuerte bajo el agua.
2. Un cerebro adaptativo: Para entender que la luz bajo el agua es traicionera y ajustar su visión en tiempo real, sin confundirse.

Es un gran paso para que los robots puedan trabajar solos en el océano, en rescates submarinos o en la exploración de los fondos marinos, sin depender de que un humano los controle todo el tiempo.

Resumen técnico

Resumen Técnico: Bi-AQUA

1. El Problema

La manipulación robótica submarina enfrenta desafíos críticos debido a la inestabilidad visual inherente a los entornos acuáticos. Factores como la atenuación dependiente de la longitud de onda, la dispersión de la luz, la turbidez, las burbujas y las variaciones rápidas en el espectro, intensidad y dirección de la iluminación degradan severamente las políticas visomotoras estándar.

• Limitaciones actuales: Los métodos existentes de aprendizaje por imitación (IL) suelen depender del control unilateral (solo posición) o de mejoras de imagen que no abordan el problema de control en bucle cerrado. Ningún marco anterior integra explícitamente el modelado de la iluminación como un factor latente dentro de una política de control sensible a la fuerza en entornos submarinos.
• La brecha: Se necesita un sistema que combine el control bilateral (que proporciona retroalimentación de fuerza) con una adaptación explícita a las condiciones de iluminación cambiantes para lograr una manipulación robusta.

2. Metodología: Bi-AQUA

Bi-AQUA es el primer marco de aprendizaje por imitación basado en control bilateral diseñado específicamente para brazos robóticos submarinos. Su arquitectura se basa en Bi-ACT (Action Chunking with Transformers para control bilateral) e introduce un diseño jerárquico consciente de la iluminación en tres niveles:

• Codificador de Iluminación sin Etiquetas (Label-free Lighting Encoder):

  • Extrae representaciones compactas de iluminación ($v_L$) directamente de las imágenes RGB sin necesidad de anotaciones manuales de color o luz.
  • Utiliza una arquitectura de doble vía: una ruta convolucional para capturar pistas espaciales y una ruta de histograma que modela las estadísticas de saturación y valor (SV).
  • Fusiona estas vías para generar un embedding latente que representa el estado de iluminación actual.

• Modulación Visual basada en FiLM (Feature-wise Linear Modulation):

  • Aplica transformaciones afines (escala y desplazamiento) a las mapas de características de la red neuronal convolucional (backbone) condicionadas por el embedding de iluminación ($v_L$).
  • Esto permite que la percepción visual se adapte dinámicamente a los cambios de color y contraste antes de que la información llegue al transformador.

• Token de Iluminación en el Transformador:

  • Se inyecta un token específico de iluminación en la entrada del codificador del transformador, junto con los tokens de estado propioceptivo y latente.
  • Este token permite que el decodificador condicione la generación de secuencias de acciones (chunks) en función del estado de iluminación actual.

• Control Bilateral:

  • El sistema opera en un bucle de control bilateral donde un operador humano controla un robot líder en tierra, y un robot seguidor ejecuta movimientos reflejados bajo el agua.
  • Se intercambian datos de posición y torque (fuerza), permitiendo que el robot perciba fuerzas de contacto, lo cual es crucial para tareas de manipulación complejas y de alto horizonte.

3. Contribuciones Clave

1. Primer marco de IL bilateral submarino: Introducir Bi-AQUA como la primera solución que aplica el control bilateral basado en imitación a la manipulación robótica submarina.
2. Política visomotora consciente de la iluminación: Propuesta de una arquitectura que integra un codificador de iluminación implícito, modulación FiLM y tokens de iluminación para adaptar tanto la percepción como la generación de acciones.
3. Validación en el mundo real: Demostración experimental de mejoras significativas sobre líneas base en tareas reales de manipulación bajo condiciones de iluminación vistas, no vistas y dinámicamente cambiantes.

4. Resultados Experimentales

Los experimentos se realizaron en un tanque de agua con un sistema de brazo robótico bilateral, evaluando tres tareas de creciente complejidad:

• Tareas:

  1. Recoger y colocar (Pick-and-Place): Prueba de robustez a la iluminación.
  2. Cerrar cajón: Tarea de largo horizonte con secuencia de pasos.
  3. Extracción de pasador (Peg Extraction): Tarea de precisión con contacto rico y tolerancias geométricas ajustadas.

• Condiciones de Prueba: Se evaluó bajo 8 modos de iluminación (Rojo, Azul, Verde, Blanco, RGBW, Cian, Púrpura y Cambiante dinámico). Los modelos se entrenaron con 5 modos y se probaron en todos, incluyendo dos colores no vistos (Cian, Púrpura) y el modo dinámico.

• Rendimiento:

  • Robustez a la iluminación: Bi-AQUA logró una tasa de éxito del 100% en 7 de los 8 modos de iluminación y un 80% en el modo azul (el más difícil). En contraste, la línea base (Bi-ACT sin modelado de luz) falló casi completamente en todos los modos excepto en blanco.
  • Generalización: El modelo se mantuvo robusto ante objetos no vistos (bloques negros, esponjas) y perturbaciones visuales (burbujas).
  • Importancia de la Fuerza: En tareas de contacto rico (extracción de pasador), la versión sin retroalimentación de fuerza falló drásticamente (0% de éxito en varios modos), mientras que Bi-AQUA completo mantuvo un rendimiento superior (hasta 100%), demostrando que la combinación de fuerza y adaptación de luz es esencial.
  • Eficiencia: El tiempo de ejecución fue comparable al teleoperado humano (~15.7s vs 15.4s), superando a las líneas base que fueron más lentas.

5. Significado e Impacto

El trabajo de Bi-AQUA es fundamental porque:

• Cierra la brecha entre percepción y control: Demuestra que mejorar la calidad de la imagen no es suficiente; la política de control debe entender y adaptarse explícitamente a la iluminación para ser robusta.
• Valida el control bilateral en entornos hostiles: Confirma que la retroalimentación de fuerza es indispensable para tareas de manipulación submarina donde la visión es inestable.
• Hacia la autonomía real: Proporciona un camino viable hacia la manipulación autónoma submarina fiable, capaz de operar en condiciones de iluminación variables y dinámicas sin necesidad de recalibración constante o intervención humana.

En conclusión, Bi-AQUA establece un nuevo estado del arte al unificar el control sensible a la fuerza con un modelado jerárquico de la iluminación, permitiendo a los robots submarinos realizar tareas complejas con una fiabilidad que los métodos anteriores no podían alcanzar.