eStonefish-Scenes: A Sim-to-Real Validated and Robot-Centric Event-based Optical Flow Dataset for Underwater Vehicles

Este artículo presenta eStonefish-Scenes, un dataset sintético de flujo óptico basado en eventos validado en escenarios reales para vehículos submarinos, junto con la librería eWiz, demostrando que el entrenamiento exclusivo con datos simulados permite una estimación precisa del flujo óptico en entornos reales sin necesidad de ajuste fino.

Lo esencial

¡Hola! Imagina que quieres enseñar a un robot a nadar por el fondo del mar y ver lo que hay a su alrededor, pero hay un gran problema: el agua es un lugar muy difícil para las cámaras normales.

Piensa en las cámaras de tu teléfono: si te mueves rápido o hay poca luz, la foto sale borrosa. En el fondo del mar, con corrientes, peces moviéndose y luz que se filtra de forma extraña, esas cámaras se vuelven locas.

Aquí es donde entran en juego los "Ojos de Insecto" (cámaras de eventos). En lugar de tomar fotos completas como un fotógrafo, estos sensores funcionan como un enjambre de abejas: solo "pican" (generan un evento) cuando algo cambia de brillo. Si el agua está quieta, no hacen nada. Si un pez pasa rápido, ¡pican miles de veces! Son súper rápidos, no se marean con el movimiento y funcionan incluso en la oscuridad.

El problema: Para enseñar a un robot a usar estos "ojos de insecto", necesitamos miles de ejemplos de cómo se ven las cosas bajo el agua. Pero grabar eso en la vida real es carísimo, lento y peligroso. Nadar con un robot, grabar todo y luego decirle al robot "esto es lo que pasó" requiere equipos costosos y mucho tiempo.

La Solución: El "Mundo Virtual" (eStonefish-Scenes)

Los autores de este artículo han creado una simulación perfecta, como un videojuego de alta tecnología, pero con un propósito científico.

1. El Simulador (Stonefish): Es como un "mundo de arena" digital donde pueden crear fondos de mar, corales y peces.
2. El Generador de Escenas (Stonefish-SceneGen): Imagina que en lugar de poner cada coral a mano (como si estuvieras decorando un acuario con pinzas), tienes un "chef robot" que lanza corales de todos los tamaños y formas automáticamente. ¡Zas! Tienes un arrecife vibrante en segundos.
3. Los Peces (Stonefish-Boids): No son peces de plástico. Son peces digitales que se comportan como en la naturaleza: siguen a un líder, evitan chocar entre ellos y nadan en grupo.
4. El Robot (BlueROV2): En este videojuego, controlan un robot submarino que lleva estos "ojos de insecto" y graba todo lo que ve.

La Magia: Han creado un dataset (una biblioteca de datos) llamado eStonefish-Scenes. Es como un manual de instrucciones gigante generado por computadora que le dice al robot: "Mira, cuando el robot se mueve así, los 'ojos de insecto' ven esto".

La Caja de Herramientas (eWiz)

Además del videojuego, han creado una caja de herramientas digital llamada eWiz. Imagina que es una cocina completa para cocineros de robots. Tiene:

• Utensilios para guardar los datos (que son muy pesados y rápidos).
• Recetas para "aderezar" los datos (hacerlos más variados para que el robot no se aburra).
• Medidores para saber si el robot está aprendiendo bien.

La Prueba de Fuego: ¿Funciona en la vida real?

Aquí viene la parte más interesante. Podrían haberse quedado solo con el videojuego, pero querían saber: "¿Si entrenamos al robot en el videojuego, sabrá nadar en el mar real?".

Para probarlo:

1. Fueron a una piscina de pruebas en Girona (España).
2. Pusieron un robot real (BlueROV2) con una cámara real de "eventos".
3. En el fondo de la piscina, pegaron un póster gigante con un dibujo de un arrecife de coral. Esto es clave: les sirvió como un "mapa de referencia" perfecto para saber exactamente cuánto se movía el robot.
4. El Reto: Entrenaron a una red neuronal (el "cerebro" del robot) SOLO con los datos del videojuego (eStonefish-Scenes). Nunca le mostraron una sola foto del agua real.
5. El Resultado: Luego, soltaron al robot en la piscina real. ¡Funcionó! El robot, que solo había "vivido" en el videojuego, pudo entender el movimiento en el agua real con una precisión increíble (cometió un error de menos de 1 píxel).

¿Por qué es esto importante?

Piensa en aprender a conducir.

• Antes: Tenías que salir a la carretera real, con tráfico, lluvia y peatones, y aprender a base de accidentes y mucho tiempo.
• Ahora: Puedes usar un simulador de conducción (como el videojuego) que es seguro, rápido y puedes repetir mil veces la misma situación.

Este artículo demuestra que, para los robots submarinos, podemos entrenarlos en "simuladores" y luego soltarlos en el océano real y funcionarán bien.

En resumen:
Han creado un "mundo virtual" de arrecifes y peces para entrenar a robots con ojos especiales, y han demostrado que lo que aprenden en ese mundo digital sirve perfectamente para navegar en el mar real. Esto ahorra millones de euros en equipos y años de trabajo, permitiendo que los robots exploren los océanos de forma más inteligente y autónoma.

¡Es como si les hubieras dado a los robots un "simulador de vuelo" para que aprendan a pilotar bajo el agua sin mojarse hasta que estén listos!

Resumen técnico

Resumen Técnico: eStonefish-Scenes

1. Planteamiento del Problema

El uso de cámaras basadas en eventos (EBC) o sensores de visión dinámica en robótica submarina promete revolucionar la navegación y la percepción debido a su alta resolución temporal, alto rango dinámico y ausencia de desenfoque por movimiento. Sin embargo, el avance en tareas como la estimación de flujo óptico y la evitación de obstáculos se ve severamente limitado por la ausencia de conjuntos de datos etiquetados específicos para entornos submarinos.

• Limitaciones de los datos reales: La recolección de datos reales es costosa, consume muchos recursos y carece de diversidad. Además, obtener el "ground truth" (verdad de terreno) en el agua es extremadamente difícil debido a la turbidez, la dispersión de la luz y la falta de características visuales estables.
• Limitaciones de los datos sintéticos existentes: Los conjuntos de datos sintéticos actuales (como UEOF o AquaticVision) a menudo dependen de la conversión de video a eventos (video-to-event) en lugar de simular el sensor nativamente, o no capturan la acoplamiento dinámico real entre la hidrodinámica del vehículo y la respuesta del sensor. Además, carecen de validación sim-to-real (simulación a realidad) robusta.

2. Metodología Propuesta

Los autores proponen un enfoque integral que abarca desde la generación de datos sintéticos hasta la validación en el mundo real.

A. Generación de Datos Sintéticos (eStonefish-Scenes)

• Simulador: Se utiliza el simulador Stonefish, integrando la cámara de eventos directamente en el motor de física para capturar la respuesta temporal real del sensor acoplada a la dinámica del vehículo (ROV).
• Entornos y Escenas:
  • Stonefish-SceneGen: Un generador de escenas que puebla automáticamente el fondo marino con arrecifes de coral realistas y diversos, superando la necesidad de modelado manual.
  • Stonefish-Boids: Un paquete que simula bancos de peces con comportamientos reactivos (alineación, cohesión, separación y atracción al líder), añadiendo elementos dinámicos complejos a las escenas.
  • Configuraciones: Se generan secuencias en dos entornos (rocoso y arrecife) y dos configuraciones de cámara (mirando hacia adelante para navegación/obstáculos y mirando hacia abajo para odometría).
• Formato de Datos: Se introduce eWiz, una biblioteca Python completa para el procesamiento de datos basados en eventos. Incluye:
  • Formato optimizado HDF5 con compresión Blosc para manejar grandes volúmenes de datos.
  • Herramientas para codificación (Gaussiana, conteo de eventos), aumento de datos, visualización y funciones de pérdida (fotométrica, suavidad, contraste).
  • Compatibilidad con PyTorch y Tonic.

B. Adquisición de Datos Reales y Ground Truth

• Configuración Experimental: Se utilizó un BlueROV2 equipado con una cámara híbrida DAVIS346 en una piscina de pruebas interior en Girona.
• Ground Truth: Para obtener el flujo óptico de referencia, se colocó un póster texturizado de alta resolución en el fondo de la piscina. El flujo se calculó mediante un registro basado en homografía entre los fotogramas de escala de grises y el póster.
• Estimación de Incertidumbre: Se empleó un método de Monte Carlo perturbando las correspondencias de puntos clave para estimar mapas de incertidumbre por píxel. Esta incertidumbre se integra en las métricas de evaluación para ponderar la fiabilidad de los datos.

C. Evaluación Sim-to-Real

• Se entrenó una red neuronal basada en ConvGRU (unidades recurrentes convolucionales) exclusivamente con los datos sintéticos de eStonefish-Scenes.
• La red se evaluó en los datos reales sin ningún ajuste fino (fine-tuning), probando la capacidad de generalización del modelo.

3. Contribuciones Clave

1. eStonefish-Scenes: El primer conjunto de datos basado en eventos para flujo óptico en entornos submarinos, generado nativamente en simulación con acoplamiento robot-sensor.
2. Pipeline de Generación Abierta: Herramientas de código abierto (Stonefish-SceneGen y Stonefish-Boids) para crear entornos submarinos dinámicos y realistas fácilmente.
3. eWiz Library: Una biblioteca integral para el manejo, codificación, visualización y entrenamiento con datos de eventos, diseñada para facilitar la investigación en redes neuronales (CNN y SNN).
4. Marco de Evaluación con Incertidumbre: Una metodología de validación sim-to-real que incorpora mapas de incertidumbre en las métricas de error, ofreciendo una evaluación más robusta que los umbrales fijos tradicionales.
5. Validación Empírica: Demostración de que un modelo entrenado solo con datos sintéticos puede lograr un rendimiento competitivo en datos reales submarinos.

4. Resultados

• Rendimiento en Datos Sintéticos: La red ConvGRU alcanzó un Error de Punto Final Promedio (AEE) de 0.636 píxeles en el conjunto de prueba sintético.
• Rendimiento Sim-to-Real (Datos Reales): Al evaluar la misma red en datos reales (sin fine-tuning), se obtuvo un AEE ponderado por incertidumbre de 0.79 píxeles.
• Calidad Visual: Los resultados cualitativos muestran que la red captura con precisión los patrones de movimiento dominantes y la estructura del flujo, incluso en condiciones de movimiento complejo (rotación y traslación) y en regiones con baja textura, aunque se observan discrepancias en áreas con poca actividad de eventos o alta incertidumbre en el ground truth.
• Eficiencia: El enfoque demuestra que es posible reducir drásticamente la necesidad de costosa recolección de datos reales para el entrenamiento de modelos de visión submarina.

5. Significado e Impacto

Este trabajo es fundamental para la robótica submarina autónoma (AUV/ROV) por varias razones:

• Superación de Barreras de Datos: Resuelve la escasez crítica de datos etiquetados para visión basada en eventos en el océano, un entorno hostil para la visión tradicional.
• Validación de Transferencia: Prueba que la simulación basada en eventos puede transferirse eficazmente a la realidad, lo cual es crucial para el desarrollo de algoritmos de navegación y mapeo en tiempo real.
• Herramientas Estandarizadas: La librería eWiz y el pipeline de generación democratizan el acceso a herramientas de procesamiento de eventos, estandarizando la investigación en este nicho.
• Enfoque en la Incertidumbre: La introducción de métricas ponderadas por incertidumbre establece un nuevo estándar para la evaluación de modelos en entornos donde el ground truth es inherentemente ruidoso o imperfecto.

En conclusión, eStonefish-Scenes proporciona la infraestructura necesaria (datos, herramientas y validación) para acelerar el desarrollo de sistemas de visión submarina robustos y eficientes basados en eventos.