Cross domain Persistent Monitoring for Hybrid Aerial Underwater Vehicles

Resumen Técnico: Monitoreo Persistente Transdominio para Vehículos Híbridos Aéreo-Submarinos (HUAUV)

1. Planteamiento del Problema

Los Vehículos Híbridos No Tripulados Aéreos-Submarinos (HUAUV) son plataformas emergentes capaces de operar tanto en el aire como bajo el agua, ideales para tareas de inspección, mapeo y búsqueda y rescate en entornos complejos. Sin embargo, la autonomía en estos dos dominios presenta desafíos significativos debido a las diferencias en la dinámica del vehículo (resistencia aerodinámica vs. hidrodinámica), las limitaciones energéticas y las condiciones ambientales (viento vs. turbidez y corrientes).

El problema central abordado en este trabajo es la tarea de monitoreo persistente: la observación continua o repetida de un conjunto de objetivos móviles. El desafío específico es desarrollar una metodología que permita a un agente de IA aprender una política de control en un dominio (aire) y transferirla eficazmente al otro (agua) sin necesidad de reentrenamiento, utilizando sensores de rango (Lidar y Sonar) en lugar de información visual o GPS, lo cual es más robusto en ambos entornos.

2. Metodología Propuesta

Los autores proponen un marco de trabajo basado en Aprendizaje por Refuerzo Profundo (DRL) combinado con Transfer Learning (Aprendizaje por Transferencia).

• Arquitectura del Agente:

  • Se utiliza un algoritmo DSAC (Distributional Soft Actor-Critic). A diferencia del SAC estándar que aprende valores Q escalares, DSAC modela la distribución completa de las recompensas futuras, lo que mejora la estabilidad y la gestión de la incertidumbre en tareas de control continuo.
  • Estado y Observación: El agente observa su estado cinemático 2D ($x, y$) y las posiciones estimadas de $N$ objetivos móviles. La incertidumbre de cada objetivo ($\sigma_i$) crece linealmente con el tiempo y se resetea a cero cuando el vehículo entra en su radio de detección.
  • Acciones: Velocidad lineal y angular ($v, \omega$) enviadas a los controladores de bajo nivel del simulador.

• Entrenamiento y Transferencia (Zero-Shot):

  • Dominio de Entrenamiento: El agente se entrena exclusivamente en un simulador aéreo (usando el framework RotorS en Gazebo) con datos de Lidar.
  • Dominio de Prueba (Transferencia): La política aprendida se despliega directamente en un simulador submarino (UUV Simulator) con datos de Sonar, sin ningún ajuste fino (fine-tuning).
  • Desafío: Aunque el espacio de estados y acciones es el mismo, la dinámica de transición cambia drásticamente debido a la resistencia hidrodinámica y la inercia del agua, representando un cambio de dominio (domain shift).

• Configuración de Simulación:

  • Se utilizan dos entornos 2D: uno libre de obstáculos y otro con obstáculos cilíndricos (simulando risers de perforación).
  • Los objetivos siguen trayectorias predefinidas de curvas de Lissajous.
  • Se emplea un entrenamiento distribuido en paralelo con 5 trabajadores para acelerar la convergencia.

3. Contribuciones Clave

1. Metodología Transdominio: Demostración de que una única política DRL puede gestionar tareas de monitoreo persistente en aire y agua utilizando datos de sensores de rango, validando la viabilidad de un enfoque unificado.
2. Arquitectura DSAC Distribuida: Propuesta de un entorno de entrenamiento paralelo que acelera el aprendizaje y demuestra que la política aprendida gestiona la incertidumbre de objetivos móviles más eficientemente que un algoritmo basado en comportamiento (Bug2).
3. Transferencia Zero-Shot: Validación experimental de que un agente entrenado solo en el dominio aéreo puede operar eficazmente en el dominio submarino sin reentrenamiento, superando las diferencias dinámicas.
4. Análisis Sistemático: Evaluación detallada en un entorno 2D simplificado pero con dinámicas de vehículo realistas, discutiendo las limitaciones y la ruta hacia escenarios 3D más complejos.

4. Resultados Experimentales

Los resultados se compararon entre la política propuesta (DSAC) y una línea base basada en comportamiento (algoritmo Bug2), evaluando el tiempo promedio de visita a los objetivos y la incertidumbre promedio ($\bar{\sigma}$) en 100 ensayos.

• Rendimiento en Aire (Entrenamiento): DSAC superó a Bug2 en ambos entornos, reduciendo el tiempo de visita y manteniendo una incertidumbre de los objetivos significativamente menor.
• Rendimiento en Agua (Transferencia):
  • La política transferida (entrenada en aire, probada en agua) mantuvo un rendimiento robusto.
  • En el entorno sin obstáculos (Env 1), la incertidumbre promedio de los objetivos con DSAC fue de ~26.3 (promedio de los 3 objetivos), frente a ~38.1 de Bug2.
  • En el entorno con obstáculos (Env 2), DSAC mostró una ventaja aún mayor en la gestión de la incertidumbre y la evitación de obstáculos, manteniendo tiempos de visita más cortos que Bug2.
• Conclusión de los datos: El agente DRL logró reducir los picos de incertidumbre y la frecuencia de intervalos de alta incertidumbre en comparación con el enfoque basado en reglas, demostrando una generalización efectiva a través de dominios.

5. Significado y Futuro

Este trabajo es significativo porque establece las bases para soluciones de monitoreo autónomo escalables para vehículos híbridos, eliminando la necesidad de desarrollar políticas separadas para cada entorno físico. La capacidad de utilizar una sola arquitectura para múltiples dominios reduce la complejidad computacional y facilita la implementación en misiones reales de inspección industrial y rescate.

Limitaciones y Trabajo Futuro:
El estudio actual se basa en una abstracción 2D y un modelo de incertidumbre lineal. Los autores planean:

• Extender la formulación a 3D (incluyendo altitud/profundidad y control de empuje vertical).
• Incorporar modelos de incertidumbre más ricos y ruido de sensor realista.
• Desarrollar estrategias de coordinación para multi-agente.
• Probar el sistema en despliegues reales de HUAUV.

En resumen, el artículo demuestra que el aprendizaje por refuerzo profundo, potenciado por técnicas de transferencia y arquitecturas distribuidas, es una vía prometedora para dotar a los vehículos híbridos de la adaptabilidad necesaria para operar de manera autónoma y eficiente en entornos aéreos y submarinos cambiantes.