Resumen Técnico: Control Cross-Platform para Vehículos de Superficie Autónomos mediante Aprendizaje por Refuerzo Adaptativo

1. Planteamiento del Problema

Los Vehículos de Superficie Autónomos (ASV, por sus siglas en inglés) exhiben una diversidad significativa en sus características hidrodinámicas y de actuación. Las estrategias de control actuales enfrentan un cuello de botella en el despliegue:

• Controladores basados en modelos (p. ej., MPC) requieren identificación de sistemas y ajuste específicos para cada plataforma, lo cual es laborioso para flotas heterogéneas.
• Los enfoques estándar de Aprendizaje por Refuerzo (RL) suelen entrenarse en una única plataforma fija o en un simulador que debe capturar con precisión la dinámica específica del objetivo. Desplegar estas políticas en un nuevo buque suele requerar reidentificación y reentrenamiento.

El desafío central es desarrollar un controlador generalista único capaz de un despliegue de cero pasos (zero-shot) en diferentes plataformas de ASV de la misma clase, sin conocimiento previo de la dinámica de la plataforma de despliegue ni ajustes finos por plataforma. Esto se enmarca como un problema de observabilidad parcial, donde la dinámica real del sistema ($\theta$) es desconocida al momento del despliegue, lo que hace que el sistema sea parcialmente observable a pesar de la naturaleza markoviana de la física subyacente.

2. Metodología

Los autores proponen un marco de aprendizaje por refuerzo adaptativo utilizando una arquitectura Profesor-Estudiante (Teacher–Student) para inferir la dinámica latente a partir del historial de interacción.

A. Dinámica del Sistema y Formulación

• Modelo: El sistema utiliza un modelo simplificado de 3 DoF (avance, desplazamiento lateral y guiñada) en el plano horizontal basado en la formulación de Fossen. La dinámica está parametrizada por siete parámetros físicos ($\theta$), incluyendo masa, coeficientes de masa añadida, amortiguamiento lineal e inercia.
• Formulación MDP: El seguimiento de trayectoria se formula como un Proceso de Decisión de Markov Parcialmente Observable (POMDP). El estado $s_t$ es observable, pero el parámetro de la dinámica $\theta$ no lo es. La política se condiciona al historial de interacción para restaurar una markovianidad aproximada.
• Espacio de Acción: La política genera comandos de fuerza y torque normalizados en el sistema de referencia del cuerpo ($\bar{\tau} \in [-1, 1]^3$). Estos se escalan por los límites de los actuadores específicos de la plataforma en el despliegue, desacoplando la política de las magnitudes absolutas de fuerza.

B. Arquitectura Profesor–Estudiante

El enfoque emplea un flujo de entrenamiento de dos fases inspirado en el aprendizaje privilegiado:

1. Fase 1: Entrenamiento del Profesor (Aprendizaje Privilegiado)

   • Una política "Profesor" se entrena en simulación con acceso a un vector privilegiado $e \in \mathbb{R}^9$. Este vector codifica los parámetros de la dinámica normalizados (picos de aceleración, tasas de amortiguamiento y coeficientes de acoplamiento de Coriolis) derivados de las ecuaciones de movimiento de 3 DoF.
   • El profesor aprende una representación latente $z = \mu(e)$ del sistema dinámico.
   • El entrenamiento utiliza Optimización de Política Próxima (PPO) con aleatorización de dominio sobre un amplio rango de parámetros de dinámica.

2. Fase 2: Entrenamiento del Estudiante (Adaptación)

   • Se elimina el vector privilegiado $e$. El codificador $\mu$ es reemplazado por un módulo Adaptador $\phi$.
   • El Adaptador, implementado como una Unidad Recurrente de Puerta (GRU) seguida de un MLP, estima la representación latente $\hat{z}$ basándose únicamente en el historial de interacción $h_t$ (diferencias de estado recientes, velocidades y acciones normalizadas).
   • La política del Estudiante (el actor del Profesor congelado) se condiciona a la estimación $\hat{z}$ del Adaptador.
   • El Adaptador se entrena mediante aprendizaje supervisado para minimizar el error de reconstrucción $\|\hat{z} - z\|^2$, donde $z$ es la verdad de terreno latente de la Fase 1.

C. Configuración del Entrenamiento

• Simulación: El entrenamiento se basa en un modelo dinámico analítico ligero en lugar de un simulador hidrodinámico de alta fidelidad.
• Currículo: Un currículo progresivo aumenta la dificultad expandiendo el rango de parámetros de dinámica aleatorizados y la complejidad de la trayectoria (desde líneas rectas hasta giros cerrados).
• Perturbaciones: Las perturbaciones ambientales (corrientes, viento, olas) se modelan como procesos de Ornstein–Uhlenbeck. Se aleatorizan los retardos de los actuadores.
• Recompensa: Una función de recompensa compuesta incluye términos para el seguimiento de posición, rumbo y velocidad, junto con bonificaciones auxiliares por movimiento hacia adelante y penalizaciones por deriva lateral, guiñada excesiva y magnitud/suavidad de la acción.

3. Contribuciones Clave

1. Política Cross-Platform Zero-Shot: La primera demostración de una política de RL desplegada de forma zero-shot en múltiples plataformas de ASV distintas (misma clase, diferentes dinámicas) sin reentrenamiento ni identificación de sistemas.
2. Adaptación Profesor–Estudiante: Adaptación del marco profesor-estudiante de locomoción de patas a la robótica marina, permitiendo la inferencia de la dinámica latente únicamente a partir del historial de interacción.
3. Flujo de Entrenamiento Simplificado: El método logra un alto rendimiento utilizando solo un modelo analítico de 3 DoF, evitando el costo computacional y la complejidad de los simuladores hidrodinámicos de alta fidelidad.
4. Interpretabilidad: El espacio latente aprendido captura eficazmente la dinámica relevante, y el análisis de componentes principales muestra que el espacio latente de 9 dimensiones ocupa un subespacio de baja dimensión.

4. Resultados Experimentales

A. Experimentos en el Mundo Real

Los experimentos se realizaron en dos plataformas físicas distintas (Plataforma A y Plataforma B) con diferentes masas, inercias y límites de actuación.

• Desempeño: La política del Estudiante adaptativa logró un Error Absoluto Medio (MAE) de Posición de 4.0 cm en ambas plataformas.
• Comparación:
  • Superó a la línea base de PPO general no adaptativo hasta en un 58% (Plataforma B: 4.0 cm vs. 9.5 cm).
  • Superó al PPO específico de la plataforma (entrenado solo para una plataforma) en error de posición.
  • Se acercó a la precisión de seguimiento de un Controlador de Modelo Predictivo (MPC) ajustado específicamente para la plataforma (Estudiante: 4.0 cm vs. MPC: 4.1–4.6 cm).
• Guiñada: El Estudiante logró una precisión de guiñada comparable o superior a las líneas base no adaptativas.

B. Experimentos de Simulación

Simulaciones en cinco plataformas (incluyendo variantes de Roboat) bajo condiciones ideales confirmaron los hallazgos del mundo real:

• El Estudiante redujo el error de posición en un 44% y el error de guiñada en un 55% en comparación con el PPO general no adaptativo.
• El Estudiante funcionó casi idénticamente a la política "Profesor" (oráculo), validando que el Adaptador recupera con éxito la información latente necesaria.
• Los estudios de ablación mostraron que reemplazar la salida del Adaptador con un latente medio estático ("Estudiante avg. z") duplicó más que el error de seguimiento, confirmando la necesidad de la adaptación en línea.

5. Significado y Reivindicaciones

El artículo afirma que este trabajo proporciona una receta práctica para el control de ASV generalista. Al condicionarse al historial de interacción, una única política puede generalizarse a través de una flota heterogénea de buques sin la carga de ingeniería del ajuste o la identificación por plataforma.

• Eficiencia: Todo el flujo de entrenamiento (fases de Profesor y Estudiante) se completa en aproximadamente 30 minutos en una sola GPU de consumo (NVIDIA RTX 4090).
• Escalabilidad: El enfoque elimina el "cuello de botella por plataforma", permitiendo el despliegue de flotas heterogéneas utilizando una estrategia de control unificada.
• Modestia sobre las Limitaciones: Los autores reconocen que el modelo actual de amortiguamiento lineal de 3 DoF es válido para regímenes de desplazamiento a baja velocidad. El adaptador maneja efectos dependientes de la velocidad (como la resistencia cuadrática) reestimando el amortiguamiento efectivo dentro del rango aleatorizado, pero el enfoque aún no cubre el planeo a alta velocidad o el acoplamiento fuerte de heave/roll/pitch. Se sugiere como trabajo futuro la adaptación continua en línea y una integración más estrecha con los objetivos de control basados en modelos.