Falsification-driven reinforcement learning for maritime motion planning

Resumen Técnico: Aprendizaje por Refuerzo impulsado por Falsificación para la Planificación de Movimiento Marítimo

Enunciado del Problema
Garantizar que las embarcaciones autónomas cumplan con las reglas del tráfico marítimo, específicamente el Reglamento Internacional para Prevenir los Abordajes en el Mar (COLREGs), es crítico para la seguridad pero desafiante para los agentes de Aprendizaje por Refuerzo (RL). La dificultad central radica en la naturaleza no estructurada de los entornos de mar abierto y en las dependencias situacionales y temporales de las reglas de tráfico, las cuales son difíciles de codificar directamente en políticas de control. El entrenamiento estándar de RL a menudo depende de la generación de escenarios aleatorios o no adversarios, lo que falla en exponer suficientemente al agente a los modos de fallo de "cola larga" donde ocurren las violaciones de reglas. En consecuencia, los agentes pueden aprender a priorizar la llegada a la meta sobre el cumplimiento de las reglas o fallar en realizar las maniobras necesarias al encontrarse con situaciones de tráfico complejas.

Metodología
Los autores proponen un marco de RL impulsado por falsificación que integra la generación de contraejemplos basada en optimización directamente en el bucle de entrenamiento de RL. El enfoque opera de la siguiente manera:

1. Especificaciones Formales: Las reglas de tráfico marítimo (encuentros de cruce, frente a frente y adelantamiento) se formalizan utilizando Lógica Temporal de Señales (STL). Los autores extienden las formalizaciones existentes con STL Consciente de Interfaz (IA-STL) para evaluar por separado la robustez del antecedente (la condición de encuentro) y la consecuencia (la maniobra requerida). Esta distinción permite al sistema diferenciar entre la satisfacción "vacía" (donde no ocurre ningún encuentro) y el cumplimiento "no vacío" (donde ocurre un encuentro y se maneja correctamente).
2. Proceso de Falsificación: En lugar del muestreo aleatorio, el sistema emplea algoritmos de optimización numérica (específicamente CMA-ES, PSO y Recocido Simulado) para generar escenarios de entrenamiento adversarios. El objetivo es encontrar secuencias de entrada para una embarcación adversaria que minimicen la robustez de la especificación STL con respecto a la política de RL actual.
   • La optimización apunta a la robustez de entrada (para forzar encuentros no vacíos) y a la robustez de salida (para forzar violaciones de reglas).
   • Se utiliza un método "Big-M" para priorizar la búsqueda de escenarios no vacíos donde el agente enfrenta realmente una situación de tráfico.
3. Bucle de Entrenamiento: Los contraejemplos generados (escenarios donde la política actual falla o apenas cumple) se añaden a un grupo de escenarios de tipo Primero en Entrar, Primero en Salir (FIFO). El agente de RL, entrenado utilizando Optimización de Política Proximal (PPO), se actualiza luego utilizando datos muestreados de este grupo, el cual se enriquece con estos escenarios difíciles y violadores de reglas.
4. Medidas de Robustez: El artículo introduce medidas específicas de robustez para predicados atómicos (posición, orientación, velocidad) escaladas al dominio del tiempo para prevenir efectos de enmascaramiento en el proceso de optimización. Estas medidas cuantifican el margen de seguridad o violación.

Contribuciones Clave

• Marco Algorítmico: Los autores proponen un algoritmo de RL impulsado por falsificación eficiente y práctico que genera contraejemplos para reglas de tráfico complejas de lógica temporal y los utiliza como escenarios de entrenamiento.
• Extensión de Formalización: El trabajo extiende las formalizaciones de reglas de tráfico marítimo con medidas de robustez evaluables eficientemente, adaptando específicamente IA-STL para manejar las estructuras de implicación inherentes a los COLREGs.
• Validación Empírica: El enfoque se evalúa utilizando múltiples métodos de falsificación (CMA-ES, PSO, SA) contra un agente de RL de línea base entrenado en escenarios aleatorios.

Resultados
Los experimentos realizados en escenarios de navegación en mar abierto que involucran a dos embarcaciones (una embarcación egoísta y una embarcación adversaria) demuestran:

• Mayor Compromiso: Los agentes impulsados por falsificación exhiben tasas de "compromiso" significativamente más altas (33–37% frente a 21% para la línea base), lo que significa que se encuentran e interactúan con situaciones de tráfico definidas por los COLREGs con mayor frecuencia durante las pruebas.
• Cumplimiento de Reglas: En una distribución de evaluación de línea base, los agentes impulsados por falsificación alcanzaron tasas de cumplimiento de reglas no vacías de aproximadamente 89–90%, en comparación con 78.3% para la línea base.
• Robustez: Las políticas impulsadas por falsificación mantuvieron valores de robustez de salida más altos, indicando un margen de seguridad mayor. En contraste, la política de línea base mostró robustez de salida negativa (indicando violaciones) cuando se probó en la distribución adversaria (de falsificación).
• Significancia Estadística: Las pruebas t de Welch confirmaron que las mejoras en la robustez de entrada (durante el entrenamiento) y la robustez de salida (durante las pruebas) son estadísticamente significativas ($p < 0.001$).
• Compensación: Los resultados destacan una compensación donde los agentes impulsados por falsificación a veces alcanzan tasas de llegada a la meta más bajas (por ejemplo, 45% frente a 75% en la distribución de línea base) a cambio de una adherencia significativamente mayor a las reglas de seguridad, priorizando la maniobra correcta sobre el comportamiento puramente dirigido a la meta en situaciones críticas.

Significancia y Afirmaciones
El artículo afirma ser la primera aplicación de RL impulsado por falsificación a la planificación de movimiento marítimo. Su principal significancia radica en demostrar que la integración de métodos formales (falsificación) con control basado en aprendizaje puede abordar sistemáticamente la escasez de escenarios de fallo críticos en los datos de entrenamiento. Al generar escenarios adversarios que apuntan específicamente a las debilidades de la política actual, el enfoque produce agentes con un cumplimiento de reglas más consistente.

Los autores notan modestamente que, aunque el enfoque mejora el cumplimiento, no lo garantiza en todos los escenarios de despliegue. Sugieren que para garantías de seguridad absolutas, la política aprendida debe combinarse con un controlador de salvaguardia. Además, el trabajo actual se centra en interacciones satisfactorias de dos embarcaciones; los autores reconocen que escalar a escenarios multiagente con obstáculos estáticos requiere un desarrollo adicional de conjuntos de reglas formales satisfactorias, ya que las extensiones ingenuas de reglas de dos embarcaciones pueden conducir a restricciones insatisfactorias. El trabajo se posiciona como un paso hacia cerrar la brecha entre la simulación y el despliegue en el mundo real, asegurando que los agentes se entrenen en las interacciones de alto riesgo más relevantes.