Joint Chance Constrained Safe-Optimal Control

Resumen Técnico: Control Seguro-Óptimo con Restricción de Probabilidad Conjunta

Formulación del Problema
El artículo aborda las limitaciones del control óptimo estándar con Restricción de Probabilidad Conjunta (JCC, por sus siglas en inglés) para sistemas estocásticos. En las formulaciones JCC tradicionales, el objetivo es minimizar el costo esperado de todas las trayectorias (tanto seguras como inseguras) sujeto a una restricción de que la probabilidad de permanecer dentro de un conjunto seguro supere un umbral $\alpha$. Los autores argumentan que este enfoque estándar crea un incentivo perverso: el controlador puede violar deliberadamente las restricciones de seguridad para explotar trayectorias de bajo costo, siempre que la probabilidad general de seguridad se mantenga por encima de $\alpha$. Este comportamiento es indeseable en aplicaciones donde las violaciones de restricciones son catastróficas e irreversibles (por ejemplo, accidentes de aviones, fallos en dispositivos médicos), ya que el costo de una trayectoria fallida no debería contribuir al objetivo de optimización.

Para abordar esto, el artículo propone un problema de Control Seguro-Óptimo con Restricción de Probabilidad Conjunta. El objetivo se modifica para minimizar el costo esperado de solo las trayectorias seguras, mientras se sigue imponiendo la restricción de probabilidad conjunta de que la probabilidad de seguridad sea al menos $\alpha$. A las trayectorias inseguras se les asigna efectivamente un costo de cero en la función objetivo, eliminando el incentivo de "sacrificar" la seguridad para obtener ahorros de costos.

Metodología
La contribución metodológica central es la reformulación de este problema no markoviano en un marco resoluble:

1. MDP de Espacio de Estados Aumentado: Los autores demuestran que el problema de Control Seguro-Óptimo puede plantearse como un Proceso de Decisión de Markov Restringido (CMDP) sobre un espacio de estados aumentado $Z = X \times C$, donde $X$ es el espacio de estados original y $C$ representa el costo acumulado.

   • La evolución del estado incluye un acumulador de costo determinista.
   • Se introducen un paso de tiempo virtual adicional y una entrada binaria para manejar la función de ponderación de la trayectoria $a(\cdot)$, la cual selecciona si una trayectoria contribuye al costo/restricción basándose en su seguridad y costo total.
   • Esta transformación permite el uso de técnicas estándar de Programación Dinámica (DP), las cuales no son directamente aplicables a la formulación original debido a su dependencia de la historia completa de la trayectoria.

2. Aproximación y Límites de Error: Para sistemas con espacios de estados continuos, los autores emplean una abstracción de rejilla para discretizar los espacios de estado, costo y acción. Derivan límites teóricos sobre el error de seguridad introducido por esta discretización. Específicamente, muestran que si una política logra una seguridad $\alpha$ en el MDP discretizado, la seguridad en el sistema continuo original está acotada inferiormente por $\alpha - N h_x M_x \mu \Delta x$, donde los parámetros se relacionan con el tamaño de la rejilla, las constantes de Lipschitz del núcleo de transición y el número de pasos de tiempo. Esto permite ajustar las restricciones en el problema discretizado para garantizar la seguridad en el sistema continuo.

3. Enfoques de Solución: El artículo evalúa dos métodos de solución:

   • Programación Dinámica (DP): Resuelve el dual de Lagrange del CMDP mediante iteración de valor y bisección sobre el multiplicador dual $\lambda$.
   • Aprendizaje por Refuerzo (RL): Implementa un marco de aprendizaje lexicográfico utilizando el algoritmo Soft-Actor-Critic (SAC). Esto implica un proceso de entrenamiento de dos etapas: primero, maximizar la probabilidad de alcanzar-evitar (reach-avoid), y luego ajustar el multiplicador de Lagrange para cumplir con el umbral de seguridad específico $\alpha$.

Contribuciones Clave

• Definición de un Nuevo Problema: Introducción de un problema de control que minimiza únicamente el costo de las trayectorias seguras, desacoplando el costo de las trayectorias inseguras del objetivo de optimización.
• Reformulación Teórica: Demostración de que el problema de Control Seguro-Óptimo es equivalente a un CMDP en un espacio de estados aumentado, lo que permite el uso de DP.
• Garantías de Seguridad: Derivación de límites explícitos sobre la seguridad de la política al resolver el problema mediante aproximaciones de rejilla en espacios de estados continuos.
• Validación Empírica: Experimentos numéricos exhaustivos que comparan el enfoque propuesto con el control JCC estándar y soluciones de RL.

Resultados Experimentales
Los autores validan su enfoque en un sistema de uniciclo 2D simulado en entornos de alcance-evitación (reach-avoid) con obstáculos.

• Diferencias de Comportamiento: Se observó que las políticas JCC estándar (que minimizan el costo de todas las trayectorias) tienden a "rendirse" en alcanzar el objetivo para evitar rutas seguras de alto costo, resultando a menudo en trayectorias de bajo costo que permanecen cerca del estado inicial o toman atajos inseguros. En contraste, las políticas Seguro-Óptimas propuestas optimizan exclusivamente para trayectorias exitosas y seguras.
• Métricas de Desempeño: En simulaciones de Monte Carlo, el enfoque Seguro-Óptimo logró costos de actuación más bajos para las trayectorias seguras en comparación con el JCC estándar, manteniendo la probabilidad de seguridad requerida. El JCC estándar logró un costo esperado total más bajo solo porque incluía los costos de muchas trayectorias de bajo costo, inseguras (o que no alcanzan el objetivo).
• DP vs. RL: La DP generalmente superó al RL en la búsqueda de políticas óptimas, particularmente en entornos complejos (por ejemplo, "Simple-Slit"), donde el RL convergió a soluciones conservadoras y localmente óptimas. Sin embargo, el RL demostró la capacidad de manejar la estructura del problema, aunque requirió tiempos de computación significativamente más largos (90–130 minutos frente a <2 minutos para DP). Los autores señalan que, si bien la DP escala exponencialmente con la dimensión del estado, el RL suele preferirse para problemas de alta dimensión en el mundo real donde la DP es inviable.

Significancia y Reivindicaciones
El artículo sostiene que la formulación JCC estándar es fundamentalmente defectuosa para sistemas con restricciones irreversibles porque incentiva las violaciones de restricciones para reducir costos. Al cambiar el objetivo para minimizar únicamente el costo de las trayectorias seguras, el método propuesto se alinea con la intuición práctica: el costo de un vehículo accidentado o de un procedimiento médico fallido es irrelevante para el costo operativo de misiones exitosas. Los autores afirman que su formulación evita el comportamiento de "rendirse" de los controladores estándar y proporciona un marco matemáticamente riguroso (vía reformulación de CMDP y DP) para lograr un control seguro y de costo óptimo. Concluyen que, si bien la DP es actualmente el solver superior para la formulación propuesta en entornos de baja dimensión, el marco abre vías para aplicar estos principios a una gama más amplia de restricciones de lógica temporal y sistemas del mundo real.