Approximating Safety Feedback Without a Safety Oracle via Model Predictive Control

Resumen Técnico: Aproximación de Retroalimentación de Seguridad sin un Oráculo de Seguridad mediante Control Predictivo de Modelo

Enunciado del Problema
La toma de decisiones segura para robots móviles a menudo depende de la existencia de un "oráculo de seguridad"—un mecanismo para verificar si las acciones propuestas violan las restricciones de seguridad. Los métodos actuales, como las Funciones de Barrera de Control, los Tubos de Alcanzabilidad Inversa y los discriminadores de Aprendizaje por Refuerzo Seguro (Safe RL), generalmente requieren conocimiento previo de restricciones de seguridad explícitas o acceso a etiquetas de seguridad de verdad fundamental durante el entrenamiento. Sin embargo, en entornos complejos (por ejemplo, navegación a alta velocidad en terrenos irregulares o manipulación robótica en celdas de trabajo abiertas), las restricciones de seguridad suelen ser implícitas, difíciles de modelar matemáticamente o incompletamente comprendidas. Aunque los simuladores pueden modelar dinámicas complejas, no proporcionan intrínsecamente una función de seguridad. Los enfoques existentes que intentan aprender proxies de seguridad (por ejemplo, mediante Procesos Gaussianos o discriminadores de aprendizaje profundo) a menudo requieren una verdad fundamental observable para el etiquetado o hacen suposiciones fuertes sobre la suavidad de la función de seguridad, limitando su aplicabilidad en el mundo real. Además, muchos métodos de exploración reversible aún corren el riesgo de tomar acciones inseguras durante el proceso de aprendizaje.

Metodología: SAVMPC
El artículo propone Evaluación de Seguridad mediante Control Predictivo de Modelo (SAVMPC), un algoritmo de filtrado diseñado para aproximar la retroalimentación de seguridad sin acceso directo a un oráculo de seguridad ni restricciones diseñadas manualmente. El método opera bajo dos supuestos principales:

1. Invarianza Positiva de los Estados Inseguros: El espacio de estados inseguros ($X_{unsafe}$) es positivamente invariante, lo que significa que una vez que un agente entra en un estado inseguro, no puede recuperarse a un estado seguro.
2. Reversibilidad como Proxy: Si un agente puede transitar desde un estado actual $x$ a un estado futuro $x'$ y posteriormente encontrar una secuencia de acciones para regresar desde $x'$ de vuelta a $x$, entonces $x$ y $x'$ pertenecen al mismo conjunto. Dada la invarianza positiva de $X_{unsafe}$, si existe una ruta de retorno a un estado seguro conocido, los estados intermedios también son seguros.

Flujo de Trabajo Algorítmico:
SAVMPC funciona como un escudo durante la selección de acciones:

1. Propuesta de Acción: La política de control $\pi$ propone una acción $u$ en el estado $x$.
2. Proyección hacia Adelante: La acción se proyecta hacia adelante utilizando un simulador (dinámica de caja negra $f_{dyn}$) hasta un estado candidato siguiente $x'$.
3. Verificación de Reversibilidad: El algoritmo emplea el controlador Integral de Trayectoria Predictiva de Modelo (MPPI) para intentar encontrar una secuencia de acciones que transite al agente desde $x'$ de vuelta al estado original $x$ (o a un estado anterior en la trayectoria).
   • Esto se formula como un problema de factibilidad: encontrar una secuencia de control $u_0, \dots, u_{T-1}$ tal que la trayectoria resultante alcance $x$ dentro de una tolerancia $\delta$ en un horizonte de tiempo $T$.
4. Decisión:
   • Si MPPI encuentra una ruta de retorno válida, la acción $u$ se considera segura y se ejecuta.
   • Si no se encuentra ninguna ruta de retorno dentro del límite de muestreo, la acción se rechaza y la política vuelve a muestrear. Si el re-muestreo falla después de $N$ intentos, la trayectoria se aborta y el entorno se reinicia.

Este enfoque permite que el sistema verifique la seguridad asegurando que ninguna acción conduzca a un "callejón sin salida" desde el cual el agente no pueda regresar a una región segura conocida.

Contribuciones Clave

1. Algoritmo SAVMPC: Un algoritmo de filtrado novedoso que permite la selección segura de acciones planificando hacia atrás hacia estados seguros conocidos utilizando la reversibilidad, eliminando la necesidad de restricciones construidas manualmente o etiquetas de seguridad de verdad fundamental.
2. Estimación Conservadora de Restricciones: Una extensión del algoritmo de planificación de reversibilidad que calcula explícitamente una estimación conservadora de las restricciones ambientales desconocidas.
3. Validación Empírica: Evaluación de SAVMPC como un escudo en el entrenamiento de Aprendizaje por Refuerzo (RL), demostrando un rendimiento comparable a los escudos basados en oráculos, mientras supera a otros enfoques basados en reversibilidad (RAC, LNT) en términos de garantías de seguridad.

Resultados Experimentales
Los autores evaluaron SAVMPC en dos entornos: Péndulo de Carrito Continuo y Navegación Bidimensional.

• Estudio de Discrepancias: En una simulación con 300.000 trayectorias, SAVMPC se comparó con un oráculo de seguridad de verdad fundamental. Los resultados mostraron que SAVMPC produce falsos negativos cero (nunca clasifica un estado inseguro como seguro). Las discrepancias ocurrieron principalmente cerca de los límites de las restricciones, donde el algoritmo fue más conservador (sobre-estimando la región insegura) al utilizar tolerancias de seguridad más estrictas ($\delta$).
• Rendimiento en el Entrenamiento de RL:
  • Péndulo de Carrito Continuo: SAVMPC logró una recompensa final comparable a la del algoritmo PPO equipado con un escudo de Oráculo de Seguridad verdadero y significativamente mayor que la del PPO base, RAC y Leave No Trace (LNT). Crucialmente, SAVMPC mantuvo 0.0% de violaciones de restricciones, mientras que los métodos base y otros reversibles incurrieron en violaciones significativas (hasta un 77.3%).
  • Navegación 2D: SAVMPC superó al escudo de Oráculo de Seguridad en recompensa final (842.74 vs. 782.23) mientras mantenía 0.0% de violaciones de restricciones. Convergió más rápido que otros métodos, atribuido a que su aproximación conservadora reduce efectivamente el espacio de exploración.
  • Comparación: A diferencia de RAC y LNT, que aprendieron aproximaciones de seguridad con el tiempo y aún incurrieron en violaciones, SAVMPC hizo cumplir la seguridad desde el primer paso sin información privilegiada.

Significado y Afirmaciones
El artículo afirma que SAVMPC ofrece una solución práctica para la toma de decisiones segura en entornos donde las restricciones de seguridad son complejas o desconocidas. Al aprovechar el supuesto de invarianza positiva y la potencia computacional de MPPI dentro de un simulador, el método aproxima el rendimiento de un oráculo de seguridad sin requerir etiquetas de verdad fundamental. Los autores enfatizan que el algoritmo asegura que un agente tome cero acciones inseguras en el entorno subyacente, cerrando efectivamente la brecha entre las garantías de seguridad teóricas y las limitaciones prácticas de modelar restricciones físicas complejas. El trabajo sugiere que la reversibilidad puede servir como un proxy robusto y libre de datos para la seguridad en escenarios donde el modelado tradicional de restricciones es inviable.