Resumen Técnico: Alcance Conforme para el Control Seguro en Entornos Desconocidos

1. Planteamiento del Problema

El artículo aborda el desafío de diseñar políticas de control provablemente seguras para sistemas autónomos que operan en entornos dinámicos desconocidos. Si bien el Aprendizaje por Refuerzo (RL) ha avanzado la autonomía, los enfoques estándar suelen carecer de garantías de seguridad rigurosas, optimizando típicamente para el rendimiento promedio o dependiendo de una seguridad empírica que falla en escenarios críticos de seguridad.

Las técnicas existentes de verificación y síntesis enfrentan limitaciones significativas:

• Suposiciones de Sistemas Conocidos/Deterministas: Muchos métodos asumen que la dinámica del sistema es conocida o determinista, lo cual rara vez es cierto en la práctica.
• Espacios de Estados/Acciones Finitos: Los enfoques suelen requerir espacios de estado o acción finitos, lo que limita su aplicabilidad a sistemas continuos.
• Escalabilidad y Suavidad: Los métodos formales como la alcanzabilidad de Hamilton-Jacobi no escalan bien con la complejidad del sistema, y muchos métodos basados en aprendizaje asumen dinámicas suaves o formas de modelo específicas (por ejemplo, Procesos Gaussianos).
• Garantías Aproximadas: Los métodos actuales de RL seguro a menudo proporcionan seguridad solo "en promedio" (por ejemplo, mediante MDPs restringidos) o en el límite, en lugar de ofrecer garantías probabilísticas de horizonte finito para dinámicas potencialmente estocásticas y desconocidas.

El problema central es aprender una política que maximice la recompensa acumulada mientras asegura que el sistema permanera dentro de un conjunto seguro $S_s$ para un horizonte de decisión $K$ con una garantía rigurosa de alta probabilidad, a pesar de no tener conocimiento previo de la dinámica del sistema $P$ o de la función de recompensa $r$.

2. Metodología: ReCORS

Los autores proponen ReCORS (Reachability with COnformal uncertainty sets for Reinforcement learning with Safety guarantees), un marco que integra RL basado en modelos y libre de modelos con la Predicción Conforme (CP) y el análisis de alcanzabilidad.

2.1 Aproximación de la Dinámica del Sistema

El método aprende un modelo de dinámica paramétrico de tiempo discreto $\hat{f}_\beta$ (una red neuronal) que mapea pares estado-acción a los siguientes estados predichos.

• Entrenamiento Consciente de la Seguridad: A diferencia del aprendizaje de dinámica estándar, la función de pérdida para $\hat{f}_\beta$ incorpora pesos de seguridad. Las dimensiones del espacio de estados que son más críticas para las restricciones de seguridad (por ejemplo, la proximidad a obstáculos) reciben pesos más altos en la pérdida $\ell_2$. Esto prioriza la precisión de la predicción en dimensiones críticas de seguridad, incluso si aumenta ligeramente el error de predicción general.
• Pipeline de Entrenamiento: El modelo se preentrena con acciones aleatorias y luego se ajusta iterativamente junto con la política utilizando datos recolectados de la política actual.

2.2 Análisis de Seguridad Conforme (CSA)

Para proporcionar garantías probabilísticas sin asumir distribuciones de dinámica específicas, ReCORS emplea la Predicción Conforme (CP).

• Cuantificación de la Incertidumbre: La CP se utiliza para generar intervalos de predicción válidos (conjuntos de incertidumbre) para el modelo de dinámica. Para un estado y una acción dados, el siguiente estado real está garantizado dentro del intervalo $[\hat{f}(s,a) - \eta, \hat{f}(s,a) + \eta]$ con una probabilidad de $1-\alpha$.
• Límites a Nivel de Trayectoria: Para evitar límites de unión excesivamente conservadores sobre los pasos de tiempo, los autores utilizan un puntaje de no conformidad a nivel de trayectoria (basado en Cleaveland et al. [12]). Esto optimiza los pesos para cada paso de tiempo para producir límites más ajustados a lo largo de todo el horizonte $K$.
• Verificación de la Alcanzabilidad: Utilizando la dinámica aprendida $\hat{f}_\beta$ y los límites de incertidumbre conformal $\eta$, el sistema realiza un análisis de alcanzabilidad hacia adelante. Verifica si el conjunto alcanzable de estados en cualquier tiempo $t \in [1, K]$ intersecta con el conjunto inseguro $S_u$.
• Distribución del Estado Inicial: El marco tiene en cuenta la incertidumbre en la distribución del estado inicial $\rho$ aplicando límites de cola de muestra finita (desigualdad de Hoeffding) a los resultados de la verificación empírica, asegurando que la garantía de seguridad se cumpla para toda la distribución, no solo para los estados iniciales muestreados.

2.3 Pipeline de Entrenamiento Diferenciable

Una innovación clave es hacer que el proceso de verificación de seguridad sea diferenciable para permitir la optimización de la política de extremo a extremo.

• Predictor Conforme Neuronal: Una red neuronal separada $\eta_\omega$ se entrena para predecir los umbrales de conformidad $\eta$. Esto reemplaza el cálculo de cuantiles no diferenciable en la CP estándar.
• Funciones de Pérdida:
  • Pérdida Conforme: Combina un término de eficiencia (minimizar el tamaño del conjunto de predicción) y un término de cobertura (asegurar que la cobertura empírica cumpla con el objetivo $1-\alpha$).
  • Pérdida de Seguridad: Penaliza explícitamente la violación máxima de seguridad durante el horizonte y fomenta la mejora de los puntajes de seguridad desde el paso inicial al final.
• Optimización Conjunta: La política (actor), el crítico, el modelo de dinámica y el predictor conforme se optimizan conjuntamente. La pérdida total combina el objetivo de recompensa estándar de RL con las pérdidas conformal y de seguridad.
• Aprendizaje por Currículo: El algoritmo emplea una estrategia de currículo, comenzando con un horizonte de seguridad corto $K_0$ e incrementándolo gradualmente a medida que la política logra la seguridad demostrable, permitiendo que el sistema aprenda comportamientos complejos de forma gradual.

3. Contribuciones Clave

1. Análisis de Seguridad Conforme (CSA): Un marco novedoso que combina la predicción conforme con el análisis de alcanzabilidad para el control basado en aprendizaje en sistemas dinámicos desconocidos. Proporciona garantías de seguridad probabilísticas rigurosas sin asumir suavidad o formas específicas de las dinámicas subyacentes.
2. Aprendizaje de Política Segura Demostrable: Un marco de entrenamiento que integra RL libre de modelos (para la maximización de la recompensa) con la estimación de alcanzabilidad basada en modelos (para la seguridad). Impone restricciones de seguridad estrictas mediante funciones de pérdida diferenciables derivadas de conjuntos de incertidumbre conformal.
3. Evaluación Exhaustiva: Experimentos extensos a través de siete entornos (incluyendo Cartpole, Lane Following, Cuadricópteros 2D/3D, CarGoal y HalfCheetah) con especificaciones de seguridad lineales (afines) y no lineales.

4. Resultados Experimentales

Los autores evaluaron ReCORS contra cinco líneas base de vanguardia (PPOLag, PCPO, CRPO, P3O, RESPO).

• Seguridad Verificada: ReCORS logró garantías de seguridad demostrables significativamente más fuertes que todas las líneas base. Por ejemplo, en el entorno Cartpole, las líneas base fallaron en proporcionar garantías útiles más allá de un horizonte de $K=20$, mientras que ReCors mantuvo garantías de seguridad de alta probabilidad hasta $K \ge 50$.
• Compromiso entre Recompensa y Seguridad: Aunque algunas líneas base lograron mayores recompensas, lo hicieron a costa de propiedades de seguridad deficientes (violaciones frecuentes). ReCORS fue el único método que logró consistentemente tanto un alto rendimiento como seguridad verificada. En algunos dominios (por ejemplo, Cuadricóptero 2D), ReCORS superó a todas las líneas base tanto en recompensa como en seguridad.
• Restricciones No Lineales: El enfoque manejó con éxito restricciones de seguridad no lineales (por ejemplo, distancia segura en Cuadricóptero 2D), superando a las líneas base que fallaron en verificar la seguridad o que resultaron en comportamientos conservadores (por ejemplo, drones permaneciendo estacionarios).
• Estudios de Ablación: Los resultados confirmaron la importancia de los pesos conscientes de la seguridad en el entrenamiento de la dinámica y la optimización conjunta de la dinámica y los modelos de incertidumbre.

5. Significado y Pretensiones

El artículo pretende presentar un enfoque novedoso que cierra la brecha entre el aprendizaje de alto rendimiento y la verificación de seguridad rigurosa en entornos desconocidos. Su importancia radica en:

• Eliminación de Suposiciones Restrictivas: A diferencia de trabajos previos, no asume dinámicas conocidas, deterministas o suaves, ni requiere espacios de estados finitos.
• Garantías Libres de Distribución: Al aprovechar la predicción conforme, proporciona una cuantificación de la incertidumbre estadísticamente calibrada y libre de distribución, lo que hace que las garantías de seguridad sean robustas ante errores de modelo y estocasticidad desconocida.
• Escalabilidad: La formulación de alcanzabilidad de pasos finitos en tiempo discreto escala mejor con la complejidad del sistema en comparación con los métodos basados en EDP de Hamilton-Jacobi.
• Aplicabilidad Práctica: El método se demuestra efectivo en diversos dominios, ofreciendo un camino viable hacia la autonomía confiable donde la seguridad no puede comprometerse por el rendimiento.

Los autores reconocen limitaciones, señalando que el enfoque actual asume la observabilidad perfecta del estado del sistema, lo cual sigue siendo un problema abierto para trabajos futuros.