Solving Parameter-Robust Avoid Problems with Unknown Feasibility using Reinforcement Learning

Resumen Técnico: Solución de Problemas de Evitación Robusta con Parámetros Desconocidos mediante Aprendizaje por Refuerzo

1. Planteamiento del Problema

El artículo aborda un desafío fundamental en la síntesis de controladores seguros: la brecha entre la síntesis óptima de controladores seguros (basada en análisis de Hamilton-Jacobi, HJ) y el Aprendizaje por Refuerzo (RL) profundo.

• El Conflicto: La síntesis segura busca maximizar el conjunto de estados iniciales desde los cuales un sistema puede permanecer seguro indefinidamente (garantía de peor caso). Por el contrario, el RL estándar optimiza el retorno esperado sobre una distribución de estados iniciales especificada por el usuario. Esto genera una desalineación: las políticas aprendidas pueden funcionar bien en estados frecuentes de la distribución, pero fallar catastróficamente en regiones de baja densidad que aún son seguras y operativas.
• El Problema de Robustez: Una solución natural es formular el problema como una optimización robusta sobre un conjunto de condiciones iniciales (parámetros $\theta$ que definen el estado inicial, dinámica y conjunto seguro). Sin embargo, esto presenta un obstáculo crítico: la factibilidad es desconocida a priori. No se sabe qué subconjunto de parámetros es factible (es decir, para cuáles existe una política que garantiza la seguridad).
• El Dilema: Si se intenta resolver un problema robusto sobre un conjunto que incluye parámetros no factibles, el objetivo se vuelve trivial (todas las políticas fallan igual en el peor caso), impidiendo el aprendizaje de políticas útiles.

El objetivo es resolver el Problema de Evitación Robusta con Parámetros de Factibilidad Desconocida: encontrar simultáneamente el subconjunto más grande de parámetros factibles ($\Theta^*$) y una política segura que funcione para todos ellos.

2. Metodología: Exploración Guiada por Factibilidad (FGE)

Los autores proponen FGE (Feasibility-Guided Exploration), un marco que intercala la estimación del conjunto factible con la optimización robusta de la política. El método se basa en tres componentes clave:

A. Estimación del Conjunto de Parámetros Factibles ($\Theta^*$)
Dado que las etiquetas de factibilidad son asimétricas (una simulación segura confirma factibilidad, pero una insegura no confirma infeasibilidad), el aprendizaje supervisado estándar falla.

• Clasificador Conservador: FGE entrena un clasificador $q_\psi$ que nunca marca un parámetro no factible como factible (cero falsos positivos).
• Distribución de Mezcla: Utiliza una distribución de datos $p_{mix}$ que combina:
  1. Muestras positivas confiables de parámetros observados como seguros ($D_f$).
  2. Muestras "ruidosas" de simulaciones en línea (on-policy) que pueden contener falsos negativos.
• Mecanismo: Al ajustar el coeficiente de mezcla $\alpha$, se logra un clasificador que tiene una tasa de falsos negativos controlable pero cero falsos positivos, permitiendo identificar con seguridad la frontera de factibilidad.

B. Optimización Robusta mediante Búsqueda de Punto de Silla
Una vez estimado un conjunto factible aproximado, el problema se formula como un juego minimax (encontrar el punto de silla).

• Enfoque: En lugar de usar un oponente adversario simple (como en RARL), FGE utiliza técnicas de aprendizaje en línea (Follow-the-Regularized-Leader, FTRL).
• Estabilidad: El algoritmo alterna entre:
  1. Actualizar la política $\pi$ para maximizar la seguridad sobre el conjunto de parámetros actuales.
  2. Actualizar el parámetro adversario $\theta$ para encontrar el peor caso dentro del conjunto factible estimado.
• Ventaja: El uso de FTRL proporciona garantías de convergencia (regret sublineal) y mayor estabilidad que los métodos basados en gradiente ascendente-descente (GDA), evitando oscilaciones cuando el peor caso cambia.

C. Expansión del Conjunto Factible (Exploración)
Para evitar que el algoritmo se estanque en un conjunto factible pequeño (bucle de retroalimentación negativa), FGE introduce una distribución de exploración explícita.

• Muestreo por Rechazo: Utiliza el clasificador de factibilidad para identificar regiones que se estiman no factibles pero que podrían serlo. Muestrea proactivamente estos parámetros para que la política intente resolverlos.
• Buffer de Ensayo (Rehearsal Buffer): Mantiene un registro de parámetros factibles difíciles que la política actual aún no resuelve bien, asegurando que la distribución de entrenamiento se concentre en los casos más desafiantes dentro del conjunto factible.

La distribución final de entrenamiento es una mezcla de:

1. Distribución Base: Para mantener el soporte del espacio.
2. Distribución de Exploración: Para expandir el conjunto factible.
3. Distribución de Ensayo: Para refinar la política en casos difíciles ya conocidos.

3. Contribuciones Clave

1. Formalización del Problema: Definen formalmente el problema de control óptimo seguro robusto con factibilidad desconocida, que requiere la selección conjunta de una región de parámetros factibles maximal y una política segura.
2. Marco Práctico (FGE): Proponen un algoritmo que intercala la expansión guiada por restricciones del conjunto factible y la optimización robusta mediante técnicas de punto de silla y aprendizaje en línea.
3. Rendimiento Superior: Demuestran empíricamente que FGE aprende políticas con más del 50% más de cobertura (conjunto de parámetros seguros) que los métodos existentes en tareas desafiantes de alta dimensión.

4. Resultados Experimentales

El método se evaluó en una suite de entornos de simulación (MuJoCo, escenarios de conducción, avión de ala fija) con observaciones de alta dimensión (incluyendo imágenes RGB).

• Comparativa: FGE superó consistentemente a:
  • RL Robusto: Domain Randomization (DR), RARL.
  • Curriculum Learning: VDS, PLR.
  • Diseño de Entorno No Supervisado (UED): PAIRED, FARR, ACCEL, SFL.
• Métricas:
  • Tasa de Seguridad: FGE alcanzó las tasas más altas en todos los entornos.
  • Ganancia de Cobertura: FGE descubrió y resolvió parámetros "difíciles" (raros o complejos) que otros métodos no podían hacer seguros.
  • Pérdida de Cobertura: FGE mantuvo la seguridad en parámetros "fáciles" sin sacrificar cobertura, a diferencia de métodos como RARL que mostraron inestabilidad.
• Escalabilidad: El método funcionó eficazmente con observaciones de imágenes (Lander2D) y espacios de parámetros de alta dimensión (Lander9D, FixedWing).
• Análisis de Ablación: Se demostró que tanto la distribución de exploración (para expandir el conjunto) como el buffer de ensayo (para estabilidad) son componentes críticos; eliminar cualquiera de ellos degrada significativamente el rendimiento.

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre la teoría de control seguro (HJ) y el aprendizaje por refuerzo práctico en escenarios donde la seguridad no está garantizada para todos los parámetros posibles.

• Superación de Limitaciones Previas: A diferencia de métodos que asumen factibilidad en el peor caso (lo cual es irrealista) o que dependen de distribuciones fijas, FGE aprende qué es seguro mientras aprende a ser seguro.
• Aplicabilidad Real: Es crucial para aplicaciones de seguridad crítica (conducción autónoma, aviación, robótica) donde los entornos operativos son inciertos y no se conoce de antemano qué condiciones extremas son manejables.
• Eficiencia de Muestreo: FGE demuestra que una estrategia de muestreo inteligente, guiada por un clasificador de factibilidad, es superior a las heurísticas de aprendizaje por refuerzo tradicionales para encontrar soluciones robustas en espacios de parámetros complejos.

En resumen, FGE ofrece un marco robusto y escalable para sintetizar controladores seguros que maximizan el conjunto de operaciones posibles en sistemas dinámicos complejos, incluso cuando la factibilidad de esos sistemas es inicialmente desconocida.