Resumen Técnico: Aprovechamiento de Gradientes Analíticos en Aprendizaje por Refuerzo Provablemente Seguro

Enunciado del Problema

El despliegue de robots autónomos en aplicaciones críticas para la seguridad requiere garantías de seguridad rigurosas. Si bien el Aprendizaje por Refuerzo (RL) a menudo supera al control clásico en entornos inciertos y de alta dimensión, carece de garantías de seguridad inherentes. Surge un desafío crítico al entrenar agentes en simulación para su despliegue en el mundo real (la brecha "simulación a realidad"). Si el entrenamiento ocurre sin salvaguardas, el agente puede converger hacia políticas que dependen de estados o acciones inseguras. Cuando se aplica posteriormente una salvaguarda durante el despliegue, puede restringir la política a regiones subóptimas o causar fallos en paisajes de objetivos no convexos, porque el agente nunca aprendió soluciones seguras alternativas.

Aunque existen varios enfoques de salvaguarda para RL basado en muestreo (por ejemplo, PPO, SAC), que se basan en teoremas de gradiente de política, existe una falta de mecanismos de salvaguarda para RL basado en gradientes analíticos. Estos métodos analíticos (por ejemplo, Actor-Critic de Horizonte Corto, SHAC) utilizan simuladores diferenciables para calcular gradientes exactos de primer orden de la recompensa con respecto a las acciones mediante retropropagación. Las salvaguardas existentes, a menudo diseñadas como pasos de postprocesamiento para métodos basados en muestreo, no pueden aplicarse ingenuamente a paradigmas basados en gradientes analíticos porque pueden interrumpir el grafo computacional diferenciable requerido para la retropropagación o no proporcionar las señales de gradiente necesarias para la optimización de la política.

Metodología

Los autores proponen un marco para la optimización de políticas provablemente segura utilizando gradientes analíticos. El enfoque central integra una capa de salvaguarda diferenciable entre la salida de la política y la dinámica del entorno.

1. Marco y Diferenciabilidad

El marco trata la salvaguarda como un mapa diferenciable $g: \mathcal{A} \to \mathcal{A}_s$, donde $\mathcal{A}$ es el espacio de acciones factible y $\mathcal{A}_s$ es el conjunto de acciones seguras. La política $\pi$ emite una acción $a_i$, que se transforma en una acción segura $a_{s,i} = g(a_i)$. El entorno luego transiciona a $s_{i+1}$ y genera una recompensa $r_i$. Para entrenar la política, se calcula el gradiente de la recompensa con respecto a los parámetros de la política mediante retropropagación a través de toda la cadena, incluida la salvaguarda:
$$\frac{\partial r_i}{\partial a_i} = \left( \frac{\partial r_i}{\partial a_{s,i}} + \frac{\partial r_i}{\partial s_{i+1}}\frac{\partial s_{i+1}}{\partial a_{s,i}} \right) \frac{\partial a_{s,i}}{\partial a_i}$$
Esto requiere que la salvaguarda sea subdiferenciable (idealmente $C^1$) y que proporcione jacobianos de rango completo para evitar la disminución de la señal de aprendizaje.

2. Conjuntos de Acciones Seguras y Representación

Los autores utilizan zonotopos para representar conjuntos seguros debido a su compacidad y clausura bajo mapas lineales. Distinguen entre:

• Conjuntos de Acciones Seguras Especificados: Restricciones definidas directamente.
• Conjuntos de Acciones Seguras Derivados: Calculados mediante análisis de alcanzabilidad (por ejemplo, conjuntos invariantes de control robusto) para garantizar que la ejecución de una acción mantenga el sistema dentro de un conjunto de estados seguros $S_s$.

3. Mecanismos de Salvaguarda y Modificaciones

El artículo analiza y adapta dos métodos existentes de salvaguarda diferenciable:

• Proyección de Frontera (BP): Mapea una acción insegura al punto más cercano en la frontera del conjunto seguro.

  • Problema: No es $C^1$ en todas partes y tiene jacobianos de rango deficiente en la dirección de la proyección, eliminando efectivamente los gradientes para acciones paralelas a la dirección de proyección.
  • Modificación: Los autores introducen un término de regularización en la función de pérdida ($l(a, s, a_s) = l_r(a_s, s) + c_d \|a_s - a\|_2^2$). Esto aumenta el gradiente en la dirección del mapeo, compensando la deficiencia de rango y alentando a la política a preferir acciones seguras.

• Máscara de Rayo (RM): Mapea acciones radialmente hacia un "centro seguro" $c_{As}$ dentro del conjunto seguro.

  • Problema: La máscara de rayo lineal estándar altera significativamente las acciones seguras y tiene gradientes disminuidos en la dirección del mapeo.
  • Modificaciones:
    1. Regularización: Similar a BP, para empujar hacia la seguridad.
    2. Paso Directo (Passthrough): Reemplazar el jacobiano con una matriz identidad para una computación más rápida y una propagación de gradiente sin obstáculos (válido solo si se sabe que la acción óptima es segura).
    3. Máscara de Rayo Hiperbólica (HRM): Una nueva función de mapeo que utiliza una tangente hiperbólica ($\tanh$) para mapear acciones inseguras cerca de la frontera mientras perturba mínimamente las acciones seguras. Esto mantiene un jacobiano completo y un mapeo suave.

4. Aproximación del Centro Seguro

Para conjuntos de acciones seguras derivados donde el centro no está definido explícitamente, el artículo propone dos métodos de aproximación:

• Aproximación Zonotópica: Maximizar el volumen de un zonotopo contenido.
• Aproximación Ortogonal: Atravesar el conjunto seguro ortogonalmente a la frontera y tomar el punto medio.
  Los experimentos sugieren que el enfoque zonotópico produce una convergencia y políticas finales superiores debido a sus propiedades de mapeo continuo.

Contribuciones Clave

1. Primer RL de Gradiente Analítico Provablemente Seguro: El artículo presenta el primer enfoque de salvaguarda efectivo diseñado específicamente para el aprendizaje por refuerzo basado en gradientes analíticos.
2. Análisis Teórico: Un análisis en profundidad de las salvaguardas diferenciables, identificando las propiedades requeridas (seguridad, subdiferenciabilidad, jacobianos de rango completo, intervención mínima, velocidad) y demostrando cómo los métodos existentes no cumplen con ellas sin modificación.
3. Adaptaciones Algorítmicas: El desarrollo de modificaciones dirigidas, incluidas funciones de pérdida regularizadas para la proyección de frontera y una nueva máscara de rayo hiperbólica, para garantizar una propagación de gradiente efectiva.
4. Evaluación Empírica: Una evaluación exhaustiva en tres tareas de control (péndulo, cuadricóptero y gestión de energía) comparando métodos de gradiente analítico (SHAC) contra baselines basados en muestreo (PPO, SAC) bajo entrenamiento inseguro y salvaguardado.

Resultados

Los autores evaluaron su enfoque utilizando el algoritmo SHAC contra las líneas base PPO y SAC en tres entornos:

• Eficiencia de Muestreo: En tareas de equilibrio (péndulo, cuadricóptero), el aprendizaje de gradiente analítico salvaguardado (SHAC) logró retornos finales superiores o comparables con menos interacciones con el entorno que los métodos basados en muestreo.
• Preservación del Rendimiento: Contrario al temor de que las salvaguardas degraden el rendimiento, las salvaguardas modificadas (específicamente BP regularizada y HRM) permitieron que SHAC alcanzara retornos al nivel de, o superiores a, el entrenamiento inseguro en tareas de equilibrio.
• Tarea de Sistema de Energía: En la tarea de gestión de energía (caracterizada por alto ruido), SHAC inicialmente tuvo un rendimiento inferior al de PPO en configuraciones inseguras. Sin embargo, en el entrenamiento salvaguardado, SHAC mostró una mejora significativa, reduciendo la brecha de rendimiento con PPO. Los autores atribuyen esto al efecto estabilizador de los gradientes disminuidos en entornos ruidosos.
• Convergencia: La introducción de regularización redujo significativamente el número de ejecuciones que no convergieron, particularmente para la proyección de frontera en la tarea de péndulo unidimensional donde la pérdida de gradiente era anteriormente fatal.
• Sobrecarga Computacional: La salvaguarda introduce costos computacionales. La proyección de frontera aumentó el tiempo de entrenamiento en aproximadamente 5 veces, y la Máscara de Rayo en casi 10 veces en comparación con el entrenamiento inseguro, principalmente debido a los solucionadores de optimización (CVXPY) requeridos para las restricciones del conjunto seguro.

Significado y Afirmaciones

El artículo afirma cerrar una brecha crítica en el aprendizaje por refuerzo seguro al habilitar entrenamiento provablemente seguro para el paradigma de alto rendimiento basado en gradientes analíticos. Los autores afirman que:

• Las salvaguardas pueden integrarse directamente en el bucle de entrenamiento del RL de gradiente analítico sin comprometer el rendimiento, siempre que las salvaguardas sean diferenciables y se preserven los gradientes.
• Las modificaciones propuestas (regularización y mapeo hiperbólico) son esenciales para superar los problemas de deficiencia de rango y supresión de gradientes inherentes a las aplicaciones ingenuas de las salvaguardas existentes.
• Este enfoque facilita la transferencia "simulación a realidad" al garantizar que los agentes aprendan comportamientos seguros durante la simulación, reduciendo el riesgo de fallo al desplegarse en escenarios del mundo real críticos para la seguridad.

El trabajo concluye que, si bien la sobrecarga computacional sigue siendo un desafío, la compensación está justificada por la capacidad de entrenar agentes con garantías formales de seguridad, desbloqueando el potencial del RL de gradiente analítico para la robótica crítica para la seguridad.