Resumen Técnico: Optimización de Políticas Constrained mediante Proyección en el Espacio de Pesos Basada en Muestreo (SCPO)

1. Declaración del Problema

El artículo aborda el desafío del aprendizaje crítico para la seguridad, específicamente la necesidad de mejorar el rendimiento de controladores basados en aprendizaje sin violar restricciones de seguridad ni abandonar un régimen operativo seguro conocido. Los autores se centran en un escenario donde:

• Las Restricciones de Seguridad se Basan en Ejecuciones (Rollouts): La seguridad se define mediante métricas a nivel de trayectoria (por ejemplo, restricciones de estado, márgenes de estabilidad) que pueden evaluarse mediante simulación (ejecuciones), pero no son analíticamente diferenciables con respecto a los parámetros de la política.
• Restricciones de Caja Negra: Las funciones de restricción $g(\theta)$ carecen de jacobianos en forma cerrada, lo que hace inaplicables los métodos estándar de optimización con restricciones (como aquellos que requieren gradientes explícitos de las restricciones).
• Objetivo: Realizar una optimización de políticas con restricciones que garantice la factibilidad recursiva (mantenerse seguro en cada paso de entrenamiento) y la mejora monótona del objetivo de la tarea, partiendo de una inicialización segura certificada.

2. Metodología: SCPO

Los autores proponen SCPO (Optimización de Políticas con Restricciones Basada en Muestreo), un método que hace cumplir la seguridad directamente en el espacio de pesos de la red de la política.

2.1 Arquitectura e Inicialización

Inspirado en la Adaptación de Bajo Rango (LoRA), la política $\pi_\theta$ se estructura como una combinación de un controlador base certificado ($\pi_{safe}$) y una red neuronal residual ($\phi_\theta$):
$$\pi_\theta(x) = \begin{cases} \pi_{safe}(x) + \phi_\theta(x) & x \notin X_f \\ \pi_{safe}(x) & x \in X_f \end{cases}$$

• $\pi_{safe}$: Un controlador estabilizador no paramétrico (por ejemplo, LQR con recorte) que garantiza la seguridad y la estabilidad dentro de una región $\Omega$.
• $\phi_\theta$: Una red neuronal inicializada para producir una salida cero ($\phi_{\theta_0} \equiv 0$). Esto asegura que la política inicial sea idéntica a la base segura.
• Objetivo de Aprendizaje: El proceso de entrenamiento se considera como una "adaptación segura" en la vecindad de $\pi_{safe}$, donde $\phi_\theta$ aprende a mejorar el rendimiento mientras el mecanismo de proyección asegura que la política combinada siga siendo estabilizadora.

2.2 Construcción de la Región Segura Local

Dado que $g(\theta)$ no es diferenciable, SCPO construye un conjunto seguro local en el espacio de pesos utilizando:

1. Evaluaciones Punto a Punto: Las métricas de seguridad se evalúan en un conjunto finito de actualizaciones de pesos candidatas (ejecuciones).
2. Límites de Suavidad: El método asume continuidad Lipschitz local de las restricciones de seguridad. Utiliza una cota superior cuadrática para aproximar la superficie de restricción:
   $$g_i(\theta_t + \Delta\theta) \leq g_i(\theta_t) + \nabla g_i(\theta_t)^\top \Delta\theta + \frac{L_i}{2}\|\Delta\theta\|^2$$
   donde $L_i$ son constantes de curvatura estimadas a partir de actualizaciones muestreadas.

2.3 Proyección Basada en Muestreo

En lugar de resolver directamente un problema de optimización con restricciones de alta dimensión, SCPO restringe la actualización al espacio generado por las actualizaciones candidatas muestreadas ($D$).

• Banco de Candidatos: Un búfer $D$ almacena actualizaciones recientes y sus evaluaciones de seguridad correspondientes $G$.
• Proyección de Baja Dimensión: La actualización se parametriza como $\Delta\theta = Dc$, donde $c \in \mathbb{R}^m$ es un vector de coeficientes.
• Optimización Convexa: El problema se reduce a un Programa de Cono de Segundo Orden (SOCP) (o un Programa Cuadrático con Restricciones Cuadráticas) en el espacio de baja dimensión $c$:
  $$\min_c \|c - e_m\|_S^2 \quad \text{sujeto a} \quad (1 - \mathbf{1}^\top c)g(\theta_t) + Gc + \frac{1}{2}(c^\top Sc + |c|^\top \text{diag}(S))L \leq 0$$
  Esto proyecta la actualización de gradiente cruda sobre un conjunto seguro local conservador, garantizando que los nuevos pesos satisfagan las restricciones de seguridad.

2.4 Garantías Teóricas

• Seguridad por Inducción: Partiendo de una inicialización segura ($g(\theta_0) \leq 0$), la proyección asegura $g(\theta_{t+1}) \leq 0$ para todos los pasos subsiguientes, siempre que la proyección sea factible.
• Estabilidad: Para sistemas dinámicos lineales, el método preserva el margen de Lyapunov, asegurando que el sistema de lazo cerrado permanezca localmente asintóticamente estable y que la región segura $\Omega$ sea invariante hacia adelante.
• Mejora Monótona: Utilizando una búsqueda de línea de retroceso estilo Armijo, el algoritmo garantiza una disminución en la pérdida de tarea $L(\theta)$ sin violar las restricciones.

3. Contribuciones Clave

1. Proyección en el Espacio de Pesos: Un método novedoso basado en muestreo que realiza la proyección de seguridad directamente en el espacio de parámetros sin requerir gradientes de las funciones de restricción.
2. Mecanismo de Seguridad por Inducción: Un marco de aprendizaje que garantiza la factibilidad recursiva y la mejora monótona del objetivo, partiendo de cualquier inicialización segura.
3. Análisis Teórico de Control: Una prueba formal de que SCPO mantiene la estabilidad de lazo cerrado para sistemas lineales al preservar los márgenes de Lyapunov.
4. Validación Empírica: Demostración de robustez frente a supervisión dañina y exploración segura en tareas de regresión con restricciones y aprendizaje por imitación.

4. Resultados Experimentales

Los autores evalúan SCPO en dos tareas:

4.1 Regresión con Restricciones

• Configuración: Un problema de regresión 1D donde la función objetivo viola una restricción dura ($|y| \leq 1.4$) en ciertas regiones.
• Resultado: SCPO ajusta con éxito la función objetivo en regiones seguras mientras satura suavemente en el límite de la restricción. A diferencia de una base de referencia con restricciones suaves (que requiere restricciones diferenciables y ajuste de hiperparámetros), SCPO hace cumplir estrictamente la restricción dura sin violaciones.

4.2 Aprendizaje por Imitación de Doble Integrador

• Configuración: Una tarea de control donde una red neuronal intenta imitar a un "experto malicioso" (una política agresiva que desestabiliza el sistema) partiendo de una base segura LQR.
• Resultado:
  • Rechazo de Actualizaciones Dañinas: SCPO rechaza actualizaciones que conducirían a la inestabilidad, evitando que la política imite el comportamiento desestabilizador del experto.
  • Preservación de la Estabilidad: La política aprendida mantiene la región de estabilización del controlador seguro original, mientras que el experto malicioso falla en estabilizar el sistema en una gran parte del espacio de estados.
  • Rendimiento: La política logra una mejora significativa en el objetivo de imitación mientras permanece dentro del régimen operativo seguro.

5. Significado y Limitaciones

Significado:
El artículo afirma que SCPO proporciona un enfoque práctico y basado en datos para el aprendizaje seguro que no depende de costos de restricción explícitos ni de filtros de seguridad diferenciables. Al tratar un controlador de respaldo certificado como una base congelada y proyectar actualizaciones en el espacio de pesos, permite una adaptación segura más allá de las bases conservadoras. Esto es particularmente relevante para dominios como la conducción autónoma y la robótica, donde es difícil derivar garantías formales pero la seguridad es innegociable.

Limitaciones:
Los autores reconocen que el método es conservador. El paso de proyección no genera nuevas direcciones de mejora; solo selecciona la mejor dirección segura entre los candidatos muestreados existentes. Los autores señalan que el trabajo futuro tiene como objetivo integrar otras técnicas para modificar el objetivo y mejorar la exploración segura, abordando esta conservadurismo.

Conclusión:
SCPO ofrece un marco riguroso para la optimización de políticas con restricciones que cierra la brecha entre el aprendizaje de alto rendimiento y los estrictos requisitos de seguridad, asegurando que los controladores basados en aprendizaje permanezcan seguros y estables durante todo el proceso de entrenamiento.