Resumen Técnico: Márgenes de Estabilidad de Controladores de Redes Neuronales

Planteamiento del Problema

Los controladores de redes neuronales (NN) estándar entrenados mediante aprendizaje por refuerzo (RL) a menudo carecen de garantías respecto a la estabilidad de bucle cerrado, lo que limita su despliegue en dominios críticos para la seguridad, como el aeroespacial, donde los organismos reguladores requieren métricas de robustez específicas. Si bien trabajos recientes han abordado la verificación y síntesis de controladores de NN para la estabilidad asintótica, existe una brecha en los métodos que puedan entrenar controladores de NN para maximizar las recompensas de rendimiento mientras se adhieren estrictamente a los requisitos de robustez clásicos, específicamente los márgenes de disco.

El artículo aborda el problema de optimización restringida de entrenar un controlador de red neuronal $K$ para maximizar una recompensa acumulada esperada sobre una trayectoria, sujeto a la restricción de que el sistema de bucle cerrado permanezca estable para una clase de plantas $\mathcal{M}_\alpha$. Esta clase representa una planta LTI (Invariante en el Tiempo con Coeficientes Lineales) nominal interconectada con incertidumbres (tanto LTI como no lineales) acotadas por un margen de disco $D(\alpha, \sigma)$. Se elige el margen de disco porque tiene en cuenta las variaciones simultáneas de ganancia y fase, ofreciendo una garantía de robustez más rigurosa que los márgenes de ganancia y fase clásicos por sí solos.

Metodología

1. Modelado del Sistema

Los autores modelan la arquitectura de control como una interconexión de una planta LTI nominal y un controlador de red neuronal, ambos sujetos a bloques de incertidumbre.

• Planta: La planta nominal es LTI. La incertidumbre se modela como un bloque multiplicativo de entrada $H_{\Delta p}$, donde la incertidumbre $\Delta_p$ está acotada por la norma $L_2$ mediante $\alpha$.
• Controlador: La red neuronal se modela como una Red Neuronal Implícita Recurrente (RINN). Consiste en un sistema LTI $G_k$ interconectado con funciones de activación estáticas y elemento a elemento $\phi$ (por ejemplo, tanh, ReLU). Esta formulación permite que el controlador tenga memoria (dinámica) y abarca diversas arquitecturas, incluyendo redes feedforward y residuales.
• Caracterización de la Incertidumbre: Tanto la incertidumbre de la planta $\Delta_p$ como las funciones de activación $\phi$ del controlador se caracterizan mediante Restricciones Cuadráticas Integrales (IQC). La incertidumbre $\Delta_p$ satisface una IQC de límite de sector relacionada con su ganancia $L_2$, mientras que las funciones de activación satisfacen IQC de sector y de restricción de pendiente.

2. Certificación de Estabilidad

La contribución teórica central es una condición para certificar que un controlador RINN específico satisface el margen de disco $D(\alpha, \sigma)$.

• El sistema de bucle cerrado se reformula como un sistema LTI interconectado con un bloque de incertidumbre compuesto que contiene tanto $\Delta_p$ como $\phi$.
• Utilizando un enfoque de función de Lyapunov combinado con la teoría IQC, los autores derivan una condición de Desigualdad Matriz Lineal (LMI) (Lema 3.1). Esta condición implica encontrar una matriz $X$ definida positiva y matrices multiplicadoras diagonales $\Lambda_p$ y $\Lambda_k$ tales que una desigualdad matricial específica se cumpla.
• La aplicación directa de esta LMI para el entrenamiento es computacionalmente intratable debido a que la desigualdad es bilineal en los parámetros del controlador $\theta$ y la matriz de Lyapunov $X$.

3. Algoritmo de Entrenamiento con Proyección

Para sintetizar un controlador que maximice la recompensa mientras satisface la restricción de estabilidad, los autores proponen un algoritmo de entrenamiento iterativo (Algoritmo 1) que alterna entre dos pasos:

1. Paso de Aprendizaje por Refuerzo: Un paso estándar de RL (por ejemplo, Optimización de Política Próxima o PPO) actualiza los parámetros del controlador $\theta$ para maximizar la recompensa. Los parámetros resultantes $\theta'$ pueden violar el margen de estabilidad.
2. Paso de Aplicación del Margen de Estabilidad: Si $\theta'$ no satisface el margen, se proyecta de nuevo al conjunto de controladores estabilizadores.
   • Para hacer que esta proyección sea convexa, los autores utilizan un cambio de variables (inspirado en [8]) para transformar los parámetros del controlador $\theta$ y la matriz de Lyapunov $X$ en nuevas variables $\hat{\theta}$ (que incluyen matrices $S, R, N_A, \dots$).
   • En este espacio transformado, la condición de estabilidad es afín en $\hat{\theta}$, lo que permite que la proyección se formule como un Programa Semidefinido (SDP).
   • El algoritmo resuelve un SDP para encontrar el $\hat{\theta}$ válido más cercano al $\hat{\theta}'$ actual, luego reconstruye los parámetros del controlador $\theta$ a partir de la solución.
   • El algoritmo también alterna el multiplicador $\Lambda_p$ para reducir el conservadurismo, intentando certificar el margen directamente antes de recurrir a la proyección completa si la certificación falla.

Contribuciones Clave

• Marco de Entrenamiento: Un método novedoso para entrenar controladores de redes neuronales que impone explícitamente restricciones de margen de disco durante el proceso de aprendizaje por refuerzo.
• Formulación Matemática: La derivación de condiciones LMI para la certificación del margen de disco de controladores RINN utilizando IQC tanto para la incertidumbre de la planta como para las funciones de activación.
• Proyección Convexa: El desarrollo de un paso de proyección computacionalmente tratable mediante un cambio de variables y un SDP, permitiendo la imposición de restricciones de estabilidad no convexas dentro de un bucle de entrenamiento basado en gradientes.
• Generalización: El enfoque se extiende más allá de los controladores estáticos a los controladores dinámicos (recurrentes) y maneja incertidumbres descritas por IQC, cubriendo tanto dinámicas LTI como no lineales y variantes en el tiempo.

Resultados Experimentales

El método fue evaluado en una simulación de una barra flexible sobre un carro, un sistema con dinámica compleja.

• Comparadores: El método propuesto (SM-RINN) se comparó contra:
  • Una Red Neuronal Recurrente Implícita no restringida (U-RINN).
  • Una Red Neuronal Totalmente Conectada (FCNN) estándar.
  • Un controlador LTI entrenado con las mismas restricciones de estabilidad.
• Restricciones: Todos los controladores restringidos (SM-RINN y LTI) debían satisfacer un margen de disco con $\alpha = 0.353$ y $\sigma = 0$, lo que corresponde a límites inferiores de 3 dB de margen de ganancia y 20° de margen de fase.
• Rendimiento:
  • Los controladores no restringidos (U-RINN y FCNN) lograron las recompensas más altas (~3000), pero no ofrecieron garantías de estabilidad.
  • El controlador restringido SM-RINN logró una recompensa de aproximadamente 2250.
  • El controlador LTI restringido logró la recompensa más baja (~1500).
• Compromiso (Trade-off): Los resultados demuestran el típico compromiso entre rendimiento y robustez. Sin embargo, el SM-RINN superó significativamente al controlador LTI restringido (una mejora de aproximadamente un 50% en la recompensa) manteniendo exactamente las mismas garantías de robustez.

Significancia y Reivindicaciones

El artículo afirma que este método permite el uso de redes neuronales en aplicaciones críticas para la seguridad donde las agencias reguladoras exigen márgenes de estabilidad. Al integrar las restricciones de robustez directamente en el bucle de entrenamiento mediante la proyección SDP, los autores demuestran que los controladores de NN pueden lograr un rendimiento superior (recompensa) en comparación con los controladores lineales tradicionales, cumpliendo al mismo tiempo con los mismos requisitos rigurosos de robustez. El trabajo cierra la brecha entre la flexibilidad del aprendizaje profundo y las garantías de seguridad requeridas por la teoría de control clásica.