Learning Robust Control Lyapunov Functions through Lipschitz Neural Networks

Resumen Técnico: Aprendizaje de Funciones de Lyapunov de Control Robustas mediante Redes Neuronales Lipschitz

Planteamiento del Problema
El artículo aborda el desafío de diseñar controladores estabilizadores para sistemas dinámicos no lineales sujetos a perturbaciones aditivas. Si bien las funciones de Lyapunov son una herramienta fundamental para el análisis de estabilidad, su construcción automática para sistemas no lineales generales sigue siendo un problema abierto. Los métodos computacionales existentes, como la Suma de Cuadrados (SOS) o las Desigualdades Matriz Lineales (LMI), a menudo presentan dificultades de escalabilidad o generalidad. Además, los enfoques recientes de aprendizaje profundo que aprenden Funciones de Lyapunov de Control (CLF) utilizando redes neuronales suelen centrarse en la dinámica exacta sin perturbaciones o dependen de métodos de verificación que son computacionalmente costosos o conservadores (por ejemplo, utilizando únicamente información de orden cero). El desafío específico abordado aquí es el aprendizaje de una Función de Lyapunov de Control Robusta (RCLF) y un controlador de retroalimentación de estado correspondiente que garantice la Estabilidad Última Uniformemente Acotada (UUB) en presencia de perturbaciones aditivas dependientes del estado, asegurando al mismo tiempo que la verificación de estas condiciones sea computacionalmente tratable.

Metodología
El marco propuesto integra Redes Neuronales Lipschitz (LNN) con un algoritmo de verificación de alta orden basado en Branch-and-Bound (BnB).

1. Redes Neuronales Lipschitz (LNN):
   Los autores emplean LNN para aprender conjuntamente la RCLF ($V_{\theta_1}$) y el controlador estabilizador ($\pi_{\theta_2}$). A diferencia de las redes estándar, las LNN imponen una constante de Lipschitz predefinida mediante parametrizaciones de capas específicas (por ejemplo, Normalización Espectral, Capas Ortogonales o Capas Sándwich). Esta restricción es crítica porque permite la derivación de cotas explícitas y ajustadas para las derivadas de orden superior (Hessiano y derivadas de tercer orden) de la salida de la red con respecto a su entrada. La RCLF se define como una salida de red desplazada para asegurar la condición de equilibrio $V(0)=0$.

2. Algoritmo de Entrenamiento:
   El proceso de entrenamiento minimiza una función de pérdida compuesta sobre un espacio de estados muestreado y una frontera. Los términos de la pérdida imponen:

   • Definición Positiva: Asegurar que $V(x) > 0$ para $x \neq 0$.
   • Condición de Decrecimiento: Asegurar que la derivada temporal $\dot{V}$ sea negativa fuera de una pequeña bola alrededor del origen, contabilizando la peor situación de la perturbación. Esto implica acotar superiormente el término de perturbación utilizando la función de cota de perturbación $\epsilon(x)$ conocida y las constantes de Lipschitz de la red y la dinámica del sistema.
   • Frontera y Cobertura: Fomentar que el conjunto de nivel de $V$ cubra la mayor parte posible del espacio de estados y mantenga un valor consistente en la frontera.
     El algoritmo inicializa los parámetros utilizando soluciones de Regulador Cuadrático Lineal (LQR) y los refina iterativamente, almacenando los parámetros que producen la región de invariancia hacia adelante verificada empíricamente más grande.

3. Verificación de Alto Orden (Branch-and-Bound):
   Se introduce un novedoso algoritmo de BnB apto para GPU para verificar formalmente la RCLF aprendida. A diferencia de los solvers tradicionales (por ejemplo, dReal) que dependen de cotas de orden cero o de los solvers SMT que enfrentan límites de escalabilidad, este método aprovecha la suavidad de las LNN.

   • Cotas de Orden Superior: Los autores derivan cotas de norma espectral explícitas para el Hessiano y las derivadas de tercer orden de las LNN. Estas cotas se utilizan para construir cotas inferiores y superiores ajustadas de la salida de la red mediante expansiones de Taylor (hasta segundo orden).
   • Eficiencia del Algoritmo: Al incorporar información de primer y segundo orden, el algoritmo crea envolventes significativamente más ajustadas de los valores de la función dentro de los rectángulos de búsqueda. Esto permite una poda más agresiva del espacio de búsqueda en comparación con los métodos de orden cero.
   • Complejidad: El artículo establece límites de complejidad de tiempo en el peor de los casos, mostrando que el número de rectángulos evaluados escala polinomialmente con la dimensión del sistema e inversamente con la tolerancia, pero se reduce drásticamente en la práctica gracias a las cotas más ajustadas.

Contribuciones Clave

1. Marco Novedoso: Un enfoque unificado para aprender RCLF y controladores estabilizadores para sistemas no lineales con perturbaciones aditivas dependientes del estado utilizando LNN.
2. Cotas de Derivada: El establecimiento de cotas de norma espectral explícitas para el Hessiano y las derivadas de tercer orden de las LNN. Estas cotas son más ajustadas que las derivadas únicamente de información de orden cero o primero, abordando la no convexidad de la verificación de Lyapunov.
3. Verificación Apta para GPU: El desarrollo de un algoritmo de BnB que utiliza estas cotas de orden superior y soporta la evaluación por lotes (batch) en GPU. Esto acelera significativamente el proceso de verificación en comparación con los solvers SMT basados en CPU.
4. Validación Empírica: Simulaciones extensas en seis sistemas dinámicos (péndulo invertido, unicycle, sistema de tercer orden, cartpole, cuadrotor 2D y brazo SCARA) que demuestran la capacidad del método para verificar la estabilidad y superar a las herramientas existentes (dReal, $\alpha,\beta$-CROWN) en términos de velocidad y escalabilidad.

Resultados
El artículo presenta resultados de simulación comparando el método propuesto contra dReal (SMT basado en CPU) y $\alpha,\beta$-CROWN (propagación de cotas basada en GPU).

• Velocidad de Verificación: El algoritmo de BnB propuesto basado en GPU supera consistentemente a dReal, reduciendo a menudo el tiempo de verificación de horas (o tiempos de espera agotados) a segundos, incluso para sistemas con dimensiones de estado más altas (por ejemplo, el brazo SCARA con $n_x=8$).
• Escalabilidad: Mientras que dReal falla al verificar sistemas con más de 2-3 capas en un tiempo razonable, el método propuesto verifica con éxito redes de hasta 4 capas.
• Regiones de Invariancia hacia Adelante: Los controladores aprendidos logran regiones de invariancia hacia adelante significativamente más grandes en comparación con los enfoques LQR estándar y los de CLF neuronal no robusta (NLC). Para el péndulo invertido, el método propuesto logró una relación de región de invariancia hacia adelante de ~75%, frente al ~23% de LQR.
• Robustez: La verificación confirma que los controladores aprendidos satisfacen la condición de UUB, manteniendo las trayectorias dentro de una región acotada a pesar de la presencia de perturbaciones.

Significado y Reivindicaciones
El artículo afirma que su principal importancia radica en cerrar la brecha entre la expresividad del aprendizaje profundo y los requisitos rigurosos de la verificación de control robusto. Al aprovechar la estructura específica de las redes Lipschitz para derivar cotas de derivadas de orden superior, los autores permiten un proceso de verificación que es tanto matemáticamente riguroso como computacionalmente eficiente.

Los autores declaran explícitamente que su marco no certifica la estabilidad para un modelo desconocido sin un límite de error conocido; más bien, proporciona una garantía determinista de robustez contra un desajuste de modelo certificado o una perturbación acotada. El trabajo destaca que, si bien las LNN pueden tener una expresividad reducida en comparación con las redes sin restricciones, el compromiso se justifica por la capacidad de realizar una verificación de alto orden eficiente, lo cual es esencial para aplicaciones de control de seguridad crítica. El artículo concluye que este enfoque hace que la verificación formal de controladores aprendidos robustos para sistemas no lineales complejos sea prácticamente factible.