Learning Neural Controllers with Optimality and Stability Guarantees Using Input-Output Dissipativity

Resumen Técnico: Aprendizaje de Controladores Neuronales con Garantías de Optimalidad y Estabilidad mediante la Disipatividad Entrada-Salida

Planteamiento del Problema
El aprendizaje profundo ha mostrado potencial para resolver tareas de control no lineal complejas en robótica, transporte y sistemas de potencia. Sin embargo, estos métodos carecen típicamente de garantías formales para propiedades críticas como la estabilidad. Aunque los enfoques basados en el aprendizaje mediante síntesis inductiva guiada por contraejemplos (por ejemplo, a través de resolvedores SMT) pueden verificar la estabilidad de los controladores neuronales, a menudo no logran proporcionar garantías de optimalidad sobre un horizonte infinito. Los métodos existentes suelen optimizar el rendimiento sobre trayectorias de muestras finitas, lo que conduce a diseños "miope" que no aseguran la optimalidad a largo plazo ni la estabilidad global. El desafío central abordado en este artículo es diseñar controladores neuronales que garanticen simultáneamente la estabilidad asintótica y la optimalidad con respecto a funciones de costo definidas por el usuario para sistemas no lineales generales.

Metodología
Los autores proponen un marco basado en la teoría de la disipatividad entrada-salida, una generalización de la teoría de Lyapunov que utiliza funciones de almacenamiento y funciones de tasa de suministro para caracterizar la disipación de energía en pares de entrada-salida.

1. Marco Teórico:

   • El sistema se modela como $\dot{x} = f(x) + g(x)u$.
   • Los autores definen una función de almacenamiento $V(x)$ (análoga a una función de Lyapunov) y una función de tasa de suministro $w(x, u)$ en una forma Cuadrática-Almacenamiento-Resistiva (QSR): $w(x, u) = x^\top Q(x)x + 2x^\top S(x)u + u^\top R(x)u$.
   • Estabilidad: Si el sistema es disipativo con $w(x, u) < 0$ bajo una ley de control específica, el sistema de bucle cerrado es estable. El artículo deriva una ley de control estructurada $\pi(x) = -R(x)^{-1}S(x)^\top x$ que garantiza la estabilidad si ciertas desigualdades matriciales (que involucran a $\Delta(x) = S(x)R(x)^{-1}S(x)^\top - Q(x)$) son definidas positivas.
   • Optimalidad: Los autores demuestran que esta ley de control estructurada es la solución óptima para un problema de control óptimo de horizonte infinito. El funcional de costo asociado se deriva de las funciones de almacenamiento y de tasa de suministro aprendidas. Además, muestran que si se cumplen condiciones de regularidad adicionales, el funcional de costo se convierte en una forma cuadrática no lineal, lo que permite moldear el controlador hacia objetivos específicos definidos por el usuario.

2. Algoritmo de Aprendizaje (Síntesis Inductiva Guiada por Contraejemplos):

   • Parametrización Neuronal: La función de almacenamiento $V(x)$ y las funciones matriciales $Q(x), S(x), R(x)$ están parametrizadas por redes neuronales de alimentación hacia adelante (feed-forward).
   • Reducción de Dimensionalidad: Una contribución técnica clave es una reformulación de la condición de disipatividad. En lugar de muestrear sobre el espacio conjunto estado-entrada (lo cual es difícil para entradas de alta dimensión), los autores derivan una condición (Proposición 8) que depende únicamente del espacio de estados $x$. Esto implica una desigualdad matricial $M(x) \succ 0$ derivada mediante el complemento de Schur, lo que reduce significativamente la dimensionalidad del muestreo.
   • Bucle de Entrenamiento: El entrenamiento emplea un enfoque híbrido:
     • Aprendiz (Learner): Optimiza los parámetros de la red neuronal utilizando funciones de pérdida derivadas de las condiciones de disipatividad (definición positiva de $V$, $R$ y $\Delta$, y la desigualdad matricial $M$).
     • Verificador (Verifier): Utiliza resolvedores de Satisfacibilidad de Teorías Modales (SMT) (específicamente dReal) y el Descenso de Gradiente Proyectado (PGD) para verificar formalmente las condiciones sobre la región de interés.
     • Contraejemplos: Si el verificador encuentra una violación, el contraejemplo se añade al conjunto de entrenamiento para refinar las redes neuronales. Este bucle continúa hasta que se satisfagan las garantías formales.

Contribuciones Clave

• Marco Novedoso: Un nuevo método para diseñar controladores neuronales que proporciona garantías probables de estabilidad y optimalidad de horizonte infinito mediante el aprendizaje de la disipatividad entrada-salida.
• Garantías Teóricas: Demostración de que la ley de control derivada estabiliza cualquier sistema que comparta la misma propiedad de disipatividad y es la solución óptima para un problema de control óptimo específico con un funcional de costo aprendido.
• Reducción de Dimensionalidad: Una reformulación de la condición de disipatividad que reduce el espacio de muestreo del producto estado-entrada al espacio de estados únicamente, haciendo que el aprendizaje de sistemas de múltiples entradas sea más eficiente.
• Moldeado de Costo (Cost Shaping): Un mecanismo para moldear el funcional de costo aprendido para que coincida con los objetivos definidos por el usuario, cerrando la brecha entre la optimalidad teórica y el rendimiento práctico.

Resultados Experimentales
El marco fue validado en tres entornos de referencia: un Circuito Eléctrico, un Péndulo Invertido (control estático y dinámico) y una Vara sobre un Carrito.

• Líneas Base (Baselines): El método se comparó contra Funciones de Lyapunov de Control Neuronal (NCLF), ODEs Neuronales (NODE) y una variante sin moldeado de costo (OURS-NCFS).
• Estabilidad: A diferencia de NODE, que falló en estabilizar el sistema en algunos escenarios a pesar de tener costos de entrenamiento más bajos, el método propuesto proporcionó garantías de estabilidad formal verificadas por dReal.
• Optimalidad: El método propuesto (OURS) alcanzó consistentemente costos acumulados menores que NCLF y, en varios casos (por ejemplo, Circuito Eléctrico, Péndulo Invertido), igualó o superó a NODE manteniendo la estabilidad.
• Caso Lineal: En el experimento del Circuito Eléctrico (un sistema lineal), el controlador aprendido replicó con éxito la solución teórica del Regulador Cuadrático Lineal (LQR), demostrando la capacidad del marco para recuperar soluciones óptimas conocidas.

Significado y Reivindicaciones
El artículo afirma que su principal significancia radica en unificar las garantías de estabilidad y optimalidad dentro de un marco de control basado en el aprendizaje. Al aprovechar la teoría de la disipatividad, los autores argumentan que su enfoque supera las limitaciones del entrenamiento basado puramente en trayectorias (que carece de garantías de horizonte infinito) y del aprendizaje tradicional basado en Lyapunov (que a menudo carece de certificados explícitos de optimalidad). La capacidad de aprender directamente las funciones de tasa de suministro y de almacenamiento permite que el controlador herede propiedades de optimalidad que pueden ser moldeadas hacia objetivos específicos definidos por el usuario. Los autores señalan que, si bien el aprendizaje de estas funciones bajo restricciones estrictas sigue siendo un desafío, su reformulación y síntesis guiada por verificación proporcionan un camino robusto hacia un control neuronal seguro y óptimo.