Set-Based Value Function Characterization and Neural Approximation of Stabilization Domains for Input-Constrained Discrete-Time Systems

Título: Caracterización de Funciones de Valor Basada en Conjuntos y Aproximación Neuronal de Dominios de Estabilización para Sistemas Discretos con Restricciones de Entrada

1. Planteamiento del Problema

El problema central abordado es la estimación precisa de los Dominios de Estabilización (DOS, por sus siglas en inglés) para sistemas no lineales discretos con restricciones de entrada, junto con la síntesis de controladores estabilizantes asociados.

• Desafío actual: Aunque existen métodos clásicos (linealización, funciones de Lyapunov de control, MPC), estos a menudo proporcionan garantías de estabilidad solo locales. El dominio de atracción de un controlador implementado suele ser estrictamente menor que el DOS real, especialmente bajo restricciones de entrada.
• Limitaciones de enfoques existentes:
  • Los métodos basados en funciones de valor (ecuaciones de Bellman) ofrecen una caracterización teórica exacta, pero su implementación práctica requiere discretización del espacio de estados, lo que lleva a una complejidad computacional exponencial.
  • Los enfoques de aprendizaje profundo recientes (redes neuronales) suelen imponer condiciones de Lyapunov durante el entrenamiento, pero no garantizan la maximalidad del DOS estimado y requieren herramientas de verificación formal costosas para su certificación.
• Objetivo: Desarrollar un marco que combine las garantías teóricas de las funciones de valor con la escalabilidad de los métodos de aprendizaje, logrando estimar DOS máximos y sintetizar controladores sin discretización explícita del espacio de estados.

2. Metodología Propuesta

Los autores proponen un marco novedoso que integra dos componentes clave: funciones de valor basadas en conjuntos y aproximación mediante redes neuronales (NN) informadas por física.

• Funciones de Valor Basadas en Conjuntos:

  • Se introducen nuevas funciones de valor definidas sobre espacios métricos de conjuntos compactos ($K(\mathbb{R}^n)$), en lugar de puntos individuales.
  • Se define una función de costo $\Psi(X)$ como el ínfimo de una función de penalización $\alpha$ sobre un conjunto $X$.
  • Se definen dos funciones de valor principales:
    1. $V(X) = \sum_{k=0}^{\infty} \Psi(R(X, k))$, donde $R(X, k)$ es el conjunto alcanzable en el tiempo $k$.
    2. $W(X) = 1 - \exp(-V(X))$.
  • Teorema Fundamental: Se demuestra que el DOS es exactamente el conjunto de estados $x$ tales que $V(\{x\}) < \infty$ (o equivalentemente $W(\{x\}) < 1$).

• Ecuaciones Funcionales (Tipo Bellman/Zubov):

  • Se derivan ecuaciones funcionales que estas funciones deben satisfacer. Para $W$, se obtiene una ecuación tipo Bellman que evita el operador de ínfimo explícito sobre las entradas de control, lo cual es crucial para el aprendizaje:
    $$w(X) - w(F(X)) = \xi(X)(1 - w(F(X)))$$
    donde $F(X)$ representa la evolución del conjunto bajo todas las entradas posibles y $\xi(X)$ es una función derivada del costo.

• Aprendizaje Informado por Física (Physics-Informed Neural Networks - PINN):

  • Se utiliza una red neuronal para aproximar la función $W(\{x\})$.
  • Desafío: La ecuación de Bellman involucra conjuntos ($F(\{x\})$), no puntos.
  • Solución: Se asume una representación paramétrica de los conjuntos (ej. hiperrectángulos) y se define un mapeo de inyección $T$ que convierte estos conjuntos en vectores de dimensión finita.
  • Función de Pérdida: El entrenamiento minimiza una pérdida compuesta:
    1. Pérdida de datos: Ajuste a una aproximación de horizonte finito de la función de valor.
    2. Pérdida física (Residual): Penaliza la violación de la ecuación funcional de Bellman derivada. Esto incorpora la dinámica del sistema y las condiciones de estabilidad directamente en el entrenamiento.

• Síntesis del Controlador:

  • Una vez aprendida la función $W$, se extrae un controlador estabilizante mediante búsqueda en cuadrícula que selecciona la entrada $u$ que reduce el valor de la función de valor (o una función de Lyapunov auxiliar) en cada paso.

3. Contribuciones Clave

1. Caracterización Teórica Rigurosa: Introducción de funciones de valor definidas en espacios de conjuntos compactos que caracterizan exactamente el DOS para sistemas con restricciones, superando las limitaciones de las aproximaciones puntuales.
2. Ecuaciones Funcionales Tratables: Derivación de ecuaciones tipo Bellman/Zubov que eliminan la necesidad de resolver problemas de optimización no convexa en tiempo real (ínfimos sobre controles) dentro de la ecuación de aprendizaje, facilitando su implementación en redes neuronales.
3. Marco de Aprendizaje Híbrido: Desarrollo de un esquema de PINN que utiliza aproximaciones de conjuntos alcanzables (reachability) para evaluar los residuos de la ecuación de Bellman, permitiendo aprender funciones de valor máximas sin discretización de la red.
4. Síntesis de Control Garantizada: Un procedimiento para extraer controladores estabilizantes a partir de la función de valor aprendida, asegurando que las trayectorias permanezcan dentro del conjunto invariante controlado (CIS) estimado.

4. Resultados Numéricos

El marco se validó mediante dos ejemplos académicos en MATLAB:

• Sistemas: Un sistema no lineal de 2D y otro de 3D, ambos con equilibrio inestable en el origen y restricciones de entrada.
• Comparación: Se comparó la estimación del DOS obtenida con el método propuesto frente a las aproximaciones elipsoidales tradicionales basadas en funciones de Lyapunov cuadráticas.
• Hallazgos:
  • El enfoque basado en NN proporcionó estimaciones del DOS significativamente menos conservadoras (más grandes) que los métodos cuadráticos.
  • Los valores de la función aprendida en los límites del dominio estimado fueron cercanos a 1 ($\omega_2 \approx 0.97$), indicando que la estimación se acerca al DOS teórico real.
  • Las trayectorias de prueba con condiciones iniciales dentro del dominio estimado convergieron al origen respetando las restricciones de entrada.
  • El tiempo de cómputo fue razonable (aprox. 5 min para 2D y 15 min para 3D).

5. Significado e Impacto

Este trabajo representa un avance significativo en la teoría de control no lineal y el aprendizaje automático aplicado:

• Puente entre Teoría y Práctica: Logra unificar las garantías teóricas de las funciones de valor (que definen el límite exacto de estabilidad) con la flexibilidad y escalabilidad de las redes neuronales.
• Superación de la "Maldición de la Dimensionalidad": Al trabajar con representaciones de conjuntos y evitar la discretización explícita del espacio de estados, el método es más escalable para sistemas de mayor dimensión que los métodos de programación dinámica clásica.
• Aplicabilidad en Sistemas Reales: La capacidad de manejar restricciones de entrada de manera natural y sintetizar controladores directamente desde la función aprendida hace que este enfoque sea prometedor para aplicaciones en robótica, aeronáutica y sistemas de potencia donde las restricciones son críticas.
• Futuro: Los autores planean integrar herramientas de verificación formal (como $\alpha,\beta$-CROWN) para certificar rigurosamente los controladores aprendidos y extender el marco a sistemas con restricciones de estado y perturbaciones.