Kernel-Based LMI Approaches to Solving the Hamilton-Jacobi-Bellman Equation and Nonlinear Optimal Control

Resumen Técnico: Enfoques Basados en Núcleos de LMI para Resolver la Ecuación de Hamilton-Jacobi-Bellman y el Control Óptimo No Lineal

Autores: Boumediene Hamzi y Umesh Vaidya.

1. Planteamiento del Problema

El artículo aborda el desafío fundamental en la teoría de control de resolver la Ecuación de Hamilton-Jacobi-Bellman (HJB) para sistemas no lineales.

• Contexto: Para sistemas afines al control de la forma $\dot{x} = f(x) + g(x)u$ con un funcional de costo de horizonte infinito, la función de valor óptimo $V^*(x)$ satisface una ecuación diferencial parcial no lineal. Su solución proporciona la ley de control de retroalimentación óptima.
• Dificultades:
  • La ecuación HJB es computacionalmente intratable para sistemas no lineales generales.
  • Los métodos tradicionales (diferencias finitas, programación dinámica) sufren de la maldición de la dimensionalidad.
  • Los métodos basados en redes neuronales carecen a menudo de garantías teóricas sobre optimalidad y estabilidad.
  • La programación de suma de cuadrados (SOS) ofrece garantías pero escala mal con el grado del polinomio y se limita a sistemas polinomiales.
• Objetivo: Desarrollar un método que convierta el problema no convexo de la HJB en un problema convexo tratable, garantizando la estabilidad y la optimalidad.

2. Metodología

La propuesta combina el espacio de Hilbert de núcleo reproductor (RKHS) con desigualdades matriciales lineales (LMI) y restricciones de Riccati.

• Reformulación LMI (Desigualdad Matricial Lineal):

  • Utilizando el Lema del Complemento Schur, los autores transforman la desigualdad no lineal de HJB en una restricción LMI lineal respecto al gradiente de la función de valor.
  • La desigualdad original: $\nabla V^\top f(x) - \frac{1}{2}\nabla V^\top g(x)D^{-1}g(x)^\top \nabla V + q(x) \geq 0$.
  • Se reformula como una matriz semidefinida positiva $M(x) \succeq 0$, donde la parte cuadrática en $\nabla V$ se linealiza mediante la estructura de bloque de la matriz.

• Aproximación en RKHS:

  • La función de valor $V(x)$ y su gradiente se aproximan mediante una combinación lineal de funciones de núcleo (kernels) en un espacio de dimensión finita: $V(x) = \sum p_i \kappa(x, x_i)$.
  • Esto permite discretizar el problema infinito-dimensional en un programa semidefinido (SDP) finito.

• Restricción de Hessiano de Riccati (Componente Crítico):

  • Para evitar la solución trivial ($V(x) \equiv 0$) y asegurar consistencia con la teoría de control lineal, se impone una restricción en el punto de equilibrio (origen).
  • Se exige que el Hessiano de la función de valor en el origen coincida con la solución $P$ de la Ecuación Algebraica de Riccati (ARE) del sistema linealizado: $\nabla^2 V(0) = P$.
  • Dado que $P$ es definida positiva para sistemas estabilizables, esta restricción fuerza a que la solución no sea trivial y garantiza que el comportamiento local coincida con el controlador LQR óptimo.

• Discretización por Colocación:

  • El problema se resuelve mediante un programa semidefinido convexo minimizando la norma de los coeficientes, sujeto a:
    1. Condiciones de frontera ($V(0)=0, \nabla V(0)=0$).
    2. Restricción de Hessiano de Riccati.
    3. Cumplimiento de la LMI en un conjunto de puntos de colocación.

3. Contribuciones Clave

1. Equivalencia Teórica: Establecen la equivalencia entre la desigualdad no lineal de HJB y una LMI lineal en el gradiente de la función de valor.
2. Representación de Núcleo: Demuestran que los gradientes admiten representaciones de dimensión finita en RKHS con garantías de aproximación.
3. Prevención de Soluciones Triviales: Introducen la restricción de Hessiano de Riccati, que elimina soluciones inútiles y asegura la consistencia con la teoría de control linealizado.
4. Garantías Teóricas Completas: Proporcionan análisis de:
   • Límites de suboptimalidad.
   • Certificados de estabilidad exponencial.
   • Tasas de convergencia basadas en la teoría de aproximación de RKHS.
5. Validación Numérica: Demostración en sistemas 1D, 2D y el oscilador de Van der Pol, mostrando convergencia exponencial desde múltiples condiciones iniciales.

4. Resultados Numéricos

Los autores validaron el método en tres casos de estudio:

• Sistema Escalar Polinomial (1D): Un sistema con equilibrio inestable ($\dot{x} = x + x^3 + u$). El método reconstruyó la función de valor y el control óptimo con alta precisión local. Todas las trayectorias desde 6 condiciones iniciales diferentes convergieron exponencialmente al origen ($|x(10)| < 10^{-6}$).
• Sistema Radial Simétrico (2D): Un sistema con dinámica polinomial de grado 3. Se probaron 8 condiciones iniciales distribuidas uniformemente en un círculo. El controlador estabilizó el sistema desde todas las direcciones, con normas finales del orden de $10^{-3}$.
• Oscilador de Van der Pol (No Lineal/No Polinomial): Un sistema clásico con amortiguamiento no lineal inestable. A pesar de la no linealidad no polinomial, el enfoque basado en núcleos polinomiales logró estabilizar el sistema. Las trayectorias convergieron exponencialmente con normas finales extremadamente bajas ($\sim 10^{-7}$).

Hallazgos clave de los resultados:

• La precisión global de la aproximación de la función de valor puede ser moderada (errores $O(1)$), pero la precisión local en el equilibrio (garantizada por la restricción de Riccati) es suficiente para asegurar la estabilidad global.
• El método es computacionalmente eficiente (tiempos de solución de segundos) y escala bien a dimensiones superiores y dinámicas no polinomiales.

5. Significado e Impacto

• Puente entre Teorías: El trabajo conecta la programación dinámica clásica con la optimización convexa moderna, ofreciendo un marco riguroso para el control no lineal.
• Síntesis de Control vs. Verificación de Estabilidad: A diferencia de los métodos clásicos de construcción de funciones de Lyapunov (como el método de Giesl) que asumen a priori que el sistema es estable y solo verifican la región de atracción, este enfoque realiza síntesis de control. Es capaz de estabilizar equilibrios que son inherentemente inestables en lazo abierto.
• Garantías Rigurosas: Ofrece certificados matemáticos de estabilidad exponencial y límites de suboptimalidad, algo que a menudo falta en los enfoques basados en aprendizaje profundo.
• Generalidad: Al utilizar núcleos (kernels), el método no está restringido a sistemas polinomiales, extendiendo la aplicabilidad de las técnicas LMI a una clase más amplia de sistemas dinámicos no lineales.

En conclusión, el artículo presenta un marco robusto y teóricamente fundamentado para resolver problemas de control óptimo no lineal, superando las limitaciones de dimensionalidad y garantizando la estabilidad mediante la integración inteligente de restricciones de Riccati en un esquema de optimización convexa basado en núcleos.