Invariant Manifolds of Discrete-time Dynamical Systems with Nonlinear Exosystems via Hybrid Physics-Informed Neural Networks

Resumen Técnico: Variedades Invariantes de Sistemas Dinámicos de Tiempo Discreto con Exosistemas No Lineales Mediante Redes Neuronales Híbridas Informadas por Física

Enunciado del Problema
El artículo aborda el desafío de aproximar variedades invariantes (VI) para sistemas dinámicos de tiempo discreto impulsados por dinámicas autónomas exógenas (exosistemas). Tales sistemas jerárquicos o acoplados son prevalentes en la teoría de control (por ejemplo, regulación de salida no lineal) y en la modelización del comportamiento colectivo (por ejemplo, dinámicas líder-seguidor en tráfico, bandadas de aves y cardúmenes de peces). Aunque las VI proporcionan un marco riguroso para la reducción de dimensionalidad y el análisis de estabilidad, su cálculo en configuraciones de tiempo discreto sigue siendo difícil. Los métodos tradicionales, como las expansiones en series de potencias locales (PSE), sufren la "maldición de la dimensionalidad" en relación con el crecimiento combinatorio de los coeficientes y están limitados por el radio de convergencia, fallando a menudo lejos del punto de equilibrio. Por el contrario, los enfoques puramente basados en datos o de redes neuronales informadas por física (PINN), aunque escalables, pueden carecer de la interpretabilidad y las propiedades de convergencia local rápida de las expansiones en series cerca de los equilibrios.

Metodología
Los autores proponen un marco de aprendizaje automático híbrido informado por física que combina sinérgicamente series polinómicas multivariadas y redes neuronales (RN) superficiales para aproximar la relación funcional $x = \pi(y)$ que define la VI.

1. Formulación Matemática: El problema se plantea como la resolución de un sistema de ecuaciones funcionales no lineales (EFN) derivadas de la condición de invarianza:
   $$\pi(Ay + g(y)) = B\pi(y) + Cy + f(\pi(y), y)$$
   donde $y$ representa el estado del exosistema y $x$ el estado impulsado.

2. Arquitectura Híbrida: La aproximación $\tilde{\pi}_{HxS}(y)$ se construye como una función a trozos:

   • Dentro de un hiperrectángulo $D$ (centrado en el equilibrio): Se utiliza una serie polinómica (Potencia, Legendre o Chebyshev) para aprovechar las propiedades de convergencia geométrica/exponencial cerca del equilibrio.
   • Fuera de $D$: Se emplea una red neuronal de alimentación directa de una sola capa (SLFNN) para aprovechar las capacidades de aproximación universal en regiones donde las series polinómicas pueden divergir o donde se excede el radio de convergencia.
   • Continuidad: Una función de conmutación basada en la función escalón de Heaviside asegura la continuidad $C^0$ en el borde $\partial D$, imponiéndola mediante una penalización de continuidad en la función de pérdida.

3. Optimización: La tarea de aprendizaje se formula como un problema de optimización informado por física que minimiza una función de pérdida compuesta que incluye:

   • Residuos de EFN: Imponiendo la ecuación de invarianza en puntos de colocación.
   • Restricción de Equilibrio: Asegurando que la variedad pase por el punto de equilibrio.
   • Restricción de Continuidad: Igualando las salidas polinómicas y de la red neuronal en el borde.

   La optimización se resuelve utilizando el algoritmo Levenberg–Marquardt (LM). Crucialmente, los autores derivan expresiones analíticas para todas las derivadas de los residuos con respecto a los coeficientes polinómicos y los parámetros de la red neuronal, argumentando que este enfoque produce una fiabilidad y eficiencia superiores en comparación con las diferencias finitas o la diferenciación automática, particularmente para sistemas rígidos.

4. Fundamentos Teóricos: El artículo establece un teorema de aproximación universal para el componente de red neuronal independiente bajo suposiciones específicas (regularidad de Barron de la VI, continuidad Lipschitz de las dinámicas del sistema y composición acotada de la medida con respecto al exosistema). El teorema garantiza una tasa de convergencia $L^2$ de $O(L^{-1/2})$ con respecto al ancho de la red $L$.

Contribuciones Clave

• Esquema Híbrido: Introducción de una arquitectura híbrida novedosa que integra la interpretabilidad y la convergencia local de las series polinómicas con el poder de aproximación global de las redes neuronales para VI de tiempo discreto.
• Derivadas Analíticas: Derivación de derivadas analíticas en forma cerrada para los residuos del esquema híbrido, facilitando una optimización LM robusta.
• Garantías Teóricas: Establecimiento de un teorema de aproximación universal y tasas de convergencia para el componente de red neuronal aplicado a ecuaciones de invarianza de tiempo discreto.
• Evaluación Comparativa: Evaluación numérica exhaustiva comparando el esquema híbrido con PINN independientes y PSE tradicionales.

Resultados
El marco se evaluó en dos ejemplos de referencia:

1. Biorreactor Enzimático (1D impulsado, 1D exosistema): El esquema híbrido (utilizando series de Potencia, Legendre o Chebyshev) logró errores relativos medios $L^2$ del orden de $10^{-5}$, superando significativamente al PSE independiente (errores $\sim 10^{-3}$) y superando ligeramente al PINN independiente. El enfoque híbrido demostró alta precisión cerca del equilibrio (debido al componente polinómico) y mantuvo la precisión lejos de él (debido al componente de red neuronal).
2. Modelo de Seguimiento de Vehículos (20D impulsado, 2D exosistema): En este caso de mayor dimensionalidad, el esquema híbrido volvió a superar al PSE (errores $\sim 10^{-2}$) y mostró una precisión global ligeramente mejor que el PINN independiente (errores $\sim 10^{-3}$). El esquema híbrido generalizó con éxito a la variedad de 20 dimensiones, manteniendo una distribución homogénea de errores en todo el dominio.

Un caso de validación adicional con una VI analítica conocida ($x = \ln(1+y)$) confirmó que, mientras que las expansiones puramente polinómicas fallan fuera de su radio de convergencia, el esquema híbrido mantiene la precisión en todo el dominio, con un rendimiento que mejora a medida que aumenta el grado polinómico.

Significado y Afirmaciones
El artículo afirma que el esquema híbrido informado por física propuesto ofrece una ventaja comparativa sobre las expansiones polinómicas independientes y las redes neuronales independientes. Específicamente:

• Supera la limitación de localidad de las series polinómicas, que fallan fuera de su radio de convergencia.
• Mejora a los PINN independientes aprovechando la convergencia rápida de los polinomios cerca del equilibrio, resultando en una mayor precisión numérica en esa región.
• Proporciona una solución de un paso, plug-and-play que evita la complejidad de linealizar el problema o utilizar procedimientos de múltiples pasos a menudo requeridos por los métodos tradicionales.

Los autores notan modestamente que, si bien el método es altamente efectivo para variedades de baja a media dimensionalidad (donde la complejidad polinómica sigue siendo manejable), el crecimiento combinatorio de los coeficientes sigue siendo un cuello de botella para dimensiones muy altas. Sugieren que para tales casos, una aproximación PINN independiente podría ser más apropiada. El artículo concluye identificando direcciones de trabajo futuro, incluyendo el análisis riguroso de las propiedades de convergencia del esquema híbrido y la incorporación de bases de producto tensorial parsimoniosas.