Resumen Técnico: Aprendizaje de Modelos de Orden Reducido Afines al Control mediante Autoencoders

Formulación del Problema

El artículo aborda el desafío de identificar modelos de orden reducido (ROM, por sus siglas en inglés) para sistemas dinámicos no lineales de alta dimensión gobernados por ecuaciones diferenciales parciales (PDE) o simulaciones complejas. Los métodos tradicionales basados en proyección (por ejemplo, POD-Galerkin) requieren el conocimiento explícito de las ecuaciones gobernantes, lo cual a menudo no está disponible en escenarios basados en datos. Aunque los enfoques de aprendizaje profundo utilizando autoencoders (AE) han identificado con éxito variedades (manifolds) latentes de baja dimensión, la dinámica latente resultante suele ser no estructurada, compleja o puramente lineal.

Surge una limitación específica cuando estos modelos están destinados a aplicaciones de control. Las dinámicas latentes puramente lineales pueden fallar al capturar comportamientos no lineales complejos, mientras que las dinámicas latentes no lineales generales suelen carecer de las propiedades estructurales necesarias para un diseño de control eficiente (por ejemplo, la linealización por retroalimentación). Los autores identifican una brecha en los ROM actuales basados en datos: la falta de un marco que imponga una estructura afín al control en la dinámica latente, lo que equilibra la capacidad de modelado no lineal con la tractabilidad analítica requerida para el control.

Metodología

1. Dinámica Latente Afín al Control

La contribución central es un marco que aprende una representación latente $z_k \in \mathbb{R}^r$ donde la dinámica sigue una estructura afín al control en tiempo discreto:
$$z_{k+1} = a_{\phi_1}(z_k) + B_{\phi_2}(z_k) \cdot u_k$$
Aquí, $a_{\phi_1}$ es una red de "deriva" (drift) que representa la dinámica autónoma, y $B_{\phi_2}$ es una red de "entrada" que interactúa con la entrada de control $u_k$ de manera afín. Esta estructura se elige porque se alinea con muchos sistemas físicos (por ejemplo, robótica, reactores químicos) y permite la aplicación de la linealización por retroalimentación.

2. Estrategia de Entrenamiento Conjunto

A diferencia de los enfoques estándar que desacoplan el entrenamiento del autoencoder del aprendizaje de la dinámica, este método emplea una estrategia de entrenamiento simultáneo: el codificador ($E_\theta$), el decodificador ($D_\phi$) y el modelo de dinámica latente ($G_\phi$) se optimizan conjuntamente utilizando una función de pérdida multiobjetivo:
$$L = \gamma_1 L_{AE} + \gamma_2 L_{lat-cons} + \gamma_3 L_{dyn}$$

• $L_{AE}$: Error de reconstrucción del estado de alta dimensión.
• $L_{lat-cons}$: Pérdida de consistencia que asegura que la dinámica latente prediga con precisión los estados futuros codificados ($E_\theta(x_{k+l})$). Este término es crucial para asegurar que la dinámica del espacio latente sea consistente con la verdad fundamental (ground truth), evitando que el decodificador compense una dinámica latente deficiente.
• $L_{dyn}$: Error de extremo a extremo en el espacio de alta dimensión.

El marco también admite autoencoders de entrada para comprimir entradas de control de alta dimensión (por ejemplo, campos de frontera distribuidos) en un vector de entrada latente $u'_k$, permitiendo que la estructura afín al control gestione la actuación de alta dimensión.

3. Formulación Basada en Secuencias

Para mejorar la precisión de la predicción sin sacrificar la estructura afín al control, los autores extienden el modelo para que opere sobre secuencias. Se construye un vector de estado extendido $\xi_k$ que contiene historias de estados y entradas latentes. La dinámica se modela entonces como:
$$\xi_{k+1} = \alpha(\xi_k) + \beta(\xi_k) \cdot u_k$$
donde $\alpha$ incluye un operador de desplazamiento lineal para la memoria y un término de deriva no lineal, y $\beta$ aplica la entrada de control. Esta formulación permite capturar efectos de retardo temporal y dependencia de la historia, manteniendo al mismo tiempo la propiedad afín al control.

4. Linealización por Retroalimentación

El artículo proporciona directrices para aplicar la linealización por retroalimentación al ROM aprendido.

• Linealización de Estado Completo: Para el modelo estándar, si la matriz de entrada $B_{\phi_2}(z_k)$ tiene rango completo de fila ($r \leq m$), se puede derivar una ley de retroalimentación para transformar la dinámica no lineal en un sistema lineal $z_{k+1} = \bar{A}z_k + \bar{B}v_k$.
• Linealización de Entrada-Salida: Para el modelo basado en secuencias, la linealización de estado completo es estructuralmente imposible debido al búfer de memoria. Sin embargo, los autores demuestran que la linealización exacta de entrada-salida es alcanzable tratando el estado latente actual como la salida, siempre que la matriz de entrada del sistema extendido tenga rango completo. Esto permite el uso de controladores lineales estándar (por ejemplo, PID, LQR) en el espacio latente.

Principales Contribuciones

1. Marco de ROM Afín al Control: Un nuevo método basado en datos que impone una estructura afín al control en la dinámica latente, cerrando la brecha entre el modelado no lineal expresivo y la tractabilidad del control teórico.
2. Optimización Conjunta: Una estrategia de entrenamiento que aprende simultáneamente la transformación de coordenadas (AE) y la dinámica estructurada, asegurando que el espacio latente sea compatible con la suposición de afinidad al control.
3. Extensión Basada en Secuencias: Una adaptación del modelo afín al control para manejar historias de estados y entradas, mejorando la precisión de la predicción mientras se preserva la estructura afín.
4. Garantías Teóricas para el Control: Proposiciones formales que establecen las condiciones bajo las cuales los ROM aprendidos pueden ser linealizados exactamente mediante retroalimentación, permitiendo el uso de técnicas de control lineal en modelos de orden reducido no lineales.
5. Implementación de Código Abierto: Los autores lanzan DeepE2EROM, un paquete de Python que implementa el marco de entrenamiento de extremo a extremo.

Resultados Experimentales

El marco fue evaluado en dos ejemplos numéricos:

1. Ecuación de Calor Unidimensional

• Configuración: Un problema de control distribuido donde el estado es un campo de temperatura y la entrada es una fuente de calor distribuida espacialmente. Tanto el estado como la entrada eran de alta dimensión.
• Desempeño: El ROM afín al control superó significativamente a un modelo base con dinámica latente lineal. Logró una reducción de dos veces en el RMSE de extremo a extremo y una mejora más pronunciada en la precisión de la dinámica latente.
• Control: El modelo se utilizó con éxito para seguir una trayectoria de temperatura de referencia utilizando la linealización por retroalimentación combinada con un controlador PID. El controlador generó con éxito las entradas de calor distribuidas necesarias para dirigir el sistema.

2. Bola en Caja (Simulación 2D)

• Configuración: Una bola moviéndose en una caja unitaria con fuertes fuerzas repulsivas cerca de los bordes, observada mediante fotogramas de cámara de 64x64.
• Desempeño: El ROM afín al control superó a la línea base lineal tanto en entornos forzados (actuados) como autónomos. En el entorno forzado, logró aproximadamente la mitad del RMSE de extremo a extremo y un tercio del error latente de la línea base.
• Dinámica Autónoma: Incluso sin entrenamiento explícito en trayectorias autónomas, el modelo identificó con precisión el punto de equilibrio del sistema.
• Control: El modelo permitió el seguimiento de una trayectoria circular utilizando un controlador proporcional sobre la dinámica linealizada en el espacio latente.

Significado y Reivindicaciones

El artículo sostiene que imponer una estructura afín al control ofrece un "compromiso poderoso". Mantiene la capacidad de un modelado no lineal preciso y, al mismo tiempo, permite el uso de técnicas de control lineal bien establecidas (mediante la linealización por retroalimentación) tras una transformación de coordenadas adecuada.

Los autores enfatizan que, si bien las dinámicas latentes lineales son populares (a menudo vinculadas a la teoría del operador de Koopman), pueden ser insuficientes para sistemas no lineales complejos. Por el contrario, los modelos latentes no lineales generales suelen carecer de interpretabilidad y tractabilidad de control. El enfoque propuesto afín al control aborda estas limitaciones al alinearse naturalmente con una amplia clase de sistemas de ingeniería donde la dinámica es no lineal en el estado pero afín en la entrada de control.

El trabajo es modesto en su alcance, señalando que la linealización por retroalimentación de estado completo requiere que la dimensión latente sea menor o igual al número de entradas ($r \leq m$), lo cual puede ser restrictivo para sistemas con pocos actuadores. En tales casos, los autores reconocen que solo es posible la linealización parcial por retroalimentación. Se sugiere como trabajo futuro abordar esto mediante la descomposición del espacio latente en subespacios controlables y no actuados.

El artículo concluye que el marco propuesto, validado tanto en sistemas basados en PDE como en sistemas basados en imágenes, proporciona una base robusta para diseñar controladores para sistemas no lineales de alta dimensión directamente a partir de datos.