📊 statistics

Learning to control switching nonlinear systems with Koopman operator regression

Este artículo propone un marco de control para sistemas no lineales con espacios de acción finitos que utiliza la regresión del operador de Koopman en un espacio de Hilbert de núcleo reproductor para aprender modelos predictivos de conmutación lineales, los cuales se emplean posteriormente en el control predictivo basado en modelo con garantías teóricas sobre las tasas de aprendizaje y la suboptimalidad.

Autores originales: Edoardo Caldarelli, Oleksii Kachaiev, Cesare Molinari, Lorenzo Rosasco

Publicado 2026-07-14

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Edoardo Caldarelli, Oleksii Kachaiev, Cesare Molinari, Lorenzo Rosasco

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un robot a equilibrar un palo inestable e impredecible sobre su dedo. El palo no solo se cae; se tuerce, gira y reacciona de formas salvajes y no lineales dependiendo de cómo lo empuje el robot. Esto es lo que los científicos llaman un "sistema no lineal", y es notoriamente difícil de controlar porque las matemáticas se vuelven complicadas muy rápido.

Este artículo introduce un truco ingenioso para domar ese caos. En lugar de intentar resolver las complicadas y retorcidas matemáticas directamente, los autores sugieren "elevar" el problema a un mundo diferente—un espacio de mayor dimensión donde las reglas de repente se vuelven simples y rectas. Piensa en esto como tomar una bola de estambre enredada y, mágicamente, estirarla hasta que sea una línea perfectamente recta. En este nuevo mundo, el palo caótico se comporta como un objeto predecible y de movimiento recto.

La Escalera Mágica: Operadores de Koopman
La herramienta que utilizan para realizar este estiramiento se llama operador de Koopman. En el mundo real, el movimiento del palo es una curva complicada. Pero en este mundo "elevado", el movimiento es simplemente un interruptor. Si el robot empuja a la izquierda, el palo se mueve de una forma; si empuja a la derecha, se mueve de otra. Es como un tren que solo tiene unos pocos rieles para elegir. Los autores demuestran que, aunque el sistema original es una bestia no lineal salvaje, podemos encontrar una familia de estos "rieles" (operadores lineales) que describen su comportamiento perfectamente, siempre y cuando el robot tenga un conjunto limitado de movimientos para elegir.

Aprendiendo de Unos Pocos Instantes
Aquí está el detalle: el robot aún no conoce los rieles. Tiene que aprenderlos. Los autores enseñan al robot mostrándole una serie de "instantáneas" del movimiento del palo. Utilizan un método llamado regresión del operador de Koopman (una forma elegante de decir "aprender el patrón a partir de los datos") para determinar exactamente cómo lucen esos rieles.

Demostraron matemáticamente que, si le das al robot suficientes instantáneas, puede aprender estos rieles con alta precisión. Cuantos más datos le suministres, más cerca estarán los rieles aprendidos de los reales. No solo lo adivinaron; derivaron tasas específicas que muestran cómo el error disminuye a medida que crece el número de puntos de datos. Por ejemplo, con suficientes datos, el error al predecir el siguiente paso cae a una tasa específica (escalando con $n^{-1/6}$ en el escenario más rápido), lo que significa que el modelo se vuelve cada vez más nítido.

La Estrategia de "Mirar Adelante": Control Predictivo por Modelo
Una vez que el robot conoce los rieles, todavía tiene que decidir cuál tomar en cada momento. El artículo utiliza una estrategia llamada Control Predictivo por Modelo (MPC). Imagina que el robot es un jugador de ajedrez que no solo mira el siguiente movimiento, sino que simula los siguientes 10 o 15 movimientos en su cabeza para ver qué camino conduce al mejor resultado.

Los autores muestran que, incluso si el robot solo mira una distancia corta hacia adelante (un "horizonte predictivo" finito), aún puede hacer un gran trabajo. Demostraron que, si el robot mira lo suficientemente lejos hacia adelante (específicamente, si el horizonte $T$ es lo suficientemente grande en relación con una constante $C$ derivada del costo del sistema), la estrategia es casi tan buena como el plan perfecto de horizonte infinito. La "sub-optimalidad" (qué tan peor es que el plan perfecto) cae exponencialmente a medida que el robot mira más lejos hacia adelante.

¿Qué pasa con los errores?
Dado que el robot aprendió los rieles a partir de datos, podría cometer pequeños errores. El artículo aborda esto directamente. Mostraron que, incluso con estos rilejes aprendidos y ligeramente imperfectos, el rendimiento del robot no colapsa. En cambio, el costo final (qué tan bien equilibró el palo) se mantiene dentro de un límite predecible. Cuanto peor sea el error de aprendizaje, un poco peor será el resultado final, pero la relación es suave y controlada. No solo dijeron que esto sucede; escribieron la fórmula exacta que muestra cómo el error de aprendizaje se traduce en el error de control.

La Prueba de Manejo: El Oscilador de Duffing
Para probar que esto no era solo teoría, los autores lo probaron en un sistema famoso y tambaleante llamado oscilador de Duffing. Simularon al robot controlando este sistema con dos conjuntos diferentes de movimientos: un conjunto simétrico (empujar a la izquierda o a la derecha con fuerza igual) y un conjunto asimétrico (añadir una opción de "empuje" más fuerte).

En sus simulaciones, encontraron que:

Más datos ayudan: Cuando aumentaron el número de instantáneas de entrenamiento de unas pocas a $10^6$ , el rendimiento del robot mejoró significativamente.
Mirar más lejos ayuda: Cuando aumentaron el horizonte de "mirada hacia adelante" $T$ de 1 a 15 pasos, el robot estabilizó el sistema mucho mejor. Con una mirada corta ( $T=1$ ), el sistema deambulaba con múltiples atractores (no podía decidir dónde asentarse). Con una mirada larga ( $T=15$ ), lo estabilizó suavemente justo en el centro.
La función de costo importa: Utilizaron una función de costo específica que incluía un factor de descuento $\lambda = 0.9999$ para asegurar que el robot se preocupara por el futuro a largo plazo sin quedarse atrapado en bucles infinitos.

Lo que No Reclaman
Es importante notar lo que este artículo no dice. No afirman que esto funcione para cualquier sistema con opciones de control infinitas; requieren específicamente un conjunto finito de acciones (como un interruptor con algunas posiciones). Tampoco afirman que el sistema se vuelva perfectamente estable en el límite; en su lugar, utilizan un costo variable en el tiempo para manejar el hecho de que el sistema podría simplemente permanecer acotado en lugar de asentarse perfectamente en cero. Evitan asumir que el sistema es "ergódico" (una propiedad estadística específica sobre los promedios temporales), lo que hace que su método sea más flexible que otros enfoques anteriores.

La Conclusión
Los autores han construido un puente entre el caos no lineal del mundo real y las matemáticas lineales y limpias. Demostraron que, al "elevar" el problema, aprender las reglas a partir de los datos y usar una estrategia inteligente de "mirar hacia adelante", se puede controlar sistemas complejos de manera efectiva. Demostraron que esto funciona matemáticamente y lo respaldaron con simulaciones en un sistema oscilante clásico. Aunque aún no lo han probado en un robot físico real (este es un paso futuro), las matemáticas y las simulaciones por computadora sugieren que es una forma sólida y confiable de enseñar a las máquinas a lidiar con lo impredecible.

Resumen Técnico: Aprendizaje para el Control de Sistemas No Lineales de Conmutación mediante la Regresión del Operador de Koopman

Planteamiento del Problema

Este trabajo aborda el desafío de identificar y controlar sistemas dinámicos no lineales donde el espacio de control $U$ es finito. La dinámica del sistema está gobernada por un mapa de flujo de conmutación no lineal $f: X \times U \to X$ , descrito por la ecuación de diferencia $x_{t+1} = f(x_t, u_t)$ . Las principales dificultades para controlar tales sistemas son de dos tipos:

No linealidad y Dinámicas Desconocidas: El mapa de flujo $f$ es generalmente desconocido y no lineal, lo que hace que la solución del problema de control óptimo de horizonte infinito sea computacionalmente intratable.
Conjuntos de Control Finitos: La finitud del conjunto de control puede conducir a dinámicas de bucle cerrado que son finalmente acotadas pero no asintóticamente estables en el límite, lo que potencialmente resulta en costos de control óptimo ilimitados.

Para abordar estos problemas, los autores proponen un marco de trabajo basado en datos que transforma el problema de conmutación no lineal en un problema de conmutación lineal dentro de un Espacio de Hilbert de Núcleo Reproductor (RKHS, por sus siglas en inglés), aprovechando el formalismo del operador de Koopman.

Metodología

1. Elevación de Koopman en RKHS

La metodología central consiste en elevar el espacio de estados $X$ a un espacio de observables de alta dimensión (potencialmente de dimensión infinita) $\mathcal{H}$ a través de un mapa de características $\psi: X \to \mathcal{H}$ .

Dinámica de Conmutación Lineal: Para un conjunto de control finito $U$ , las dinámicas no lineales se representan como una familia de operadores lineales $\{K_u\}_{u \in U}$ que actúan sobre el estado elevado $z_t = \psi(x_t)$ . La evolución está gobernada por $z_{t+1} = K_{u_t} z_t$ .
Construcción del Operador: Los autores definen los operadores de Koopman $K_u$ en el RKHS $\mathcal{H}$ extendiendo los pre-operadores de Koopman definidos en la imagen del espacio de estados. Esta extensión se basa en la suposición de que el núcleo es estrictamente definido positivo y que los operadores son uniformemente acotados en un subespacio denso de $\mathcal{H}$ .
Evitación de Medidas Invariantes: A diferencia de parte de la literatura existente, este enfoque no requiere la existencia o el conocimiento de una medida invariante (por ejemplo, para dinámicas ergódicas) para definir los operadores.

2. Identificación Basada en Datos mediante Regresión

Dado que los operadores $K_u$ son desconocidos, se estiman a partir de muestras de datos finitos utilizando regresión no paramétrica en el RKHS.

Problema de Aprendizaje: Para cada control $u$ , el operador $\hat{K}_u$ se aprende resolviendo un problema de regresión de valores de operador regularizado (regularización de Tikhonov) para minimizar el error entre el estado elevado predicho y el siguiente estado observado.
Garantías de Convergencia: El artículo deriva tasas de aprendizaje para el error de aproximación $\|\hat{K}_u - K_u\|$ . Estas tasas dependen del tamaño de la muestra $n$ , las propiedades del núcleo y un parámetro de "condición de fuente" $r \in (1/2, 1]$ que cuantifica la suavidad del operador objetivo en relación con la geometría del núcleo. El análisis no depende de suposiciones de ergodicidad o reversibilidad temporal.

3. Control Predictivo Basado en Modelo (MPC)

Para resolver el problema de control óptimo de horizonte infinito en el espacio elevado, los autores emplean Control Predictivo Basado en Modelo (MPC).

Costo de Etapa Variable en el Tiempo: Para manejar la posible falta de estabilidad asintótica debido a las acciones finitas, el costo de etapa $\ell(t, z, u)$ es explícitamente variable en el tiempo (por ejemplo, incorporando un factor de descuento). Esto asegura que el costo de control óptimo permanezca acotado.
MPC Exacto vs. Inexacto:
- MPC Exacto: Supone que los verdaderos operadores de Koopman son conocidos. El artículo establece que la brecha de sub-optimalidad decae exponencialmente con el horizonte predictivo $T$ , siempre que se cumpla una suposición de controlabilidad.
- MPC Inexacto: Utiliza los modelos sustitutos aprendidos $\hat{K}_u$ . El artículo cuantifica la brecha de sub-optimalidad combinando el error de aprendizaje estadístico (de la regresión de Koopman) con las propiedades de robustez del algoritmo MPC.

Principales Contribuciones

Modelo de Conmutación Lineal para Controles Finitos: El estudio formaliza un modelo predictivo basado en Koopman y lineal específicamente para dinámicas no lineales con espacios de control finitos, evitando las suposiciones bilineales o de tiempo invariante lineal comunes en otros trabajos.
Aprendizaje No Paramétrico con Límites de Convergencia: Los autores demuestran cómo aprender estos modelos de Koopman mediante regresión no paramétrica en RKHS. Derivan límites de aprendizaje que no dependen de la ergodicidad o la reversibilidad temporal, ofreciendo un marco teórico más general.
Formulación de MPC Robusto: El artículo formula un problema de control óptimo de horizonte infinito y sin restricciones con un costo de etapa variable en el tiempo para acomodar conjuntos de acciones finitas. Lo resuelve utilizando MPC y proporciona un análisis de rendimiento teórico.
Análisis de Sub-optimalidad:
- Para la dinámica de Koopman exacta, el artículo deriva límites de sub-optimalidad que muestran un decaimiento exponencial con la longitud del horizonte.
- Para las dinámicas aprendidas (sustitutas), el artículo proporciona un límite de alta probabilidad que vincula el error de aprendizaje estadístico con el rendimiento del control de bucle cerrado. Esto une la teoría del aprendizaje estadístico con el control robusto.
Validación Empírica: Los algoritmos propuestos se implementan y prueban en un benchmark del oscilador de Duffing, validando empíricamente los hallazgos teóricos respecto al impacto del horizonte predictivo y el número de muestras de entrenamiento en el rendimiento del control.

Resultados y Hallazgos

Tasas de Aprendizaje: El análisis teórico muestra que el error de predicción de un paso del modelo de Koopman aproximado escala como $O(n^{-1/6})$ en el régimen más rápido (dependiendo del parámetro de la condición de fuente $r$ ). Esto coincide con las tasas encontridas en el aprendizaje supervisado, sugiriendo que las estimaciones son precisas.
Desempeño del MPC:
- La brecha de sub-optimalidad para el algoritmo MPC exacto decae exponencialmente con la longitud del horizonte $T$ .
- Al utilizar modelos aprendidos, la brecha de sub-optimalidad está limitada por un término dependiente del error de aprendizaje $\epsilon(n, \delta)$ . A medida que el número de muestras $n$ aumenta, el modelo aprendido se vuelve más preciso y el costo de bucle cerrado se aproxima al valor óptimo.
Simulaciones Numéricas: Los experimentos en el oscilador de Duffing confirman que:
- Aumentar el horizonte predictivo $T$ mejora el desempeño del controlador, llevando a una mejor estabilización cerca del origen.
- Aumentar el número de muestras de entrenamiento $n$ reduce el costo de control, validando los límites de aprendizaje teóricos.
- El método funciona eficazmente tanto con conjuntos de control simétricos como asimétricos, mostrando estos últimos un acercamiento más rápido a las superficies de conmutación.

Significado y Reivindicaciones

El artículo afirma proporcionar un marco teórico riguroso para el control de sistemas de conmutación no lineales utilizando operadores de Koopman basados en datos. Su importancia radica en:

Unión de la Teoría y la Práctica: Conecta la teoría del aprendizaje estadístico (regresión en RKHS) con la teoría de control (MPC) para proporcionar garantías de rendimiento demostrables para el control basado en datos.
Generalización: Al evitar suposiciones como la ergodicidad o estructuras de sistema específicas (por ejemplo, la bilinealidad), el enfoque es aplicable a una clase más amplia de sistemas no lineales con entradas de control finitas.
Robustez Cuantificable: El trabajo cuantifica explícitamente cómo los errores de estimación provenientes de datos finitos se propagan al rendimiento del control, ofreciendo un "puente de alta probabilidad" entre el aprendizaje y el control.
Implementación Práctica: Los autores proporcionan una implementación de código abierto y demuestran que los límites de sub-optimalidad teóricos son relevantes en la práctica, como lo evidencia la simulación del oscilador de Duffing.

Los autores mantienen una postura modesta en sus afirmaciones, señalando que el análisis teórico depende de suposiciones específicas (por ejemplo, acotación, condiciones de fuente) y que el trabajo futuro podría extender estos resultados a diferentes estrategias de muestreo o verificar las suposiciones para clases específicas de sistemas no lineales. También reconocen que la aplicación en tiempo real puede requerir aproximaciones para la búsqueda combinatoria inherente al problema de control óptimo.