A robust and adaptive MPC formulation for Gaussian process models

Este artículo presenta un marco de control predictivo basado en modelos (MPC) robusto y adaptativo que utiliza procesos gaussianos y métricas de contracción para garantizar la satisfacción de restricciones y la convergencia en sistemas no lineales inciertos con perturbaciones y no linealidades no modeladas.

Lo esencial

Imagina que estás pilotando un dron (un cuadricóptero) en un entorno muy complicado, como un valle con colinas inesperadas y vientos fuertes. Tu objetivo es llegar a un punto específico de forma segura, sin chocar contra el suelo ni contra las montañas.

El problema es que no conoces perfectamente las reglas del juego. No sabes exactamente cómo el viento afecta al dron en cada momento, ni cómo el suelo "empuja" al dron cuando está muy cerca (un efecto físico difícil de predecir).

Aquí es donde entra este artículo, que propone una solución inteligente llamada MPC Adaptativo Robusto con Procesos Gaussianos. Vamos a desglosarlo con analogías sencillas:

1. El Problema: El Piloto Ciego

La mayoría de los controladores de drones funcionan como un piloto que ha memorizado un mapa perfecto. Si el mapa es correcto, el vuelo es perfecto. Pero si aparece una colina nueva o el viento cambia, el piloto se confunde y puede chocar.

• La solución tradicional: Intentar hacer el mapa "más seguro" asumiendo lo peor (como si hubiera un viento de huracán siempre). Esto hace que el dron vuele muy lento y con miedo, desperdiciando energía.
• El problema de los métodos anteriores: Si intentas aprender el mapa mientras vuelas, a veces el dron se vuelve tan inseguro que deja de funcionar o se vuelve demasiado conservador.

2. La Herramienta Mágica: Los Procesos Gaussianos (GP)

Los autores usan una técnica de Inteligencia Artificial llamada Proceso Gaussiano.

• La analogía: Imagina que tienes un mapa en blanco. Cada vez que el dron vuela y mide algo, deja una "huella" en el mapa.
• El Proceso Gaussiano no solo dibuja la línea entre las huellas, sino que también dibuja una nube de duda alrededor de esa línea.
  • Donde hay muchas huellas (datos), la nube es pequeña (estamos seguros).
  • Donde no hay huellas, la nube es grande (estamos inseguros).
• Esto permite al dron decir: "Aquí sé lo que pasa, pero allá arriba, cerca de esa colina, tengo dudas".

3. La Estrategia: El "Tubo de Seguridad" (Contraction Metrics)

Para volar seguro sin saber todo, el sistema crea un tubo de seguridad alrededor de la trayectoria ideal.

• La analogía: Imagina que el dron debe viajar por un túnel. El túnel no es rígido; se expande y se contrae.
  • Si el dron está en una zona conocida (poca duda), el túnel es estrecho y eficiente.
  • Si el dron entra en una zona de dudas (cerca de la colina), el túnel se ensancha automáticamente para cubrir todas las posibilidades de error.
• La innovación clave: Los autores usan una herramienta matemática llamada métrica de contracción para calcular cómo debe cambiar el tamaño de este túnel. Es como tener un "termómetro de seguridad" que se ajusta en tiempo real. Si el error crece, el túnel se hace más grande; si el dron aprende y el error disminuye, el túnel se encoge, permitiendo un vuelo más ágil.

4. La Adaptación: Aprender mientras se Vuela (Adaptive MPC)

Aquí está la parte más brillante. La mayoría de los sistemas aprenden antes de volar y luego se olvidan. Este sistema aprende en tiempo real.

• La analogía: Es como un piloto que tiene un cuaderno de notas. Cada vez que vuela, anota cómo reaccionó el dron al viento.
• Al día siguiente (o incluso en el siguiente segundo), el piloto lee sus notas, actualiza su mapa y ajusta el tamaño del túnel de seguridad.
• El truco matemático: El mayor desafío es que, al actualizar el mapa, a veces las nuevas predicciones "chocan" con las viejas y el sistema podría volverse loco. Los autores resolvieron esto creando un equipo de mapas (una colección de modelos). En lugar de elegir uno solo, el sistema combina varios mapas antiguos y nuevos para asegurar que, aunque el mapa cambie, el túnel de seguridad nunca se rompa y el dron siempre tenga una ruta válida.

5. El Resultado: Más Rápido y Más Seguro

En el ejemplo del artículo, probaron esto con un dron volando cerca de una colina (efectos de suelo).

• El sistema viejo (sin aprendizaje): Tenía que volar muy lento y con un túnel de seguridad gigante por miedo a lo desconocido.
• El sistema nuevo (con aprendizaje): Empezó con un túnel grande, pero a medida que el dron volaba y recogía datos, el túnel se fue haciendo más pequeño y preciso.
• Resultado: El dron llegó a su destino un 6% más rápido y consumió menos energía, todo mientras mantenía la garantía matemática de que nunca chocaría.

En Resumen

Este papel presenta un sistema de control para robots (como drones) que:

1. No necesita saber todo de antemano.
2. Aprende mientras trabaja, mejorando su conocimiento del entorno en tiempo real.
3. Mantiene un margen de seguridad dinámico (el tubo) que se ajusta según cuánto sabe el robot en ese momento.
4. Garantiza matemáticamente que, aunque esté aprendiendo, nunca cometerá un error fatal ni se quedará sin opciones de vuelo.

Es como darles a los robots un instinto de supervivencia combinado con una capacidad de aprendizaje continuo, permitiéndoles operar en mundos caóticos y desconocidos con la confianza de un experto.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "A robust and adaptive MPC formulation for Gaussian process models", estructurado según los puntos solicitados.

1. Planteamiento del Problema

El Control Predictivo Basado en Modelos (MPC) es una técnica de control de alto rendimiento para sistemas no lineales, pero su garantía de seguridad y estabilidad depende críticamente de la precisión del modelo dinámico. En la práctica, los modelos exactos rara vez están disponibles debido a:

• Disturbancias acotadas: Ruido externo o perturbaciones conocidas.
• No linealidades no modeladas: Dinámicas complejas difíciles de derivar analíticamente (ej. efectos de suelo en drones).

Los enfoques existentes de MPC robusto (RMPC) y adaptativo (RAMPC) suelen limitarse a incertidumbres parametrizadas linealmente por vectores de dimensión finita. Por otro lado, los Procesos Gaussianos (GP) permiten aprender funciones desconocidas generales a partir de datos, proporcionando estimaciones de incertidumbre rigurosas. Sin embargo, integrar GPs en MPC presenta desafíos teóricos:

1. Conservadurismo excesivo: Los métodos actuales de propagación robusta (usando intervalos o elipsoides) tienden a generar conjuntos alcanzables que crecen exponencialmente, volviéndose inviables.
2. Falta de factibilidad recursiva: Actualizar el modelo en línea con nuevos datos puede romper las garantías de que el problema de optimización siga siendo factible en el siguiente paso de tiempo, debido a que las nuevas estimaciones de incertidumbre no están anidadas (no son subconjuntos de las anteriores) y el nuevo promedio posterior puede no ser una predicción nominal factible.

El objetivo del trabajo es desarrollar un marco MPC Robusto y Adaptativo (RAMPC) que utilice GPs para modelar dinámicas inciertas, garantice la satisfacción de restricciones y la factibilidad recursiva, y mejore el rendimiento mediante el aprendizaje en línea.

2. Metodología

La propuesta se basa en una combinación de métricas de contracción, límites de alta probabilidad de los GPs y una estrategia de actualización de modelos mediante intersección de conjuntos.

A. Modelado y Aprendizaje (GPs)

• Se asume que la dinámica incierta $g(x)$ pertenece a un Espacio de Hilbert de Núcleo Reproductor (RKHS) y que el ruido es sub-Gaussiano.
• Se utilizan GPs para obtener una media posterior $\mu_N(x)$ y una varianza $\sigma_N^2(x)$ basadas en datos (offline y online).
• Se define un límite de error de alta probabilidad $w(x) = \beta_N \sigma_N(x)$ tal que $|g(x) - \mu_N(x)| \leq w(x)$ con probabilidad $1-p$.

B. Predicción Robusta mediante Métricas de Contracción

En lugar de propagar conjuntos alcanzables complejos (como cajas o elipsoides), el método utiliza métricas de contracción:

1. Diseño Offline: Se calcula una métrica de contracción $M(x)$ y un controlador de retroalimentación $\kappa(x, z, v)$ que garantizan la estabilidad incremental del sistema nominal.
2. Tubo Homotético: Se construye un "tubo" alrededor de una trayectoria nominal $z(t)$. El tubo se define como $T_\tau = \{x \mid V_\delta(x, z_\tau) \leq \delta_\tau\}$, donde $V_\delta$ es una función de distancia de Lyapunov basada en la métrica $M(x)$.
3. Dinámica del Escalado: La evolución del radio del tubo $\delta(t)$ se describe mediante una ecuación diferencial escalar simple:
   $$\dot{\delta}_t = -(\rho - L_G)\delta_t + G_M w(z_t) + E_M$$
   Donde $\rho$ es la tasa de contracción y $L_G, G_M, E_M$ son constantes derivadas de los límites de error y la dinámica. Esto evita el crecimiento exponencial típico de otros métodos.

C. Estrategia Adaptativa (GP-RAMPC)

Para manejar la actualización en línea de los modelos GP sin perder la factibilidad recursiva:

1. Colección de Modelos: En lugar de reemplazar el modelo GP, se mantiene una colección de modelos GP generados en diferentes instantes de tiempo.
2. Intersección de Conjuntos: Se define un límite de incertidumbre combinado $\tilde{w}$ mediante la intersección de los límites de confianza de los modelos seleccionados. Esto garantiza que el nuevo límite sea no creciente (monótono) a medida que se añaden datos.
3. Predicción Nominal Flexible: La predicción nominal $\bar{g}$ se calcula como una combinación lineal de las medias posteriores de los modelos seleccionados, donde los coeficientes de combinación $\lambda$ son variables de decisión en el problema de optimización. Esto permite al controlador elegir la predicción nominal más factible dentro del conjunto de modelos disponibles.

D. Formulación del Problema de Control (OCP)

El problema de optimización en línea minimiza un costo cuadrático sujeto a:

• Dinámica nominal y dinámica del escalado del tubo.
• Restricciones de estado y entrada acortadas (tightened) por el radio del tubo $\delta$.
• Condiciones terminales que aseguran la invariancia positiva y la disminución de la función de Lyapunov.

3. Contribuciones Clave

1. Predicción Robusta Escalar: Derivación de una ecuación diferencial escalar para la propagación de la incertidumbre usando métricas de contracción, lo que reduce drásticamente la complejidad computacional y el conservadurismo en comparación con métodos basados en elipsoides o intervalos.
2. Garantías Teóricas con Actualización en Línea: Desarrollo de un esquema que mantiene la factibilidad recursiva y la satisfacción de restricciones (con probabilidad $1-p$) incluso cuando el modelo GP se actualiza en tiempo real. Esto se logra mediante el uso de una colección de modelos y la optimización de la combinación lineal de sus medias.
3. Marco General para No Linealidades: El método es aplicable a sistemas no lineales continuos con no linealidades no modeladas generales (no solo parámetros lineales), siempre que cumplan ciertas condiciones de regularidad en el RKHS.
4. Eficiencia Computacional: La optimización se realiza sobre un vector de escalado escalar $\delta$ y coeficientes de combinación $\lambda$, en lugar de matrices completas de covarianza, haciendo el enfoque viable para sistemas de tiempo real.

4. Resultados Numéricos

El método se validó mediante un ejemplo de un cuadrotor plano sujeto a efectos de suelo difíciles de modelar y perturbaciones de viento.

• Comparación de Conservadurismo: Se comparó el tamaño del tubo de predicción con un método existente basado en propagación elipsoidal secuencial [18].
  • El método existente mostró un crecimiento exponencial del tubo, llevando a la divergencia numérica en ~1 segundo.
  • El método propuesto mantuvo el error acotado y el tamaño del tubo estable gracias a la métrica de contracción.
• Rendimiento de Control:
  • El esquema GP-RAMPC (con aprendizaje en línea) logró alcanzar el conjunto terminal un 6% más rápido y redujo el costo de seguimiento en un 9% en comparación con el esquema GP-RMPC (solo datos offline).
  • La adaptación en línea permitió reducir la incertidumbre a medida que el dron volaba sobre nuevas regiones del terreno.
• Tiempo de Cómputo:
  • El tiempo total por iteración SQP fue de ~89 ms para GP-RAMPC (vs 51 ms para GP-RMPC), lo cual es viable para sistemas de control en tiempo real. El aumento se debe a la evaluación de múltiples modelos GP, pero se mantiene constante gracias a una estrategia de gestión de datos (batching) eficiente.

5. Significado e Impacto

Este trabajo cierra una brecha importante entre el aprendizaje automático (GPs) y el control robusto garantizado.

• Seguridad Garantizada: Proporciona una de las pocas formulaciones que ofrecen garantías teóricas estrictas de seguridad (factibilidad recursiva y satisfacción de restricciones) mientras se aprende la dinámica del sistema en tiempo real.
• Superación del Conservadurismo: Al utilizar métricas de contracción en lugar de aproximaciones de conjuntos alcanzables tradicionales, permite operar sistemas cerca de sus límites físicos sin ser excesivamente conservador, lo que es crucial para aplicaciones de robots ágiles.
• Aplicabilidad Práctica: La demostración en un cuadrotor con efectos de suelo no modelados valida su utilidad en escenarios del mundo real donde los modelos físicos son incompletos y las condiciones ambientales cambian.

En resumen, el artículo presenta un marco robusto y adaptativo que permite a los sistemas de control aprovechar datos en tiempo real para mejorar el rendimiento sin sacrificar las garantías de seguridad, resolviendo problemas de factibilidad que han limitado los enfoques anteriores de GP-MPC.