Resumen Técnico: Control Predictivo Basado en Modelo No Lineal Amortizado

Planteamiento del Problema

El Control Predictivo Basado en Modelo No Lineal (NMPC) ofrece un marco poderoso para el control óptimo con restricciones, pero enfrenta un cuello de botella computacional significativo. En cada instante de muestreo, el NMPC requiere resolver un programa no lineal (NLP) restringido en tiempo real. Para modelos de planta no lineales, este tiempo de resolución por paso puede ser órdenes de magnitud mayor que para sistemas lineales, lo que a menudo hace que la implementación en tiempo real sea inviable en hardware con recursos limitados o a tasas de muestreo elevadas. Si bien los esquemas de Iteración en Tiempo Real (RTI) mejoran la eficiencia realizando una única iteración de tipo Newton, el costo computacional aún puede ser prohibitivo. Además, el MPC no lineal explícito es generalmente intratable.

Avances recientes en aprendizaje automático, específicamente la "optimización amortizada", proponen reemplazar el resolvedor en línea por un aproximador de funciones entrenado fuera de línea. Sin embargo, un desafío importante en este enfoque es preservar las garantías de bucle cerrado, como la satisfacción de restricciones y la estabilidad, cuando la aproximación aprendida se desvía de la solución exacta.

Metodología

Los autores proponen un marco para sistemas no lineales afines a la entrada (sistemas donde la dinámica es afín en la entrada de control, $x_{k+1} = f(x_k) + G(x_k)u_k$) que aproxima el movimiento de control óptimo resolviendo un Programa Cuadrático (QP) dependiente del estado en línea. La innovación clave es una arquitectura de red de corrector-residuo de un solo paso que separa el aprendizaje de los parámetros del problema de la aplicación de las restricciones.

1. Formulación de QP Paramétrico

Para sistemas afines a la entrada, el mapa de estado de un paso es afín en la entrada de control $u_0$. Los autores formulan un pequeño QP para optimizar el primer movimiento de control $u_0$:

• Objetivo: Una función de costo cuadrático $\frac{1}{2}u_0^\top H(x_0) u_0 + c(x_0, r)^\top u_0$, donde $H$ y $c$ dependen del estado actual y la referencia.
• Restricciones:
  • Restricciones Duras: Los límites de entrada y las restricciones afines a la entrada (por ejemplo, límites de torque) se imponen directamente.
  • Restricciones Blandas: Los límites de estado para el siguiente paso se modelan como restricciones blandas utilizando variables de holgura para asegurar que el QP permanezca factible.
• Tamaño: El QP resultante tiene significativamente menos variables de decisión ($n_u + n_s$) en comparación con el horizonte completo del NLP ($(N+1)n_x + N n_u$).

2. Arquitectura de Red de Corrector-Residuo

En lugar de aprender la secuencia completa de control óptimo o los parámetros completos del QP desde cero, la red aprende únicamente las correcciones residuales a una base analítica:

• Base Analítica: Derivada de la linealización de la dinámica del sistema y la función de costo alrededor del estado actual. Esto proporciona estimaciones iniciales para el factor de Cholesky de la Hessiana ($L_{an}$) y el vector de costo lineal ($c_{an}$).
• Red Neuronal ($\phi_\psi$): Toma el estado concatenado y la referencia como entrada y predice las correcciones ($\Delta L, \Delta c$).
• Mecanismo de Corrección:
  • El factor de Cholesky completo es $L_{full} = L_{an} + \Delta L$.
  • Los elementos diagonales se procesan a través de una función softplus para garantizar la positividad estricta, asegurando que la Hessiana resultante $H_{full} = L_{full}L_{full}^\top$ sea definida positiva.
  • El vector de costo completo es $c_{full} = c_{an} + \Delta c$.

3. Solucionador Diferenciable y Entrenamiento

• Inferencia en Línea: Los parámetros corregidos definen un pequeño QP, que se resuelve en línea mediante una capa de punto interior diferenciable. Esto garantiza que la salida $u_0^*$ satisfaga las restricciones del QP por construcción.
• Entrenamiento Fuera de Línea: La red se entrena sobre un conjunto de datos de soluciones óptimas de NLP (generadas por un resolvedor como IPOPT) utilizando una función de pérdida híbrida:
  1. Imitación Supervisada ($L_{sup}$): Penaliza la desviación de la acción de control predicha del la solución óptima del NLP.
  2. Estacionariedad KKT ($L_{KKT}$): Penaliza la violación de la condición de estacionariedad del NLP completo en la solución predicha.
  3. Complementariedad de Fischer-Burmeister ($L_{FB}$): Penaliza las violaciones de las condiciones de complementariedad para las restricciones de desigualdad.
  4. Regularización ($L_{reg}$): Mantiene las correcciones aprendidas cerca de la base analítica.

Contribuciones Clave

1. Arquitectura de Corrector-Residuo: Un enfoque novedoso donde una red neuronal aprende solo las correcciones a una base de QP analíticamente derivada, en lugar de la solución completa. Esto aprovecha la estructura conocida de los sistemas afines a la entrada.
2. Satisfacción de Restricciones mediante Capas Diferenciables: Al embeber un resolvedor de QP diferenciable dentro de la red, el método garantiza que la primera acción de control satisfaga las restricciones duras, abordando un modo de falla común en el aprendizaje basado en modelos.
3. Función de Pérdida Híbrida: El objetivo de entrenamiento combina la imitación supervisada con penalizaciones de residuos KKT y de complementariedad informadas por la física, mejorando el rendimiento y la factibilidad en comparación con el aprendizaje de imitación puro.
4. Escalabilidad: El enfoque reduce el problema de optimización en línea de un complejo NLP a un pequeño QP con una matriz de costo dependiente del estado, reduciendo drásticamente la complejidad computacional.

Resultados Experimentales

El método fue validado en un brazo robótico planar de tres eslabones con seguimiento de la posición cartesiana del efector final, sujeto a restricciones de posición, velocidad y aceleración de las articulaciones, así como de torque.

• Desempeño: La política amortizada logró un costo de bucle cerrado medio dentro del 4.7% del óptimo de IPOPT de horizonte completo. En contraste, el esquema RTI estándar (acados) divergió en el 12% de los escenarios y fue un 17.5% peor en promedio, mientras que un MLP directo (sin la capa de QP) divergió en el 27% de los escenarios y violó significativamente las restricciones duras.
• Satisfacción de Restricciones: El QP amortizado satisfizo los límites duros de torque y aceleración con precisión numérica. Las restricciones blandas de estado se violaron solo levemente durante los transitorios (0.7% de los pasos).
• Velocidad Computacional:
  • IPOPT: ~120 ms de tiempo de resolución mediana.
  • RTI (acados): ~2.4 ms de tiempo de resolución mediana.
  • QP Amortizado: 0.116 ms de tiempo de resolución mediana.
  • Esto representa una aceleración de ~21x sobre RTI y una aceleración de ~1800x sobre el resolvedor de NLP completo.

Significancia

El artículo afirma que este enfoque ofrece una ruta práctica para desplegar NMPC en hardware con recursos limitados o a altas tasas de muestreo sin sacrificar la satisfacción de las restricciones. Al desacoplar el aprendizaje del paisaje de costos (mediante la red) de la aplicación de las restricciones (mediante el resolvedor de QP), el método logra aceleraciones de órdenes de magnitud sobre los resolvedores de NLP tradicionales manteniendo un rendimiento de seguimiento comparable al de la solución óptima. Se destaca que el uso de una función de pérdida híbrida que combina el aprendizaje supervisado con los residuos KKT es un factor clave para lograr una mayor factibilidad y confiabilidad en comparación con los métodos que simplemente ajustan datos o aprenden puntos de inicio cálidos (warm-starts).