Data-driven Acceleration of MPC with Guarantees

Resumen Técnico: Aceleración basada en datos de MPC con Garantías

Enunciado del Problema
El Control Predictivo basado en Modelos (MPC) es un marco dominante para el control óptimo de sistemas dinámicos de alta dimensión con restricciones. Sin embargo, su dependencia de la resolución iterativa de problemas de optimización con horizonte deslizante y restricciones en línea crea un cuello de botella computacional, que a menudo lo hace inadecuado para aplicaciones de baja latencia. Si bien se han propuesto MPC explícito y aproximaciones mediante redes neuronales para acelerar el control, adolecen de inconvenientes significativos: los métodos explícitos a menudo requieren esquemas de proyección costosos o luchan con no linealidades; las redes neuronales son difíciles de adaptar a nuevos datos sin reentrenamiento; y muchos métodos no paramétricos carecen de garantías rigurosas, no asintóticas, sobre factibilidad y rendimiento.

Metodología
Los autores proponen un marco novedoso basado en datos que acelera el MPC reemplazando la optimización en línea con una política no paramétrica construida a partir de soluciones de MPC fuera de línea. La metodología central involucra tres componentes principales:

1. Formulación Conservadora Fuera de Línea: En lugar de resolver el problema original de MPC en línea, los autores resuelven una versión ligeramente más conservadora fuera de línea. Esto implica reducir el conjunto de restricciones de estado $X$ a un conjunto erosionado por $\epsilon$, denotado como $X_{-\epsilon}$ (utilizando la diferencia de Pontryagin). Resolver este problema conservador garantiza que las trayectorias óptimas permanezcan estrictamente en el interior de los límites originales de las restricciones, proporcionando un margen de seguridad.
2. Construcción de Política No Paramétrica: Se construye un conjunto de datos $D$ a partir de soluciones fuera de línea, consistente en tuplas $(x_i, u_i, J_i)$, donde $x_i$ es un estado, $u_i$ es el control óptimo y $J_i$ es el costo óptimo futuro para el problema conservador. La política propuesta $\pi_D$ es una regla codiciosa de vecino más cercano: para un estado actual $x$, selecciona el control $u_i$ asociado con el punto del conjunto de datos $x_i$ que minimiza el costo regularizado $J_i + \lambda \|x - x_i\|$.
3. Garantías Teóricas: Los autores establecen condiciones bajo las cuales esta política es recursivamente factible y admite una brecha de optimalidad acotada.
   • Factibilidad Recursiva: Al aprovechar la continuidad Lipschitz de la dinámica del sistema, los autores demuestran que si el conjunto de datos $D$ forma una cobertura suficiente del espacio de estados (específicamente, una cobertura de $\epsilon/L_f$), la política permanece factible para el problema original, no conservador.
   • Suboptimalidad Acotada: Utilizando la continuidad Lipschitz de la función de costo futuro, los autores construyen cotas superiores e inferiores dependientes de los datos sobre el costo óptimo. Demuestran que con un parámetro de regularización $\lambda$ suficientemente grande, el costo de la política está acotado superiormente por una cota superior conservadora derivada de los datos. Esto conduce a una cota demostrable sobre la brecha de suboptimalidad relativa, que se estrecha a medida que mejora la cobertura del conjunto de datos.

Contribuciones Clave
El artículo hace cuatro contribuciones principales:

1. Política No Paramétrica Novedosa: Una política que resuelve aproximadamente problemas de MPC utilizando datos fuera de línea de una formulación conservadora, evitando la necesidad de optimización en línea.
2. Capacidad de Aprendizaje Continuo: La política soporta la adición incremental de nuevas soluciones fuera de línea sin reentrenamiento. Los nuevos datos modifican la política localmente, permitiendo una mejora continua.
3. Cotas Teóricas Rigurosas: El establecimiento de condiciones explícitas sobre la cobertura de datos fuera de línea que garantizan la factibilidad recursiva y brechas de optimalidad acotadas en todo el dominio. Estas condiciones definen un intercambio claro entre la cantidad de datos recopilados y la estrechez de las cotas de rendimiento.
4. Implementación Eficiente: La política se implementa como una regla de búsqueda (utilizando k-vecinos más cercanos mediante FAISS), que es órdenes de magnitud más rápida que resolver MPC en línea.

Resultados Experimentales
Los autores validan su enfoque en dos puntos de referencia: un péndulo invertido y un sistema LTI inestable de tiempo mínimo.

• Velocidad: La política propuesta (etiquetada como MINT) alcanza velocidades de inferencia entre 100 y 1000 veces más rápidas que el MPC en línea estándar.
• Rendimiento: El método demuestra un intercambio favorable entre latencia y optimalidad. Con cobertura de datos suficiente, la política logra una brecha de optimalidad relativa comparable al MPC estándar con horizontes de visión más cortos, mientras que supera significativamente a esos MPCs de horizonte corto en términos de calidad de la solución.
• Verificación: Se demuestra que un algoritmo basado en la división secuencial del dominio del espacio de estados (Algoritmo 2) verifica recursivamente los certificados de factibilidad y optimalidad, confirmando que las condiciones teóricas se cumplen en la práctica.

Significado y Afirmaciones
Los autores afirman que este trabajo cierra la brecha entre la velocidad del control explícito/no paramétrico y las garantías rigurosas del MPC basado en optimización. A diferencia de los enfoques de redes neuronales, el método propuesto no requiere reentrenamiento para nuevos datos y ofrece garantías no asintóticas. El marco cuantifica explícitamente el intercambio entre el esfuerzo de recopilación de datos (memoria y computación fuera de línea) y el rendimiento de control (brecha de optimalidad y factibilidad). Los resultados sugieren que este enfoque es un candidato viable para tareas de control en tiempo real donde la baja latencia es crítica, siempre que se puedan recopilar suficientes datos fuera de línea para satisfacer las condiciones de cobertura. El artículo concluye señalando que el trabajo futuro se centrará en escalar estos métodos a sistemas de alta dimensión y aplicaciones embebidas.