Model-Agnostic Meta Learning for Differentiable MPC

Resumen Técnico: Aprendizaje de Meta-Modelos Agnósticos para MPC Diferenciable

Formulación del Problema
El Control Predictivo basado en Modelo (MPC) es una técnica de control robusta, sin embargo, su rendimiento depende fuertemente de modelos de sistema precisos y de funciones de costo bien ajustadas. Si bien la optimización de políticas basada en gradientes ha surgido como un método fundamentado para ajustar los parámetros del MPC (como las matrices de costo y las restricciones) para mejorar el rendimiento en bucle cerrado, enfrenta dos limitaciones primarias:

1. Cuello de botella computacional: El ajuste tradicional en bucle cerrado requiere múltiples iteraciones para converger, lo que es computacionalmente costoso y a menudo intratable para implementaciones de hardware debido al tiempo de ejecución y a las sobrecargas por reinicio del sistema.
2. Falta de generalización: Los controladores optimizados para condiciones de entrenamiento específicas suelen sufrir de sobreajuste (overfitting) y experimentan una degradación significativa del rendimiento cuando se aplican a tareas no vistas o trayectorias de referencia variables.

Los enfoques existentes que utilizan Meta-Aprendizaje (específicamente, Aprendizaje de Meta-Modelos Agnósticos o MAML) en el control se han centrado principalmente en adaptar el modelo del sistema para cerrar la brecha entre simulación y realidad (sim-to-real). Este artículo aborda la brecha en la adaptación del controlador mismo (específicamente la definición de la función objetivo y las restricciones del MPC) a nuevas tareas de manera rápida.

Metodología
Los autores proponen un marco novedoso que integra el Aprendizaje de Meta-Modelos Agnósticos (MAML) con MPC diferenciable e identificación de sistemas en línea. El objetivo central es aprender un conjunto de hiperparámetros de MPC "generalizado" ($\bar{p}$) tal que, para cualquier nueva tarea (trayectoria de referencia $r$), se pueda derivar un conjunto de parámetros óptimos específicos de la tarea ($p_r$) con una interacción mínima (un solo paso de descenso de gradiente).

La metodología consta de tres componentes clave:

1. Marco de MPC Diferenciable: Los autores utilizan el marco de optimización de políticas donde el costo y las restricciones del MPC se tratan como variables entrenables. Emplean la metodología de Backpropagation-MPC (BP-MPC) para calcular los gradientes del costo en bucle cerrado con respecto a los parámetros del MPC. Esto permite un entrenamiento de extremo a extremo (end-to-end) a pesar de la naturaleza no suave del problema de optimización.
2. Identificación de Sistemas en Línea: Para abordar las imprecisiones del modelo, el marco integra un estimador de mínimos cuadrados recursivos (RLS). En cada iteración, los parámetros del sistema ($\theta$) se actualizan basándose en datos de trayectoria del mundo real ($x, u$). Esto cumple un doble propósito: refinar el modelo predictivo utilizado dentro de la linealización del MPC y reducir el sesgo en las estimaciones de gradiente utilizadas para la optimización de la política.
3. Adaptación de MAML: El algoritmo MAML se adapta al entorno de MPC.
   • Bucle Interno (Inner Loop): Para un conjunto de referencias de entrenamiento $\mathcal{R}$, el algoritmo calcula los parámetros específicos de la tarea $p_r(\bar{p})$ realizando una única actualización de gradiente sobre la función de costo completa $C_{full}(r, \bar{p}, \theta_r)$.
   • Bucle Externo (Outer Loop): El parámetro generalizado $\bar{p}$ se actualiza para minimizar la suma de los costos alcanzados por estos parámetros adaptados.
   • Aproximación: Para evitar el gasto computacional de calcular las derivadas de segundo orden exactas (Hessianos) requeridas para el gradiente exacto de MAML, los autores emplean una aproximación Quasi-Newton BFGS. Esto permite que el gradiente del meta-objetivo se estime utilizando únicamente información de primer orden e interacciones con el sistema.

Contribuciones Clave

• MAML para la Optimización de Políticas de MPC: El artículo introduce la primera aplicación de MAML específicamente para adaptar las definiciones de la función objetivo y las restricciones de los controladores MPC, en lugar de solo el modelo del sistema.
• Identificación de Sistemas Integrada: El flujo de trabajo optimiza simultáneamente el modelo predictivo y los hiperparámetros del MPC. Los autores demuestran que la identificación de sistemas no solo mejora la precisión de la predicción, sino que también mejora la calidad de las estimaciones de gradiente para el ajuste de la política.
• Marco Validado en Hardware: El enfoque se implementa y prueba en un sistema físico de Bola sobre Placa (BoP), demostrando su viabilidad en un entorno real con restricciones de hardware.

Resultados Experimentales
El método propuesto fue validado en un banco de pruebas de Bola sobre Placa utilizando trayectorias circulares y cuadradas para el entrenamiento, y una trayectoria en forma de ocho para las tareas no vistas.

• BP-MPC vs. Baselines: El esquema BP-MPC (que combina la optimación de políticas y la identificación de sistemas) superó significativamente al MPC no entrenado, al LQR y a los controladores PID. Específicamente, redujo los errores de seguimiento en un 10% adicional en comparación con un MPC con parámetros pre-identificados pero sin ajuste de política.
• Impacto de la Identificación de Sistemas: Los experimentos mostraron que incluir la identificación de sistemas en línea redujo los costos en bucle cerrado por un factor de dos en comparación con el BP-MPC sin identificación de sistemas. Incluso con un modelo pre-identificado, el refinamiento en línea proporcionó reducciones de costo adicionales (una mejora del 33–44% sobre los baselines).
• Desempeño de Meta-Learning: Los parámetros inicializados por MAML ($\bar{p}$) demostraron una adaptabilidad superior. Al aplicarse a referencias no vistas (la trayectoria en forma de ocho) sin entrenamiento adicional, el controlador inicializado por MAML produjo errores de seguimiento menores que un MPC estándar no entrenado. Además, la inicialización de MAML proporcionó un punto de partida robusto que requirió menos episodios para converger al rendimiento óptimo en comparación con la inicialización aleatoria o nominal.

Significancia y Reivindicaciones
El artículo afirma que este marco aborda con éxito los cuellos de botella computacionales del ajuste tradicional en bucle cerrado. Al aprovechar MAML, el sistema puede adaptarse a nuevas tareas con un "overhead mínimo", requiriendo solo una fracción del costo computacional y las interacciones del sistema necesarias para un reentrenamiento completo.

Los autores enfatizan que su enfoque permite el diseño de "controladores MPC altamente adaptables" que mantienen un rendimiento excepcional a través de diversas tareas. Crucialmente, señalan que, si bien MAML proporciona una inicialización robusta, esto no hace que las actualizaciones en línea sean redundantes; la combinación de la inicialización de MAML y el posterior ajuste de BP-MPC produce los mejores resultados. El trabajo se presenta como un paso hacia la realización de un ajuste de MPC basado en gradientes práctico para implementaciones de hardware donde el tiempo de ejecución y la sobrecarga de reinicio son críticos.