On Building Myopic MPC Policies using Supervised Learning

1. Planteamiento del Problema

El Control Predictivo Basado en Modelos (MPC) es una técnica de control ampliamente utilizada que resuelve un problema de optimización en línea en cada instante de muestreo. Sin embargo, su alta demanda computacional lo hace restrictivo para sistemas embebidos con recursos limitados y tiempos de muestreo rápidos.

Para mitigar esto, se han propuesto métodos de aprendizaje supervisado (como la clonación conductual) que aprenden una política de control aproximada (la acción óptima $u^*$) a partir de datos de pares estado-acción generados offline. Aunque estos métodos reducen la carga computacional en línea, presentan dos problemas principales:

1. Pérdida de garantías de rendimiento: Al aproximar la política directamente, se sacrifican las garantías de estabilidad y optimidad inherentes a la optimización en línea.
2. Rigidez ante cambios: Cualquier cambio en los parámetros del controlador (restricciones, modelo, tiempos de muestreo) durante la implementación en línea puede degradar el rendimiento o violar restricciones críticas de seguridad, ya que la política pre-entrenada no se adapta.

Reducir simplemente el horizonte de predicción (MPC miope) sin más suele llevar a un rendimiento deficiente. El principio de optimalidad de Bellman sugiere que, si se conoce la función de costo futuro (cost-to-go, $V_f(x)$), incluso un controlador miope (de un solo paso) puede lograr un rendimiento óptimo. El desafío radica en que calcular esta función exacta es intratable, y aproximarla mediante aprendizaje tradicional (como en Aprendizaje por Refuerzo) a menudo requiere datos de bucle cerrado, lo cual es ineficiente o difícil de obtener.

2. Metodología Propuesta

Los autores proponen un enfoque alternativo que utiliza aprendizaje supervisado offline para aprender la función de valor óptima (costo futuro) en lugar de la política de control directamente. Esta función aprendida se utiliza como el costo futuro en un controlador MPC miope con un horizonte de predicción corto (generalmente un paso).

Los componentes clave de la metodología son:

• Generación de Datos: Se resuelven problemas de MPC con horizonte largo offline para diversas realizaciones de estados ($x_i$) dentro del espacio de estados factible. Esto genera un conjunto de datos etiquetados con tuplas óptimas: Estado-Acción-Valor $(x_i, u^*_i, V^*(x_i))$.
• Aproximación de la Función de Valor: Se utiliza un aproximador paramétrico $V(x; \theta)$ (por ejemplo, una red neuronal o funciones de base radial) para aproximar la función de valor óptima $V^*(x)$.
• Restricción de Propiedad de Descenso (Descent Property Constraint): Esta es la innovación central. En lugar de solo minimizar el error cuadrático medio (MSE) entre la función aprendida y la óptima, los autores imponen una restricción de desigualdad durante el entrenamiento.
  • La restricción exige que, al aplicar la acción óptima $u^*_i$ en el estado $x_i$, el costo futuro del estado sucesor $f(x_i, u^*_i)$ sea estrictamente menor que el costo actual, descontando el costo de etapa inmediato $\ell(x_i, u^*_i)$.
  • Matemáticamente, para cada punto de datos $i$:
    $$V(f(x_i, u^*_i); \theta) - V(x_i; \theta) \leq \ell(x_i, u^*_i)$$
  • Esto asegura que la función aprendida se comporte como una Función de Lyapunov de Control (CLF), guiando el sistema hacia el objetivo y garantizando estabilidad, incluso si el ajuste numérico (MSE) es peor que en un entrenamiento estándar.
• Control Miope en Línea: En tiempo de ejecución, el controlador resuelve un problema de optimización simple de un paso:
  $$\min_{u} \ell(x, u) + V(f(x, u); \hat{\theta})$$
  sujeto a las restricciones del sistema.

3. Contribuciones Clave

1. Enfoque en la Función de Valor, no en la Política: A diferencia de los métodos de MPC explícito aproximado que aprenden la política $\pi(x)$, este método aprende la función de valor $V(x)$. Esto permite que el controlador en línea realice optimización local, adaptándose a cambios en tiempo real.
2. Restricción de Propiedad de Descenso: Se introduce una restricción de desigualdad en el problema de aprendizaje supervisado para forzar que la función aprendida cumpla con la propiedad de descenso. Esto prioriza la estabilidad y el comportamiento dinámico correcto sobre la precisión pura del ajuste de datos (MSE).
3. Adaptabilidad en Línea: Al mantener la estructura de optimización en línea (aunque sea miope) y usar una función de valor aprendida, el controlador puede adaptarse a cambios en las restricciones, parámetros del modelo o tiempos de muestreo sin necesidad de reentrenar el modelo, algo imposible con políticas pre-entrenadas fijas.
4. Uso de Tuplas Estado-Acción-Valor: El método utiliza datos completos generados por la solución offline del MPC, aprovechando la información de sensibilidad paramétrica para generar grandes conjuntos de datos de manera eficiente.

4. Resultados

Los autores validaron su método utilizando un ejemplo de referencia de un Reactor Continuo de Tanque Agitado (CSTR) con dos estados (concentración y temperatura).

• Comparación de Entrenamiento:
  • Modelo 1 (Solo MSE): Entrenado minimizando solo el error cuadrático medio. Logró un MSE bajo (0.0515), indicando un buen ajuste a los datos de entrenamiento.
  • Modelo 2 (MSE + Restricción de Descenso): Entrenado con la restricción adicional. Tuvo un MSE significativamente mayor (0.8199), lo que indica un ajuste numérico "peor" a los datos de entrenamiento.
• Rendimiento en Bucle Cerrado:
  • El Modelo 1 (bajo MSE) falló en alcanzar el punto de ajuste deseado en simulaciones, mostrando un comportamiento cíclico y pérdida de rendimiento, a pesar de su buen ajuste estadístico.
  • El Modelo 2 (con restricción de descenso) logró un rendimiento superior, siguiendo las trayectorias del MPC de horizonte completo (experto) y convergiendo al punto de ajuste, demostrando que la propiedad de descenso es más crítica para el control que la precisión del MSE.
• Adaptabilidad: Se demostró que el controlador miope con la función de valor aprendida podía manejar cambios en línea, como reducir el tiempo de muestreo (de 3s a 0.1s) y ajustar las restricciones de estado (acercar los límites), manteniendo la estabilidad. Un controlador basado en política directa no podría haber logrado esto sin reentrenamiento.

5. Significado e Impacto

Este trabajo es significativo porque ofrece un puente entre el aprendizaje automático y el control predictivo robusto. Demuestra que:

• La calidad de la función de valor para el control no se mide únicamente por la precisión estadística (MSE), sino por su capacidad para garantizar propiedades dinámicas como la estabilidad (descenso de costo).
• Es posible reducir drásticamente la carga computacional en línea (usando un horizonte de 1 paso) sin sacrificar el rendimiento o la seguridad, siempre que se aprenda correctamente la función de costo futuro.
• Proporciona una vía para implementar controladores adaptativos en sistemas embebidos que pueden responder a cambios operativos en tiempo real, superando las limitaciones de los métodos de "clonación de políticas" estáticas.

En resumen, el papel propone un marco donde el aprendizaje supervisado se utiliza para aprender una "función de valor" con garantías de estabilidad, permitiendo controladores miope que son computacionalmente eficientes pero dinámicamente robustos y adaptables.