Policy Optimization for Unknown Systems using Differentiable Model Predictive Control

A continuación presento un resumen técnico detallado del artículo "Policy Optimization for Unknown Systems using Differentiable Model Predictive Control" (Optimización de Políticas para Sistemas Desconocidos usando Control Predictivo Basado en Modelos Diferenciable), publicado en las actas de la 8ª Conferencia Anual sobre Aprendizaje para Dinámica y Control (2026).

1. Planteamiento del Problema

El problema central abordado es la optimización de políticas en sistemas de control donde la dinámica del sistema es desconocida o inexacta. Específicamente, se enfoca en políticas basadas en Control Predictivo Basado en Modelos (MPC).

• El Desafío: Los métodos de optimización de políticas basados en modelos (como el gradiente descendente sobre los parámetros del MPC) suelen fallar o converger a soluciones subóptimas cuando el modelo utilizado para la predicción ($g$) no coincide con la dinámica real del sistema ($f$).
• Limitaciones de los enfoques existentes:
  • Los métodos puramente basados en modelos asumen que la dinámica es exacta, lo cual es irrealista en la práctica.
  • Los métodos libres de modelo (model-free), como la optimización de orden cero (zeroth-order), son robustos a la incertidumbre del modelo pero suelen tener una convergencia lenta y requieren muchas muestras de datos.
  • La optimización de MPC es inherentemente un problema no suave (nonsmooth) debido a las restricciones y la naturaleza de la proyección en el MPC, lo que complica el cálculo de gradientes estándar.

El objetivo es encontrar un conjunto de parámetros $\theta$ para el controlador MPC que minimice una función de costo a largo plazo en el sistema real, garantizando la convergencia incluso cuando el modelo interno es inexacto.

2. Metodología Propuesta

Los autores proponen un marco de optimización híbrido que combina estimación de gradientes basada en modelos con optimización de orden cero. La metodología se estructura en los siguientes pilares:

A. Fundamentos Teóricos: Jacobianos Conservadores

Dado que la función objetivo y el mapa de solución del MPC son no suaves, el trabajo adopta el marco de funciones definibles y Jacobianos conservadores (introducidos por Bolte y Pauwels, 2021).

• Esto permite definir derivadas generalizadas que obedecen la regla de la cadena, facilitando el análisis de sensibilidad de los mapas de solución del MPC.
• Se busca la convergencia a un punto crítico de Goldstein $\delta$, una condición de optimalidad más débil que el punto estacionario de Clarke, pero adecuada para problemas no suaves donde no se tiene información completa.

B. Estimación de Gradientes Híbrida

El algoritmo actualiza los parámetros $\theta$ en cada iteración $k$ combinando dos direcciones de actualización:

1. Componente Basado en Modelo (Gradiente Aproximado):

   • Utiliza el modelo inexacto $g$ para calcular una aproximación del Jacobiano de la función de costo ($J_C$).
   • Se calcula recursivamente utilizando la regla de la cadena sobre las trayectorias simuladas con el modelo $g$.
   • Es eficiente computacionalmente y ofrece una dirección de descenso rápida si el modelo es bueno, pero puede ser sesgado si el modelo es inexacto.

2. Componente Libre de Modelo (Estimador de Orden Cero):

   • Utiliza una aproximación suavizada de la función de costo ($C_\delta$) mediante muestreo aleatorio.
   • Emplea un estimador de un punto (one-point estimator) que evalúa la función de costo en el sistema real perturbando los parámetros ($\theta + \delta v$).
   • Proporciona una estimación no sesgada del gradiente de la función suavizada, garantizando convergencia teórica bajo condiciones suaves, aunque con mayor varianza y costo computacional.

C. Algoritmo de Actualización

La actualización de los parámetros sigue la forma:
$$\theta_{k+1} = \Pi_\Theta [\theta_k - \alpha_k d_k]$$
Donde la dirección $d_k$ es una combinación ponderada:
$$d_k = \eta_k d_{k,1} + (1 - \eta_k) d_{k,2}$$

• $d_{k,1}$: Dirección basada en el modelo.
• $d_{k,2}$: Dirección basada en orden cero (datos reales).
• $\eta_k \in [0, 1]$: Un peso que permite un traspaso suave (smooth trade-off). Inicialmente, se puede dar más peso al modelo ($\eta_k \approx 1$) para una rápida mejora transitoria, y luego reducirlo ($\eta_k \to 0$) para depender más de los datos reales y asegurar la convergencia final.

3. Contribuciones Clave

1. Marco de Convergencia Robusto: Se demuestra teóricamente que el algoritmo converge a un punto crítico de Goldstein $\delta$ incluso si el modelo de dinámica es inexacto, superando la limitación de los métodos puramente basados en modelos que requieren modelos exactos para garantizar convergencia.
2. Trato de la No Suavidad: Se aplica exitosamente la teoría de Jacobianos conservadores a la optimización de políticas MPC, manejando la no suavidad inherente de los problemas de optimización con restricciones.
3. Estrategia Híbrida Adaptativa: La propuesta de combinar gradientes de modelos y datos reales mediante un peso $\eta_k$ variable permite aprovechar la velocidad de los métodos basados en modelos sin sacrificar la robustez de los métodos libres de modelo.
4. Validación en Sistemas No Lineales: Demostración práctica en un sistema de alta dimensionalidad (12 estados) y no lineal (cuadricóptero), un escenario donde los métodos tradicionales suelen fallar.

4. Resultados de Simulación

El método se evaluó en un modelo de cuadricóptero de 12 dimensiones con restricciones en posición, velocidad y ángulos.

• Comparación de Rendimiento:
  • Método Puramente Basado en Modelo: Mostró una mejora rápida inicial pero se volvió inestable y falló en converger debido a la discrepancia entre el modelo lineal identificado y la dinámica no lineal real.
  • Método Puramente de Orden Cero: Convergencia consistente pero lenta.
  • Método Propuesto (Híbrido): Logró la convergencia más eficiente. Aprovechó la información del modelo para una rápida reducción del costo inicial y utilizó la corrección de orden cero para estabilizar y refinar la solución final.
• Calidad de la Política:
  • La política aprendida con el modelo inexacto y el algoritmo híbrido alcanzó un costo final de 1084.91, comparado con 1081.3 obtenido con un controlador optimizado usando el modelo no lineal exacto (conocimiento perfecto).
  • Esto representa una suboptimalidad menor al 1%, demostrando que el método aprende parámetros casi óptimos a pesar de la incertidumbre del modelo y el ruido en los gradientes.
  • Las trayectorias de posición y actitud del cuadricóptero controlado con la política aprendida fueron cualitativamente idénticas a las del controlador con modelo exacto.

5. Significado e Impacto

Este trabajo es significativo porque cierra la brecha entre la eficiencia de los métodos basados en modelos y la robustez de los métodos libres de modelo en el contexto de Control Predictivo (MPC).

• Aplicabilidad Práctica: Permite diseñar controladores MPC de alto rendimiento para sistemas complejos y desconocidos sin necesidad de modelos de alta fidelidad, lo cual es común en robótica y sistemas físicos reales.
• Garantías Teóricas: Ofrece garantías de convergencia en un régimen no suave y no convexo, algo que rara vez se logra en la optimización de políticas de aprendizaje por refuerzo aplicada a control.
• Flexibilidad: La capacidad de ajustar dinámicamente la confianza en el modelo ($\eta_k$) ofrece un mecanismo flexible para ingenieros que pueden tener modelos parciales o aproximados de sus sistemas.

En resumen, el artículo presenta una solución elegante y teóricamente fundamentada para el problema de optimizar controladores predictivos en entornos inciertos, logrando un equilibrio óptimo entre velocidad de aprendizaje y robustez.