Resumen Técnico: Método de Entropía Cruzada Eficiente en Muestras y Suave

Enunciado del Problema

El Control Predictivo Basado en Modelos (MPC) es un enfoque estándar para el control óptimo no lineal, sin embargo, resolver el problema de optimización subyacente sigue siendo un desafío, particularmente para sistemas con dinámicas no diferenciables o funciones de costo no convexas. En tales escenarios, los métodos libres de gradiente como el Método de Entropía Cruzada (CEM) son preferidos. No obstante, el MPC basado en CEM estándar (CEM-MPC) depende del muestreo aleatorio para explorar el espacio de control. Esta dependencia presenta dos limitaciones principales:

1. Ineficiencia: El muestreo aleatorio a menudo conduce a una exploración ineficiente, requiriendo un gran número de muestras para lograr resultados satisfactorios, lo cual es computacionalmente costoso.
2. No Suavidad: Incluso con mejoras como correlaciones temporales (por ejemplo, en el CEM Mejorado o iCEM), el muestreo aleatorio puede producir trayectorias de control no suaves. Este comportamiento errático es indeseable en la práctica, ya que puede dañar los actuadores y causar un comportamiento inestable del sistema.

Metodología

Los autores proponen el Método de Entropía Cruzada con Muestreo Determinista (dsCEM), un marco que reemplaza el paso de muestreo aleatorio en CEM-MPC con muestras deterministas derivadas de Distribuciones Cumulativas Localizadas (LCD).

Mecanismo Central

En lugar de extraer muestras aleatorias de una distribución propuesta, dsCEM utiliza conjuntos de muestras óptimas precalculados basados en LCD. Estas muestras están diseñadas para cubrir el espacio de solución con baja discrepancia, evitando la agrupación y los huecos inherentes al muestreo aleatorio.

• Generación Offline: Se generan muestras deterministas óptimas $\{\tilde{\xi}^{(i)}\}$ fuera de línea para una distribución gaussiana estándar isotrópica minimizando una distancia modificada de Cramér–von Mises (CvM) entre la gaussiana objetivo y una aproximación de mezcla de Dirac.
• Transformación Online: En tiempo de ejecución, estas muestras precalculadas se transforman para coincidir con la distribución propuesta actual $N(\hat{\xi}_j, C_j)$ del optimizador CEM utilizando la transformación afín:
  $$\xi^{(i)} = \hat{\xi}_j + L_j \tilde{\xi}^{(i)}$$
  donde $L_j$ es la raíz cuadrada matricial de la matriz de covarianza $C_j$.

Esquemas de Variabilidad y Adaptación

Para prevenir la convergencia prematura y asegurar una exploración adecuada, los autores introducen esquemas modulares para generar conjuntos de muestras variados a través de iteraciones y pasos de tiempo:

• Esquemas de Variabilidad (V1–V3):
  • V1 (Rotación Aleatoria): Rota las muestras mediante una matriz aleatoria en cada iteración, introduciendo estocasticidad.
  • V2 (Densidad Conjunta Determinista): Precalcula muestras en un espacio de alta dimensión que abarca todas las iteraciones, particionándolas para proporcionar conjuntos deterministas únicos para cada paso.
  • V3 (Combinado): Rota un conjunto de alta dimensión una vez por paso de tiempo del MPC, y luego utiliza las muestras resultantes de manera determinista para todas las iteraciones internas del CEM.
• Adaptación de Covarianza (M1–M2):
  • M1 (Correlación Fija, Varianza Adaptativa): Mantiene una estructura de correlación temporal fija (derivada de la densidad espectral de potencia del ruido coloreado) mientras actualiza las varianzas marginales.
  • M2 (Covarianza Completa Adaptativa): Actualiza la matriz de covarianza completa en línea para adaptar las correlaciones temporales, requiriendo un conjunto élite más grande.

Estos esquemas están diseñados como reemplazos "plug-and-play" para el paso de muestreo en controladores existentes basados en CEM.

Contribuciones Clave

1. Marco Novel: Introducción de dsCEM, que integra el muestreo determinista mediante LCD en el bucle CEM-MPC.
2. Diseño Modular: Los esquemas de muestreo propuestos son ortogonales a otras mejoras de CEM (por ejemplo, inicios en caliente basados en aprendizaje) y pueden combinarse con ellos.
3. Suavidad y Eficiencia: El método apunta explícitamente a la generación de trayectorias de control suaves sin requerir penalizaciones de suavidad explícitas o hiperparámetros adicionales, mejorando simultáneamente la eficiencia en muestras.

Resultados Experimentales

Los autores evaluaron dsCEM contra el método iCEM del estado del arte en dos puntos de referencia de control no lineal: la tarea Mountain Car (Coche de Montaña) y la tarea Cart-Pole Swing-Up (Levantamiento del Péndulo Invertido). La evaluación se centró en el costo acumulado y la suavidad de la entrada de control a través de tamaños de muestra variables ($N_{CEM}$ de 20 a 300).

• Rendimiento: En ambas tareas, las variantes de dsCEM superaron consistentemente a iCEM en términos de costo acumulado, particularmente en el régimen de pocas muestras. Aunque el rendimiento convergió para tamaños de muestra más grandes, dsCEM logró resultados comparables a una línea base de iCEM con $10^4$ muestras utilizando significativamente menos muestras.
• Suavidad: dsCEM produjo trayectorias de control significativamente más suaves que iCEM. Cabe destacar que la variante totalmente determinista (dsCEM-Var V2) logró la mayor suavidad, a menudo superando la extensa línea base de iCEM incluso con una fracción del presupuesto de muestras.
• Convergencia: En los gráficos de convergencia (tamaño de muestra fijo de 50), las variantes de dsCEM demostraron una convergencia más rápida hacia costos de etapa bajos en comparación con iCEM.
• Sobrecarga Computacional: Los autores no reportan sobrecarga de tiempo de ejecución medible derivada de los esquemas de muestreo y variación deterministas en comparación con el muestreo aleatorio, siendo la paralelización capaz de reducir aún más el tiempo de ejecución.

Significado y Afirmaciones

El artículo afirma que reemplazar el muestreo aleatorio con muestreo determinista basado en LCD aborda las ineficiencias fundamentales de CEM-MPC. El significado de este trabajo radica en:

• Eficiencia en Muestras: Habilitar el control de alto rendimiento con menos muestras, lo cual es crítico para aplicaciones en tiempo real donde los recursos computacionales son limitados.
• Suavidad Inherente: Lograr entradas de control suaves de manera natural a través de la estructura del proceso de muestreo, en lugar de mediante términos de penalización adicionales.
• Despliegue Práctico: La reducción en los requisitos de muestras disminuye la carga computacional en todas las etapas del algoritmo CEM (muestreo, selección de élite, disparo de trayectorias y evaluación de costos). Esto hace que el MPC sea viable para sistemas con modelos complejos y horizontes de predicción más largos en hardware con capacidades limitadas de paralelización.

Los autores concluyen que dsCEM es una opción prometedora para el control en tiempo real en hardware con restricciones computacionales y sugieren que su naturaleza ortogonal permite una futura combinación con mejoras basadas en aprendizaje.