Resumen Técnico: Control Predictivo Basado en Modelos de Muestreo Suave Mediante Muestras Deterministas

Planteamiento del Problema

El Control Predictivo Basado en Modelos (MPC) basado en muestreo ha ganado prominencia por su capacidad para manejar sistemas no lineales complejos y funciones de costo no convexas sin depender de la optimización basada en gradientes. Sin embargo, una limitación crítica de los métodos existentes, como el Método de la Entropía Cruzada (CEM) y el Control de Integrales de Camino de MPPI (MPPI), es la generación de entradas de control no suaves. Este problema surge porque la actualización de los parámetros de la distribución de propuesta se aproxima utilizando un número finito de muestras aleatorias, lo que conduce a estimaciones ruidosas. En aplicaciones prácticas, tales entradas ruidosas pueden causar un desgaste excesivo de los actuadores, reversiones rápidas de velocidad y cambios bruscos de par motor. Si bien se utilizan comúnmentamente técnicas de post-procesamiento, como el filtrado de paso bajo, para mitigar esto, estas resultan en un rendimiento subóptimo porque el suavizado no está integrado en el proceso de optimización.

Metodología

El artículo propone el mpPI de muestreo determinista (dsMPPI), un nuevo algoritmo que integra las fortalezas de CEM y MPPI con el muestreo determinista para producir trayectorias de control más suaves. Los componentes principales de dsMPPI incluyen:

1. Muestreo Determinista: En lugar de un muestreo aleatorio, el método utiliza muestras deterministas generadas fuera de línea (offline) mediante la minimización de la distancia modificada de Cramér–von Mises (CvM). Estas muestras se transforman en línea (online) para coincidir con los parámetros de la distribución de propuesta actual (media y covarianza). Esto asegura una baja discrepancia, cubriendo el espacio de búsqueda sin agrupamientos ni huecos.
2. Ponderación Exponencial (estilo MPPI): A diferencia del CEM estándar, que depende de una selección de un conjunto de élite "duro" (ponderando equitativamente las $N$ mejores muestras), dsMPPI emplea un esquema de ponderación exponencial suave basado en los costos de las muestras: $w^{(i)} \propto \exp(-J(\bar{\xi}^{(i)})/\lambda)$. Esto permite actualizaciones más suaves de la distribución de propuesta.
3. Optimización Iterativa: El algoritmo realiza múltiples iteraciones ($j_{max}$) por cada paso de tiempo para refinar la distribución de propuesta, de manera similar al CEM mejorado (iCEM), en lugar de la actualización de un solo paso típica de MPPI estándar.
4. Suavizado por Momento: Para estabilizar la optimización y evitar la convergencia prematura, se aplica un suavizado por momento tanto a la actualización de la media como a la de la covarianza.
5. Temperatura Adaptativa: Un parámetro de temperatura inversa ($\lambda$) se adapta heurísticamente en cada iteración basándose en la constante de normalización de los pesos, asegurando un rendimiento robusto sin necesidad de ajuste manual.
6. Esquemas de Variación para la Exploración: Para evitar una exploración deficiente al reutilizar muestras deterministas, se introducen dos esquemas de variación:
   • Método de multi-iteración: Seleccionando diferentes subconjuntos de un grupo de muestras precalculado más grande para cada iteración.
   • Método de permutación: Permutando aleatoriamente las dimensiones de las muestras deterministas en cada iteración. Este enfoque requiere almacenar solo un conjunto de muestras mientras promueve la diversidad mediante el barajado de dimensiones.
7. Correlaciones Temporales: Para mejorar aún más la suavidad, la matriz de covarianza se construye utilizando una matriz de correlación temporal fija derivada de ruido coloreado (ley de densidad espectral de potencia), actualizando únicamente las varianzas marginales para mantener la eficiencia computacional.

Principales Contribuciones

• Algoritmo dsMPPI: La integración del muestreo determinista con la ponderación exponencial de MPPI y el marco iterativo de CEM.
• Esquema de Variación por Permutación: Un método eficiente en memoria para mejorar la exploración con muestras deterministas mediante el barajado de dimensiones, ofreciendo un compromiso entre el rendimiento del costo y la suavidad en comparación con la selección de subconjuntos de multi-iteración.
• Evaluación Exhaustiva: Simulaciones extensas en dos tareas de referencia no lineales: el balanceo de péndulo sobre carro (cart-pole swing-up) y el retroceso de camión (truck backer-upper).

Resultados Experimentales

El dsMPPI propuesto fue evaluado frente a MPPI estándar, dsCEM (CEM de muestreo determinista) y una variante de muestreo aleatorio iterativo (MPPI Iterative).

• Suavidad: El dsMPPI logró consistentemente las entradas de control más suaves en ambas tareas. En el balanceo de péndulo, superó tanto a dsCEM como a MPPI Iterative, particularmente en la "suavidad de asentamiento" (la segunda mitad de la trayectoria), lo cual es crítico para evitar oscilaciones cerca del punto de consigna. Las visualizaciones confirmaron un chatter (vibración de alta frecuencia) significativamente reducido en comparación con el MPPI estándar.
• Desempeño del Costo: Aunque el dsCEM generalmente logró costos acumulados ligeramente menores que el dsMPPI, el dsMPPI superó consistentemente a su contraparte de muestreo aleatorio (MPPI Iterativo), demostrando los beneficios del muestreo determinista. El esquema de permutación mostró una ligera ventaja de costo sobre el esquema de multi-iteración, particularmente con tamaños de muestra bajos.
• Eficiencia Computacional: El MPPI estándar fue el más rápido debido a su naturaleza no iterativa. Sin embargo, todos los métodos iterativos (dsMPPI, dsCEM, MPPI Iterative) exhibieron tiempos de computación similares. Crucialmente, el uso de muestreo determinista no incurrió en ninguna carga computacional adicional en línea en comparación con el muestreo aleatorio.

Significado y Reivindicaciones

El artículo afirma que dsMPPI aprovecha eficazmente la ponderación exponencial de MPPI junto con la eficiencia y las propiedades de baja discrepancia de las muestras deterministas. El significado principal radica en la capacidad de generar trayectorias de control significativamente más suaves sin la necesidad de un post-procesamiento de filtrado subóptimo. Esta reducción en el estrés mecánico y el desgaste de los actuadores hace que el método sea particularmente adecuado para aplicaciones del mundo real. Además, los autores enfatizan que estas mejoras se logran sin aumentar la carga computacional en línea, lo que convierte al dsMPPI en una actualización convincente para las implementaciones existentes de MPC basado en muestreo. El esquema de variación por permutación se destaca como una contribución novedosa que equilibra la exploración y la eficiencia de memoria.