Resumen Técnico: Control Basado en Muestreo mediante Transporte Óptimo Regularizado por Entropía

Enunciado del Problema

Los métodos de Control Predictivo Basado en Modelos (MPC) basados en muestreo, como el Integral de Trayectoria Predictiva por Modelo (MPPI) y el Método de Entropía Cruzada (CEM), se utilizan ampliamente para el control en tiempo real de sistemas robóticos no lineales, especialmente donde los gradientes no están disponibles o las dinámicas son discontinuas. Sin embargo, estos métodos dependen de objetivos de teoría de la información (por ejemplo, divergencia KL) que son ajenos a la estructura geométrica del espacio de control.

Esta ajenidad geométrica conduce a dos modos de fallo principales:

1. Promedio de Modos: MPPI agrega muestras mediante un promedio ponderado. En paisajes de costos complejos y multimodales (por ejemplo, navegar alrededor de un obstáculo), esto resulta en comandos de control que mezclan mínimos locales distintos, a menudo dirigiendo al robot directamente hacia los obstáculos en lugar de elegir una trayectoria válida alrededor de ellos.
2. Búsqueda de Modos: CEM evita el promedio seleccionando muestras "élite", pero esto se compromete agresivamente con un único modo, limitando la exploración y causando potencialmente que el algoritmo pierda soluciones viables en favor de un óptimo local.

Las soluciones existentes a menudo dependen de heurísticas a posteriori (por ejemplo, programas de recocido, adaptación de covarianza) que no alteran fundamentalmente el objetivo variacional. El artículo argumenta que se requiere un cambio fundamental para incorporar información espacial en el proceso de optimización.

Metodología: OT-MPC y Descenso de Coordenadas de Sinkhorn

Los autores proponen OT-MPC (MPC de Transporte Óptimo), un algoritmo basado en muestreo derivado de una formulación de Transporte Óptimo Regularizado por Entropía (EOT). En lugar de minimizar la divergencia de teoría de la información, OT-MPC minimiza el costo de transportar masa de probabilidad entre secuencias de control candidatas y propuestas de bajo costo, incorporando explícitamente la proximidad geométrica.

Algoritmo Central: Descenso de Coordenadas de Sinkhorn (SCD)

El motor de optimización es el Descenso de Coordenadas de Sinkhorn (SCD), un algoritmo libre de gradientes que evoluciona un conjunto de $N$ partículas (secuencias de control candidatas) hacia una distribución objetivo utilizando $M$ propuestas.

1. Formulación: El problema se plantea como encontrar un acoplamiento óptimo $\Gamma$ entre partículas $z$ y propuestas $y$ que minimice un costo de transporte $c(z, y)$ regularizado por entropía $H(\Gamma)$.
2. Optimización Alternada:
   • Actualización del Acoplamiento: Dadas partículas fijas, el acoplamiento óptimo $\Gamma$ se calcula eficientemente utilizando el algoritmo de Sinkhorn. Este paso tiene en cuenta tanto el costo de las propuestas como la distancia geométrica entre partículas y propuestas.
   • Actualización de Partículas: Dado el acoplamiento, las partículas se actualizan. Para costos cuadráticos, esta actualización tiene una solución de forma cerrada: cada partícula se mueve hacia el baricentro ponderado de sus propuestas acopladas.
   • Relajación: Se utiliza un parámetro de tamaño de paso $\eta$ para estabilizar las actualizaciones, particularmente cuando las propuestas se re-muestrean en cada iteración.
3. Distribución de Propuestas: Para equilibrar la exploración y la explotación, las propuestas se muestrean de una distribución de mezcla: una fracción $\rho$ se extrae de una distribución global (por ejemplo, uniforme o Gaussiana amplia), mientras que el resto son perturbaciones locales de partículas existentes.

Propiedades Teóricas Clave

• Biconvexidad: La función objetivo es biconvexa en las partículas y el acoplamiento, garantizando soluciones únicas para los subproblemas.
• Descenso Monótono: El algoritmo garantiza una secuencia no creciente de valores de la función objetivo.
• Convergencia: Las iteraciones convergen a un punto estacionario.
• Generalización: SCD generaliza a MPPI; en el límite donde el número de partículas $N=1$ o la regularización $\epsilon \to \infty$, SCD recupera el promedio ponderado por importancia estándar de MPPI.

Contribuciones Clave

1. Innovación Algorítmica: La propuesta de SCD y su instanciación como OT-MPC. A diferencia de los métodos de muestreo existentes, SCD actualiza las partículas basándose tanto en el costo como en la proximidad geométrica, permitiendo un refinamiento local mientras preserva la diversidad a través de los modos.
2. Garantías Teóricas: Establecimiento de propiedades teóricas para SCD, incluyendo descenso monótono, garantías de convergencia y actualizaciones de forma cerrada para costos cuadráticos (y otras funciones de costo específicas como distancia circular y métricas Log-Euclidianas).
3. Validación Empírica: Demostración de que OT-MPC logra tasas de éxito más altas que MPPI, CEM y MPC Variacional de Stein (SV-MPC) en diversas tareas robóticas, particularmente aquellas con paisajes de costos multimodales.

Resultados Experimentales

Los autores evaluaron OT-MPC en tareas de navegación, manipulación y locomoción, comparándolo con MPPI, CEM y SV-MPC.

• Evitación de Obstáculos para Coches (Bicicleta Cinemática): En campos densos de obstáculos (configuración "Difícil"), OT-MPC logró una tasa de éxito del 93.5% en comparación con el 88.5% de MPPI. La brecha de rendimiento se amplió en entornos complejos donde MPPI sufrió de promedio de modos.
• Push-T 2D (Manipulación Rica en Contacto): OT-MPC logró una tasa de éxito del 76%, superando significativamente a MPPI (4%) y CEM (46%). SV-MPC falló por completo (0%) debido a la falta de gradientes diferenciables en las dinámicas de contacto híbridas.
• Evitación de Obstáculos para Cuadricópteros (12-DOF): En configuraciones de obstáculos densos medios y difíciles, OT-MPC logró tasas de éxito del 100% y 92% respectivamente, en comparación con el 60% y 19% de MPPI. MPPI falló frecuentemente al encontrar trayectorias factibles, quedando atrapado en mínimos locales.
• Transporte Cooperativo de Cargas (Dos Cuadricópteros): En una tarea que requería coordinación precisa a través de una abertura estrecha en una pared, OT-MPC logró un 75% de éxito en la configuración "Difícil" frente al 10% de MPPI. El cuello de botella estrecho exacerbó los problemas de promedio de modos de MPPI, interrumpiendo la coordinación.
• Franka Push-T (Manipulación 3D): OT-MPC logró un 66% de éxito, comparable a un MPPI altamente ajustado (64%), pero requirió significativamente menos esfuerzo de ajuste de hiperparámetros.
• Locomoción de Cuadrúpedos (Unitree Go2): OT-MPC demostró una eficiencia superior, requiriendo menos pasos promedio para alcanzar objetivos en tareas de escalada de rampas y empuje de cajas en comparación con MPPI.

Sobrecarga Computacional: Aunque el paso de Sinkhorn agrega costo computacional ($O(NM)$ frente a $O(M)$ para MPPI), los autores reportan que OT-MPC a menudo logra tiempos de reloj comparables o más rápidos. Esto se debe a que el acoplamiento de transporte extrae más información por muestra, permitiendo que el algoritmo utilice menos propuestas (lanzamientos) para lograr la convergencia.

Significado y Afirmaciones

El artículo afirma que OT-MPC aborda las limitaciones fundamentales de los métodos de muestreo de teoría de la información al reemplazar la divergencia KL con un objetivo de Transporte Óptimo. Este cambio permite que el controlador:

• Preserve Modos: Evite el "promedio de modos" que conduce a colisiones en entornos multimodales.
• Coordine Actualizaciones: Mantenga la diversidad del conjunto mientras refina candidatos hacia regiones locales prometedoras.
• Operar sin Gradientes: Permanezca compatible con simuladores de caja negra y dinámicas no suaves, similar a MPPI.

Los autores posicionan a OT-MPC no meramente como una mejora heurística, sino como un cambio fundamental en cómo el control basado en muestreo agrega información, aprovechando la estructura geométrica del espacio de control para lograr un rendimiento robusto en tareas robóticas complejas, ricas en contacto y de alta dimensión. Reconocen limitaciones, como la dependencia de la cobertura de propuestas para la exploración y la necesidad de un ajuste cuidadoso del parámetro de regularización de entropía $\epsilon$, pero afirman que el método ofrece una alternativa principista a los controladores de muestreo existentes de última generación.