Simulator Adaptation for Sim-to-Real Learning of Legged Locomotion via Proprioceptive Distribution Matching

Resumen Técnico: Adaptación de Simuladores para Transferencia Sim-Real mediante Coincidencia de Distribuciones Propioceptivas

1. Planteamiento del Problema

El aprendizaje por refuerzo (RL) en simulación (Sim-to-Real) es el paradigma dominante para entrenar controladores de robots con morfologías complejas, como los robots bípedos y cuadrúpedos. Sin embargo, persiste una brecha de rendimiento entre la simulación y el hardware real debido a discrepancias dinámicas (fricción, masa, inercia, retardos, etc.).

• Limitaciones de los enfoques actuales:
  • Randomización de Dinámicas (DR): Aumenta la robustez pero no cierra la brecha; puede llevar a comportamientos excesivamente conservadores y requiere rangos de aleatorización amplios que dificultan el entrenamiento.
  • Identificación de Sistemas Tradicional (State-Matching): Compara trayectorias de estado alineadas en el tiempo (posición, velocidad de la base) entre simulación y hardware. Esto requiere:
    • Sistemas de captura de movimiento (MoCap) costosos y complejos.
    • Condiciones iniciales perfectamente alineadas.
    • Sensado privilegiado (estado de la base en el mundo) que a menudo no está disponible en robots desplegados.
    • Es altamente inestable en sistemas inestables como los robots de patas, donde pequeñas diferencias se acumulan rápidamente (divergencia de trayectorias).

2. Metodología Propuesta

Los autores proponen un enfoque alternativo que adapta el simulador mismo para que coincida con el comportamiento del hardware, utilizando una métrica basada en distribuciones de observaciones propioceptivas en lugar de trayectorias alineadas en el tiempo.

A. Métrica de Costo: Distancia de Wasserstein 1D
En lugar de comparar trayectorias punto a punto (que requieren alineación temporal), el método trata las trayectorias como muestras de una distribución estacionaria inducida por la política.

• Enfoque: Se comparan las distribuciones de observaciones propioceptivas (posiciones de las articulaciones, velocidades y acciones de la política) entre el simulador y el hardware.
• Ventaja: Elimina la necesidad de sincronización temporal, alineación de estados iniciales o sensores externos (MoCap).
• Cálculo: Se utiliza la Distancia de Wasserstein. Para evitar el costo computacional de calcular distancias en múltiples dimensiones, se aproxima calculando la distancia de Wasserstein 1D (marginal) para cada dimensión de cada articulación y promediando los resultados. Esto es computacionalmente eficiente y robusto al ruido.
• Características: Se comparan distribuciones de posiciones, velocidades y acciones para capturar tanto la estructura dinámica como los efectos de los actuadores.

B. Modificaciones del Simulador
El sistema optimiza una función de modificación del simulador para minimizar la discrepancia de distribución. Se evalúan tres tipos de modificaciones:

1. Parámetros Estáticos (FricArm): Ajuste de parámetros físicos fijos como la fricción de las articulaciones y la inercia (armadura).
2. Modelo de Delta de Acción (Action-Delta): Una red neuronal que añade una corrección residual a la acción de salida de la política (a la tasa de control de la política, 50Hz).
3. Modelo de Actuador Residual (ResidAct): Una red neuronal que añade un par residual directamente a la salida del controlador PD de bajo nivel (a la tasa de simulación, 1kHz). Este modelo es el más expresivo y captura dinámicas no modeladas como saturación de torque o fricción compleja.

C. Optimización
Dado que la función de costo es una "caja negra" (requiere ejecutar simulaciones completas), se utiliza CMA-ES (Covariance Matrix Adaptation Evolution Strategy), un algoritmo de optimización basado en muestreo, para encontrar los parámetros óptimos del simulador modificado. Una vez adaptado el simulador, se realiza un fine-tuning de la política de RL en este nuevo entorno.

3. Contribuciones Clave

1. Métrica sin alineación temporal: Introducen una métrica de costo basada en distribuciones que no requiere captura de movimiento ni alineación de estados iniciales, resolviendo el problema de la divergencia de trayectorias en robots inestables.
2. Eficiencia en datos: Demuestran que se pueden adaptar simuladores complejos utilizando menos de 5 minutos de datos de hardware.
3. Validación en múltiples escenarios: El enfoque funciona tanto para la identificación de parámetros físicos conocidos como para la adaptación a dinámicas no paramétricas complejas (ej. resortes físicos).
4. Superioridad del Modelo Residual: Identifican que el modelo de actuador residual (ResidAct) combinado con la métrica de Wasserstein ofrece el mejor rendimiento de transferencia, superando a los métodos de ajuste de parámetros estáticos en tareas complejas.

4. Resultados Experimentales

Los experimentos se realizaron en el robot cuadrúpedo Unitree Go2 y, en un intento fallido, en el robot humanoide Agility Robotics Digit.

• Sim-to-Sim (Validación de Identificación):

  • En escenarios ideales (sin ruido), la métrica de Wasserstein recuperó parámetros de fricción e inercia con una precisión comparable a los métodos de coincidencia de estado privilegiados (MatchS).
  • Robustez al ruido: En condiciones ruidosas (simulando retrasos y ruido de sensores), la métrica de Wasserstein superó significativamente a los métodos de coincidencia de observaciones sin estado privilegiado (MatchO), reduciendo el error de parámetros del 86% al 18% en niveles de ruido altos.

• Sim-to-Real (Experimentos en Hardware):

  • Escenario de Resorte (Spring Joint): Se añadió un resorte físico a la pata trasera derecha. La política original falló drásticamente. Tras adaptar el simulador con el modelo ResidAct y 5 minutos de datos, el error de seguimiento de velocidad se redujo de >2m de deriva a ~0.4m (20% de error).
  • Caminar Bípedo (Bipedal Walking): Un desafío dinámico mayor donde el robot camina solo sobre sus patas traseras. La política original tenía una deriva significativa en el mundo real. La adaptación redujo la deriva en hasta un 50%, demostrando que el simulador adaptado capturó mejor la dinámica real.
  • Limitación: El enfoque falló en el robot humanoide Digit para la marcha hacia atrás. Esto se debió a que la política original fallaba catastróficamente (caía) en el hardware, por lo que los datos recolectados no contenían ejemplos válidos de la dinámica de "caída" para que el simulador aprendiera a replicarla. Esto destaca una limitación: el método asume que la transferencia inicial es lo suficientemente exitosa para generar datos informativos.

5. Significado e Impacto

Este trabajo presenta una ruta práctica y efectiva para cerrar la brecha Sim-to-Real en locomoción de robots de patas.

• Accesibilidad: Elimina la dependencia de infraestructura costosa (MoCap) y condiciones de laboratorio estrictas, permitiendo la adaptación en entornos reales con sensores limitados.
• Generalidad: El marco es aplicable a cualquier robot o tipo de modificación de simulador.
• Eficacia: Demuestra que la coincidencia de distribuciones de observaciones locales es suficiente para aprender modelos dinámicos precisos y mejorar significativamente el rendimiento de políticas de RL en hardware real, incluso para comportamientos complejos y desafiantes.

En conclusión, los autores proponen que la adaptación del simulador basada en la coincidencia de distribuciones propioceptivas es una alternativa superior y más práctica a los métodos tradicionales de alineación de trayectorias para el aprendizaje de locomoción en robots.