CLASH: Collision Learning via Augmented Sim-to-real Hybridization to Bridge the Reality Gap

Resumen Técnico: CLASH

1. El Problema: La Brecha Sim-Real en Dinámicas de Colisión

El principal obstáculo para desplegar políticas robóticas entrenadas en simulación es la "brecha sim-real" (sim-to-real gap), especialmente en entornos ricos en contactos como las colisiones.

• Limitaciones de los Motores Físicos: Los motores convencionales (como MuJoCo) sacrifican precisión por velocidad computacional. Utilizan relajaciones y aproximaciones (como conos de fricción linealizados o contactos basados en penalización) para resolver problemas de complementariedad no lineal (NCPs) de manera eficiente.
• Consecuencias: Estas aproximaciones introducen errores significativos en la predicción de cambios de velocidad angular, disipación friccional y trayectorias post-impacto.
• Desafío de Datos: Los métodos existentes para cerrar esta brecha (identificación de sistemas, aleatorización de dominio o aprendizaje residual puro) suelen requerir grandes cantidades de datos reales o no logran eliminar efectos no modelados complejos.

2. Metodología: Marco CLASH

Los autores proponen CLASH (Collision Learning via Augmented Sim-to-real Hybridization), un marco híbrido y eficiente en datos que integra un modelo sustituto de colisiones aprendido dentro de un simulador estándar. El proceso consta de tres etapas:

A. Destilación del Modelo Base (Simulación)

• Se entrena un modelo sustituto diferenciable (una red neuronal MLP de tres capas) utilizando una gran cantidad de datos de colisiones generados en el simulador (MuJoCo).
• Objetivo: "Destilar" los priores físicos del motor de simulación en una red neuronal que mapee el estado pre-colisión y los parámetros del sistema ($P = \{\mu, e\}$, coeficientes de fricción y amortiguamiento) al estado post-colisión.
• Esto crea una base que captura la dinámica física general sin los errores de integración numérica del motor original.

B. Identificación de Sistemas y Adaptación (Datos Reales)

• Se recopila un conjunto muy pequeño de datos reales (ej. 10 muestras de colisiones capturadas con un sistema de movimiento).
• Paso 1 (Identificación Paramétrica): Con los pesos de la red neuronal congelados, se optimizan los parámetros físicos ($P$) mediante descenso de gradiente para minimizar el error entre la predicción del modelo y los datos reales. Esto alinea el modelo con las propiedades físicas específicas del entorno real.
• Paso 2 (Ajuste Fino Residual): Se realiza un ajuste fino (fine-tuning) de la red neuronal con pocos pasos y parada temprana (early-stopping). Esto captura los residuos no paramétricos (efectos no modelados como disipación friccional sutil o cumplimiento elástico) sin sobreajustar los datos escasos.

C. Simulador Híbrido

• El modelo sustituto adaptado se integra como un módulo "plug-in" dentro de MuJoCo.
• El simulador utiliza la dinámica estándar para el movimiento continuo, pero invoca la red neuronal para calcular los resultados de las colisiones.
• Esto resulta en un simulador que mantiene la velocidad del motor original pero con una fidelidad de predicción post-impacto mucho mayor.

3. Contribuciones Clave

1. Marco Híbrido Eficiente en Datos: CLASH permite la identificación de sistemas basada en gradientes y la adaptación con solo unas pocas interacciones reales, evitando el costo de recopilar miles de muestras.
2. Arquitectura Plug-and-Play: El modelo aprendido se integra directamente en el simulador existente, mejorando la fidelidad sin reescribir el motor físico completo.
3. Mejora en Tareas de Control: Demuestran que las políticas derivadas de este simulador híbrido se transfieren de manera más robusta al mundo real, superando a los enfoques tradicionales tanto en control basado en modelos como en aprendizaje por refuerzo (RL).

4. Resultados Experimentales

Los experimentos se realizaron con un brazo robótico Franka de 7 grados de libertad manipulando bloques de diferentes formas (semicilindro, cuadrado, triángulo).

• Precisión del Modelo de Colisión:

  • El modelo CLASH superó consistentemente a MuJoCo, MJX (simulador diferenciable) y redes neuronales entrenadas solo con datos reales (que sufrieron de sobreajuste).
  • En la tarea de predicción de estado post-colisión, CLASH logró una precisión significativamente superior, especialmente en geometrías complejas donde MJX fallaba por inestabilidad numérica.

• Optimización Basada en Modelos (CMA-ES):

  • En tareas de búsqueda de señales de control óptimas para golpear un objetivo, el simulador híbrido redujo el error de posicionamiento en un 26-35% en comparación con MuJoCo.
  • Eficiencia Computacional: Al reemplazar la resolución de colisiones costosa del motor físico con la inferencia de la red neuronal, el tiempo de pared (wall-clock time) para la búsqueda CMA-ES se redujo entre un 42% y un 48%.

• Aprendizaje por Refuerzo (RL):

  • En una tarea de empuje secuencial (hacer rodar un semicilindro hasta un objetivo), las políticas entrenadas con el simulador híbrido duplicaron la tasa de éxito en el mundo real en comparación con las entrenadas solo en MuJoCo.
  • Esto demuestra que una mejor modelización de la colisión es crítica para la transferencia de políticas en tareas de toma de decisiones secuenciales.

5. Significado e Impacto

El trabajo de CLASH es significativo porque ofrece una solución práctica al dilema clásico entre velocidad y precisión en la simulación robótica.

• Puente Eficiente: No requiere reemplazar todo el motor de física, sino que corrige selectivamente los submódulos más problemáticos (colisiones) utilizando datos reales limitados.
• Generalización: Al separar la identificación de parámetros físicos del ajuste de residuos no paramétricos, el método es robusto y evita el sobreajuste, un problema común en métodos puramente basados en datos.
• Futuro: Establece una receta modular para mejorar motores de física existentes, sugiriendo que futuras extensiones podrían abordar otros submódulos con brechas de modelado conocidas (como fricción torsional o contactos elásticos).

En resumen, CLASH demuestra que la combinación de priores de simulación a gran escala con una adaptación mínima de datos reales es una vía poderosa y eficiente para cerrar la brecha sim-real en tareas robóticas complejas que involucran colisiones.