Resumen Técnico: Kine2Go

Planteamiento del Problema

El rápido avance de la robótica, particularmente con hardware asequible como el cuadrúpedo Unitree Go2, ha despertado el interés en el uso de técnicas de aprendizaje automático (ML), tales como el Aprendizaje por Refuerzo (RL) y el clonación de comportamiento, para el control de la locomoción. Sin embargo, existe un cuello de botella significativo: la obtención de datos de demostración de alta calidad es difícil. Si bien los métodos de ML a menudo requieren trayectorias cinemáticas y sus correspondientes acciones a nivel de motor para entrenar políticas robustas, la generación de estos datos suele exigir canales complejos y mucho tiempo.

Además, aunque existen conjuntos de datos de captura de movimiento (MoCap) a gran escala para humanoides (por ejemplo, Human3.6M, AMASS) y algunas especies animales, existe una falta de recursos comparables y de código abierto para robots cuadrúpedos. Los conjuntos de datos de cuadrúpedos existentes suelen carecer de los despliegues de estado-acción específicos requeridos para el aprendizaje de control de bajo nivel. Además, el control basado en RL a menudo tiene dificultades para producir marchas suaves, naturales y simétricas sin un modelado de recompensa extensivo, lo cual es propenso al "reward hacking" (ataque de recompensa) y requiere un proceso tedioso de ensayo y error. Los enfoques actuales de imitación de movimiento suelen depender de políticas únicas para movimientos únicos, lo que limita la capacidad de crear políticas fundacionales generales capaces de realizar diversas marchas.

Metodología

Los autores presentan Kine2Go, un conjunto de datos y un canal diseñado para cerrar la brecha entre los datos de movimiento bruto y las políticas de RL accionables para el robot Unitree Go2. La metodología consta de tres etapas primarias implementadas dentro del motor de física Genesis, un simulador de alto rendimiento acelerado por GPU:

1. Retargeting Cinemático:

   • El canal ingiere datos de captura de movimiento de diversas morfologías de origen (perros, caballos y otros robots).
   • Un proceso de retargeting modular mapea estos movimientos de origen sobre la estructura cinemática específica de 12 DoF (grados de libertad) del Unitree Go2.
   • Un resolvedor de Cinemática Inversa (IK) resuelve las configuraciones de las articulaciones cuadro por cuadro, tratando las posiciones de las patas retargetizadas como objetivos de espacio de tarea para asegurar que los movimientos permanezcan dentro del espacio de trabajo alcanzable del robot.
   • La salida es una trayectoria de referencia continua y compatible con el robot que contiene información de pose, pero sin datos de acción.

2. Imitación de Movimiento mediante Aprendizaje por Refuerzo:

   • Para cada trayectoria de referencia retargetizada, se entrena una política de control dedicada utilizando un Proceso de Decisión de Markov (MDP) condicionado por objetivos.
   • El objetivo es minimizar el error de seguimiento entre el estado del robot simulado y el movimiento de referencia.
   • Espacio de Observación: Incluye estados propioceptivos (posiciones/velocidades de las articulaciones, orientación de la base) y estados de referencia futuros muestreados en $t+1, t+2, t+10$ y $t+30$.
   • Función de Recompensa: Una suma ponderada de términos que penalizan las desviaciones en la posición de la raíz, velocidades lineales/angulares, configuraciones de articulaciones y posiciones de los efectores finales.
   • Entrenamiento: Se utiliza el algoritmo de Optimización de Política Próxima (PPO) dentro del motor Genesis, aprovechando el paralelismo masivo (8,192 entornos) para entrenar cada política durante aproximadamente 2 mil millones de pasos a lo largo de 10,000 iteraciones.

3. Recopilación y Filtrado de Trayectorias:

   • Una vez que las políticas convergen, se ejecutan despliegues estocásticos para generar el conjunto de datos final.
   • Cada despliegue se inicializa con orientaciones de rumbo aleatorias para maximizar la diversidad del espacio de estados.
   • Los datos registrados incluyen configuraciones de articulaciones, cinemática de la base (orientación de cuaternión, velocidad angular), acciones de control (comandos de motor normalizados) y estados globales.
   • Control de Calidad: Las trayectorias se renderizan en videos de alta resolución y se inspeccionan manualmente para filtrar comportamientos inestables (colisiones, caídas, divergencia de seguimiento). Se recorta el primer 0.5 segundos de cada trayectoria para eliminar los fotogramas de "calentamiento" donde la política se sincroniza con la referencia.

Contribuciones Clave

• Conjunto de Datos Kine2Go: Un conjunto de datos exhaustivo que comprende 800 trayectorias de movimiento diversas para el robot Unitere Go2. Los datos se derivan de 40 políticas de RL distintas, cada una optimizada para un movimiento de referencia único.
• Diversas Morfologías de Origen: El conjunto de datos integra datos de cuatro fuentes distintas:
  • AI4Animation: Datos de captura de movimiento de perros (caminar, correr, girar).
  • VHDC: Datos de captura de movimiento de caballos (trote, caminar).
  • Solo8: Datos de un robot cuadrúpedo de morfología diferente (8-DoF), que proporciona movimientos desafiantes como el gateo y el salto.
  • AI4Animation Interactive Demo: Simulaciones de lobos controladas por el usuario que generan rutas complejas (elipses, bucles, cuadrados).
• Despliegues de Estado-Acción: A diferencia de los conjuntos de datos puramente cinemáticos, Kine2Go proporciona las acciones a nivel de motor correspondientes necesarias para reproducir los movimientos, lo que lo hace directamente aplicable a la clonación de comportamiento y al control offline.
• Canal Escalable: Los autores liberan un canal construido sobre el motor Genesis que permite a los investigadores extender fácilmente el conjunto de datos con nuevas fuentes o adaptar el enfoque a otras morfologías de cuadrúpedos. El canal está optimizado para GPUs de consumo, democratizando la generación de datos robóticos.

Resultados

El conjunto de datos resultante cubre un amplio espectro de movimientos locomotores, incluyendo caminar, correr, trotar, girar, rotar y seguir rutas complejas (círculos, cuadrados, elipses).

• Escala: 800 trayectorias generadas a partir de 40 políticas, donde cada política produce 20 trayectorias independientes caracterizadas por rumbos iniciales aleatorios.
• Cobertura: El conjunto de datos incluye movimientos que van desde 5 hasta 20 segundos de duración, capturando al menos un ciclo completo de cada marcha.
• Estructura de Datos: Cada fotograma contiene posiciones/velocidades de las articulaciones, orientación/velocidad de la base y comandos de motor normalizados.
• Limitaciones: Los autores señalan que se excluyeron los movimientos que implican saltos (donde todas las patas dejan el suelo) debido a la baja calidad de la imitación. También se excluyeron los movimientos de sentado debido a la incompatibilidad morfológica (codos por debajo del nivel del suelo) que requería corrección manual fotograma a fotograma. Todos los datos se recolectan en terreno plano y no se simulan los datos de los sensores de presión de los pies.

Significación y Reivindicaciones

El artículo posiciona a Kine2Go como un recurso fundamental para la comunidad de robótica cuadrúpeda, de forma análoga a cómo AMASS o MoCapAct sirven a la investigación de humanoides.

• Reducción de Barreras: Al proporcionar una solución "lista para usar" de datos cinemáticos y de acción de alta fidelidad, el conjunto de datos reduce la barrera de entrada para la investigación avanzada de movimiento, eliminando la necesidad de que los investigadores construyan canales complejos de recolección de datos.
• Habilitación de Modelos Fundacionales: El uso principal previsto es entrenar y regularizar modelos fundacionales de comportamiento. Los autores argumentan que, si bien la clonación de comportamiento simple puede evaluarse mediante el Error Cuadrático Medio (MSE), los modelos fundacionales requieren conjuntos de datos diversos para aprender características generales del movimiento en lugar de solo imitar trayectorias específicas. Kine2Go tiene como objetivo apoyar el desarrollo de políticas que puedan cambiar entre marchas basándose en comandos, yendo más allá de las políticas de un solo movimiento.
• Simulación a la Realidad: El conjunto de datos está diseñado para facilitar el entrenamiento de modelos en simulación que puedan ser regularizados con Kine2Go y eventualmente desplegados en el mundo real para evaluar su robustez.
• Democratización: El uso del motor Genesis y la eficiencia del canal en hardware de consumo busca democratizar la generación de datos robóticos, permitiendo que grupos de investigación más pequeños experimenten con diversas marchas y morfologías sin necesidad de acceso a clústeres de supercomputación.

Los autores afirman modestamente que, si bien el conjunto de datos aborda una brecha crítica en la investigación de cuadrúpedos, la evaluación de modelos fundacionales complejos sigue siendo un área de estudio abierta, y el trabajo futuro se centrará en expandir el conjunto de datos para incluir maniobras acrobáticas y navegación en terrenos irregulares.