Spherical Latent Motion Prior for Physics-Based Simulated Humanoid Control

Resumen Técnico: Spherical Latent Motion Prior (SLMP)

1. El Problema

El control de humanoides basados en física es un desafío fundamental en robótica y gráficos por computadora. Aunque los métodos recientes han permitido imitar grandes conjuntos de datos de captura de movimiento (mocap), existen dos enfoques principales para aprender "priors" de movimiento (restricciones que guían las acciones hacia comportamientos físicamente plausibles), ambos con limitaciones significativas:

• Autoencoders Variacionales (VAE): Comprimen las trayectorias de movimiento en códigos latentes. Sin embargo, el cuello de botella de información a menudo descarta detalles motores importantes. Además, la muestreo aleatorio en el espacio latente (distribución gaussiana) puede generar comportamientos inválidos, caídas o acciones no realistas debido a regiones de baja densidad en el espacio latente.
• Priors de Movimiento Adversarios (AMP): Utilizan recompensas adversarias para empujar la política hacia la distribución de datos. Sufren de "colapso de modos" (mode collapse), donde el agente aprende solo un subconjunto limitado de habilidades, y luchan para capturar la diversidad necesaria en conjuntos de datos complejos.

El objetivo es crear un espacio latente estructurado que permita:

1. Preservar detalles finos del movimiento sin pérdida de información.
2. Permitir un muestreo aleatorio estable y semánticamente válido.
3. Soportar una amplia gama de comportamientos (diversidad) y su reutilización jerárquica.

2. Metodología: Spherical Latent Motion Prior (SLMP)

Los autores proponen SLMP, un método de dos etapas que construye un espacio de acciones latentes estructurado sobre una esfera unitaria.

Fase 1: Entrenamiento de un Controlador Experto

• Se entrena un controlador de seguimiento de movimiento de alta calidad ($\pi_{track}$) utilizando Aprendizaje por Refuerzo (PPO) condicionado a objetivos.
• Este controlador imita clips de movimiento de captura de datos (SMPL) y sirve como "experto" para la siguiente etapa.

Fase 2: Destilación en un Espacio Latente Esférico
En lugar de usar una distribución gaussiana (VAE) o solo recompensas adversarias, SLMP destila el controlador experto en un espacio latente esférico ($z \in \mathbb{R}^d, \|z\|_2 = 1$). La política priorizada ($\pi_\phi$) toma el estado del robot y un código latente para generar acciones.

El entrenamiento se optimiza mediante una combinación de tres componentes de pérdida:

1. Pérdida de Destilación por Imitación ($L_{distill}$): Asegura que las acciones generadas por el código latente codificado del objetivo ($z_1$) coincidan con las acciones del experto.
2. Pérdida del Discriminador ($L_{disc}$): Un discriminador distingue entre acciones del experto y acciones generadas por códigos latentes aleatorios ($z_2$). Esto proporciona una señal "in-distribution".
3. Pérdida de Consistencia Semántica Local Guiada por Discriminador ($L_{DLSC}$): Este es el componente clave.
   • Utiliza una peso geométrico ($w_d$) basado en la distancia esférica entre el código latente del objetivo y el aleatorio para fomentar suavidad local.
   • Utiliza un peso semántico ($w_c$) derivado del discriminador para aumentar el peso de las muestras fuera de distribución, imponiendo restricciones más fuertes.
   • Esta combinación "talla" un espacio de acciones estructurado en la esfera, donde vecinos cercanos en la esfera corresponden a comportamientos semánticamente coherentes.

Aplicación en Tareas de Alto Nivel (Combate):

• SLMP actúa como un prior de bajo nivel. Una política de alto nivel opera en el espacio latente y selecciona códigos $z_t$.
• Se entrena mediante auto-juego (self-play) con recompensas extremadamente simples y escasas (golpes y derribos), sin necesidad de recompensas de modelado complejo (shaping rewards).

3. Contribuciones Clave

1. Nuevo Conjunto de Datos: Los autores recopilaron y liberarán un conjunto de datos de 2 horas de captura de movimiento de combate humano, que incluye golpes, evasiones, transiciones y trabajo de pies, con variaciones de velocidad y altura.
2. Marco SLMP: Un marco de destilación de dos etapas que construye un espacio de acción latente esférico estructurado, resolviendo el problema de la pérdida de información y la inestabilidad del muestreo aleatorio.
3. Validación Experimental: Demostración de que SLMP permite el combate físico plausible entre dos agentes usando solo recompensas basadas en reglas simples, y que el método se generaliza a diferentes morfologías de robots humanoides.

4. Resultados Experimentales

Los experimentos se basaron en el nuevo conjunto de datos de combate y compararon SLMP con VAE (PULSE) y otros métodos.

• Rendimiento de Seguimiento: SLMP logra una tasa de éxito del 99.5% y un error de posición (MPJPE) de 31.7, acercándose al controlador experto (100% éxito, 31.2 MPJPE) y superando significativamente a PULSE (99.2% éxito, 41.1 MPJPE). Esto indica una menor pérdida de información.
• Estabilidad del Muestreo Aleatorio:
  • En 1000 rodajes aleatorios (rollouts) en Isaac Gym, SLMP mantuvo una tasa de supervivencia del 99.8% a los 10 segundos.
  • En contraste, PULSE cayó drásticamente (tasa de supervivencia baja) debido a la escasez semántica en las colas de su espacio latente gaussiano.
• Realismo Semántico: Las visualizaciones del manifold latente muestran que SLMP adapta la estructura de la esfera según el estado del cuerpo. Por ejemplo, en una postura de guardia, la esfera tiene múltiples regiones válidas (diversidad), mientras que en un salto aéreo, la esfera se colapsa en pocas regiones (restricción física), evitando acciones inviables.
• Combate de Dos Agentes:
  • Con recompensas densas (estilo NCP), los agentes convergían a estrategias degeneradas (pelear estáticos).
  • Con recompensas de AMP (estilo Smplolympics), los agentes repetían patrones de golpes limitados.
  • Con SLMP y recompensas escasas: Los agentes desarrollaron comportamientos de combate humanos, diversos y físicamente plausibles (golpes, esquives, trabajo de pies) sin necesidad de ingeniería de recompensas compleja.

5. Significado e Impacto

El trabajo de SLMP representa un avance significativo en el control de humanoides por varias razones:

• Superación de Limitaciones Estructurales: Resuelve el dilema entre la diversidad y la validez en los priors de movimiento, evitando la pérdida de información de los VAE y el colapso de modos de los métodos adversarios.
• Simplificación del Aprendizaje por Refuerzo: Al proporcionar un prior de movimiento robusto y estructurado, reduce drásticamente la necesidad de diseñar recompensas complejas (reward shaping) para tareas de alto nivel, permitiendo que políticas simples aprendan comportamientos complejos.
• Generalización y Transferencia: La capacidad de SLMP para funcionar en diferentes morfologías de robots y su validación en simulaciones de robots reales sugiere un camino viable hacia la aplicación en hardware físico.
• Recursos Abiertos: La liberación de un conjunto de datos de combate de alta calidad (2 horas) llenará un vacío importante para la investigación en control de humanoides y robótica de combate.

En conclusión, SLMP establece un nuevo estándar para la generación de movimientos de humanoides, combinando la fidelidad de la destilación de expertos con la estabilidad geométrica de un espacio latente esférico, facilitando la creación de agentes físicos autónomos y realistas.