MotionGRPO: Overcoming Low Intra-Group Diversity in GRPO-Based Egocentric Motion Recovery

Resumen Técnico de MOTIONGRPO

Enunciado del Problema
Recuperar el movimiento humano 3D de cuerpo completo a partir de señales de Dispositivos Montados en la Cabeza (HMD), como los de Project Aria, sigue siendo un desafío crítico para las aplicaciones de VR/AR. A diferencia de la captura en tercera persona, los entornos egocéntricos sufren de oclusión severa donde el cuerpo del usuario es en gran medida no observado. Los métodos existentes basados en difusión abordan esto aprendiendo priores de movimiento condicionados a las trayectorias de la cabeza. Sin embargo, estos métodos a menudo dependen de la coincidencia de distribuciones globales, lo que conduce a errores locales de reconstrucción de articulaciones, desalineación espacial y artefactos visuales como patinaje de pies, temblor de movimiento y penetración en el suelo. Además, aplicar Aprendizaje por Refuerzo (RL) directamente a la recuperación de movimiento basada en difusión enfrenta un cuello de botella específico: el problema de "baja diversidad intra-grupo". Dado que la recuperación de movimiento está fuertemente restringida por señales de cabeza deterministas, las salidas muestreadas dentro de un grupo exhiben una varianza mínima. Esta falta de diversidad hace que la desviación estándar en los cálculos de ventaja de la Optimización de Políticas Relativa de Grupo (GRPO) se aproxime a cero, resultando en gradientes que desaparecen y un entrenamiento inestable.

Metodología
Los autores proponen MOTIONGRPO, un marco que aprovecha el entrenamiento posterior con RL para inyectar guía de grano fino en el proceso de muestreo de difusión. La metodología se estructura en torno a tres componentes principales:

1. Formulación MDP y GRPO: El proceso de muestreo de difusión se modela como un Proceso de Decisión de Markov (MDP). La política se optimiza utilizando la Optimización de Políticas Relativa de Grupo (GRPO), que estima líneas base de valor directamente a partir de puntuaciones por grupo sin requerir una red de valor separada. La política $\pi_\theta$ corresponde a la distribución de transición inversa del modelo de difusión.
2. Mecanismo de Recompensa Híbrida: Para guiar la optimización, se diseña un sistema de recompensa híbrido:
   • Recompensa Visual Global: Un modelo perceptivo condicionado a la trayectoria evalúa la plausibilidad visual. Este modelo se entrena mediante aprendizaje contrastivo en línea, sintetizando activamente muestras negativas difíciles (movimientos generados emparejados con trayectorias de cabeza) para distinguir movimientos naturales de artefactos como patinaje de pies y temblor.
   • Recompensa Local de Articulaciones: Sub-recompensas explícitas imponen precisión en posiciones, rotaciones y velocidades de las articulaciones. Estas incluyen recompensas de pose calculadas con y sin alineación de transformación de similitud por cuadro, discrepancias de rotación local y diferencias de velocidad.
3. Estrategia de Inyección de Ruido: Para abordar el cuello de botella de la baja diversidad intra-grupo, los autores introducen una estrategia de inyección de ruido. Se añade ruido de Perlin suavizado temporalmente al componente de traslación de las condiciones de entrada de la trayectoria de la cabeza. Esto simula entradas pseudo fuera de distribución, forzando a la política de difusión a enfrentar estados ligeramente desplazados. Esto aumenta la incertidumbre del modelo y la diversidad de salida dentro del grupo muestreado, asegurando una desviación estándar no trivial para el cálculo de ventaja de GRPO y estabilizando el proceso de aprendizaje.

Contribuciones Clave

• Marco MOTIONGRPO: La introducción de un marco de entrenamiento posterior basado en RL para la recuperación de movimiento egocéntrico que optimiza una recompensa híbrida que combina un modelo perceptivo aprendido para la plausibilidad global y objetivos explícitos para la alineación precisa de articulaciones.
• Identificación y Mitigación de la Baja Diversidad: La identificación de la "baja diversidad intra-grupo" como un cuello de botella fundamental para aplicar GRPO a tareas de recuperación de movimiento determinista. Los autores proponen una estrategia de inyección de ruido suavizado temporalmente para aumentar la diversidad de salida y prevenir la desaparición de gradientes.
• Rendimiento de Vanguardia: Experimentos extensos que demuestran que el marco logra un rendimiento superior tanto en precisión de articulaciones como en fidelidad visual en comparación con las líneas base existentes.

Resultados Experimentales
El método se evaluó en los benchmarks AMASS y RICH, con validación cualitativa adicional en el conjunto de datos Aria Digital Twins (ADT).

• Rendimiento Cuantitativo: MOTIONGRPO logró resultados de vanguardia, superando significativamente a líneas base competitivas como EgoAllo. En el conjunto de datos AMASS, redujo el Error Medio de Posición por Articulación (MPJPE) de 124.985 mm a 114.207 mm y el MPJPE Alineado por Procrustes (PA-MPJPE) de 103.958 mm a 95.512 mm. Se observaron mejoras similares en el conjunto de datos RICH.
• Calidad Visual: El marco mitigó efectivamente los artefactos de alta frecuencia. Las métricas para Temblor, Patinaje de Pies y Penetración en el Suelo mostraron mejoras consistentes sobre las líneas base, confirmando la eficacia del mecanismo de recompensa híbrido.
• Estudios de Ablación:
  • GRPO estándar con recompensas de articulaciones mejoró la precisión local pero requirió la recompensa visual para abordar la plausibilidad física global.
  • La estrategia de inyección de ruido de Perlin fue crítica; sin ella, la diversidad del grupo colapsó y las ganancias de rendimiento fueron limitadas.
  • El uso de muestras negativas difíciles sintetizadas mejoró significativamente la capacidad del modelo perceptivo para discriminar entre movimientos naturales y defectuosos en comparación con la simple inyección de ruido sobre la verdad fundamental.
• Eficiencia: Como estrategia de entrenamiento posterior, MOTIONGRPO impone una sobrecarga computacional insignificante durante la inferencia, manteniendo velocidades de inferencia y uso de VRAM comparables a los modelos de difusión de línea base.

Significado
El artículo afirma que MOTIONGRPO representa un avance significativo al cerrar la brecha entre los modelos de difusión generativos y las restricciones geométricas precisas requeridas para la recuperación de movimiento. Al adaptar GRPO con una estrategia novedosa de inyección de ruido, el marco supera las limitaciones de la coincidencia de distribuciones estándar y el problema de gradiente que desaparece inherente a las tareas de recuperación determinista. El resultado es un sistema capaz de recuperar movimiento de cuerpo completo de alta fidelidad con superior plausibilidad visual y precisión de articulaciones, ofreciendo una solución robusta para la recuperación de movimiento egocéntrico en aplicaciones de VR/AR.