Beyond MoCap: Scaling Motion Tokenizers with Synthetic Human Motion for Generative Modeling

Resumen Técnico: Más allá de MoCap: Escalamiento de Tokenizadores de Movimiento con Movimiento Humano Sintético para Modelado Generativo

Declaración del Problema
Los modelos actuales de generación de movimiento humano, particularmente aquellos que dependen de representaciones latentes discretas (por ejemplo, tokenizadores VQ-VAE acoplados con transformadores autorregresivos como MotionGPT), están fundamentalmente limitados por la diversidad restringida de los conjuntos de datos existentes de captura de movimiento (MoCap). Los conjuntos de datos como Human3.6M y AMASS están dominados por acciones comunes y repetitivas (por ejemplo, caminar, sentarse), lo que resulta en un "vocabulario de movimiento restringido" dentro del espacio latente aprendido. En consecuencia, estos modelos no logran generalizar a movimientos raros, complejos o altamente dinámicos (la "cola larga" del movimiento), tales como acrobacias o interpretaciones estilizadas. Los autores argumentan que simplemente escalar la arquitectura del modelo o el tiempo de entrenamiento no puede superar este cuello de botella; la limitación principal reside en el soporte de la representación de movimiento aprendida.

Metodología
El artículo propone un marco que escala conjuntamente la distribución de datos de movimiento y la capacidad del tokenizador de movimiento. El enfoque consta de dos componentes primarios:

1. Pipeline de Generación de Movimiento Sintético Escalable:

   • Síntesis de Poses: Inspirado en algoritmos genéticos, el pipeline realiza una exploración estocástica estructurada del espacio de poses. Representa las poses como árboles cinemáticos con raíz en la pelvis, utilizando coordenadas esféricas para las orientaciones de los huesos. Mediante cruce (intercambio de subárboles de raíces de extremidades entre poses padre) y mutación (perturbación de las orientaciones de los huesos con ruido Gaussiano), el sistema genera poses diversas.
   • Filtrado Físico: Para asegurar la validez anatómica, las poses generadas se filtran mediante un prior de pose dinámica (Akhter y Black [2015]), que restringe los ángulos articulares a rangos factibles. Solo se retienen las poses con puntuaciones de validez iguales o superiores a sus padres.
   • Conversión de Pose a Movimiento: Las poses válidas se convierten en secuencias de movimiento mediante interpolación esférica. Se utiliza un modelo de recuperación ligero basado en Transformer para predecir y recuperar trayectorias de la raíz global (orientación y traslación) a partir de las características corporales, asegurando que las secuencias de movimiento sean físicamente plausibles y temporalmente coherentes.
   • Escala de Datos: El pipeline genera aproximadamente 64 veces más movimientos sintéticos basados en el conjunto de datos HumanML3D, expandiendo significativamente la cobertura del espacio de movimiento, particularmente en regiones subrepresentadas.

2. Tokenizador VQ-VAE Aumentado:

   • Escalamiento del Codebook: Reconociendo que un codebook de tamaño fijo (por ejemplo, ~512 entradas) es insuficiente para la distribución expandida, los autores aumentan el tamaño del codebook ($K$) a 2048.
   • Entrenamiento Conjunto: El tokenizador se entrena en una mezcla de datos reales y sintéticos ($D = (1-\lambda)D_{real} + \lambda D_{syn}$). Los autores emplean una relación de mezcla (específicamente 1:2 de real a sintético) para equilibrar la fidelidad de la distribución interna con la generalización fuera de la distribución.
   • Estrategias de Estabilidad: Para prevenir el colapso del codebook con el vocabulario más grande, el entrenamiento utiliza actualizaciones de media móvil exponencial (EMA) y reinicios periódicos del codebook.

3. Adaptación a Modelos de Destino (Downstream):

   • El tokenizador mejorado se integra en marcos de generación de movimiento autorregresivos existentes (por ejemplo, T2M-GPT, MotionGPT, MotionAgent) sin alterar sus arquitecturas. Los modelos se ajustan mediante la re-tokenización de los datos de entrenamiento con el nuevo tokenizador aumentado, manteniendo inalterados los pares texto-movimiento originales.

Contribuciones Clave

• Identificación del Cuello de Botella: El trabajo identifica el soporte limitado de los tokenizadores de movimiento, inducido por los estrechos datos de MoCap, como un cuello de botella crítico en la generación de movimiento moderna, más que un simple problema de arquitectura de modelo.
• Escalamiento Conjunto: Demuestra que mejorar la generación requiere expandir conjuntamente la distribución de datos de entrenamiento y la capacidad del token, en lugar de escalar únicamente el tamaño del modelo.
• Pipeline Sintético: La introducción de un pipeline escalable que genera movimientos diversos y físicamente plausibles que cubren la cola larga del espacio de movimiento.
• Tokenizador Aumentado: El desarrollo de un tokenizador VQ-VAE con un codebook expandido que se adapta a la distribución sintética, logrando una mayor utilización del codebook y un vocabulario de movimiento más rico.
• Mejora Agnóstica a la Arquitectura: El método proporciona una receta práctica para actualizar modelos existentes de tokens discretos, produciendo mejoras consistentes a través de diferentes backbones sin cambios arquitectónicos.

Resultados
Experimentos extensos en HumanML3D (dentro de la distribución) y Motion-X++ (fuera de la distribución) demuestran la eficacia del enfoque:

• Rendimiento del Tokenizador: En HumanML3D (dentro de la distribución), el FID de reconstrucción mejoró un 42.4% (cayendo de 0.132 a 0.076). En el conjunto de datos no visto Motion-X++, el tokenizador mostró ganancias significativas de generalización, con reducciones de MPJPE en varios subconjuntos (por ejemplo, una reducción del 12.4% en el subconjunto "Sports").
• Rendimiento Generativo: Al aplicarse a modelos de destino, el tokenizador aumentado mejoró consistentemente la fidelidad del movimiento (FID). Por ejemplo, el FID de T2M-GPT mejoró un 16.4%, MotionGPT un 24.1% y MotionAgent un 20.0%.
• Mejoras Cualitativas: Los modelos demostraron una capacidad mejorada para sintetizar movimientos complejos y raros (por ejemplo, flares de breakdance, posturas de yoga, kung fu) que anteriormente estaban mal representados o eran imposibles de generar con los tokenizadores estándar.
• Estudios de Ablación: Los experimentos confirmaron que un tamaño de codebook de 2048 ofrece un equilibrio óptimo entre la calidad de la reconstrucción y la utilización del codebook. Además, se encontró que una relación de mezcla de 1:2 (real:sintético) proporcionaba el mejor compromiso entre la fidelidad de la distribución interna y la generalización fuera de la distribución.

Significancia y Reivindicaciones
El artículo sostiene que el principal cuello de botella en la síntesis de movimiento humano no es la arquitectura del modelo generativo, sino el espacio de tokens restringido derivado de datos limitados. Al escalar el movimiento sintético en tándem con el aprendizaje de representaciones, los autores ofrecen un "camino con principios" hacia una síntesis de movimiento más expresiva, controlable y generalizable. El trabajo sugiere que el campo debe ir más allá de depender únicamente de conjuntos de datos de MoCap curados y abrazar la expansión de datos sintéticos para desbloquear todo el potencial de los modelos de movimiento generativos. Los autores señalan limitaciones, específicamente que el pipeline actual se centra en el movimiento corporal (excluyendo la dinámica fina de manos/rostro) y aún no empareja los movimientos sintéticos con anotaciones de texto, aunque postulan que añadir etiquetas de texto en el futuro podría mejorar aún más la alineación semántica.