Resumen Técnico: MoScale – Modelos Autoregresivos de Próxima Escala para la Generación de Movimiento a partir de Texto

1. Declaración del Problema

La generación de movimiento a partir de texto tiene como objetivo sintetizar movimiento humano que refleje fielmente las descripciones textuales. Aunque los modelos recientes (Difusión, Transformers enmascarados y modelos Autoregresivos de Próximo Token) producen dinámicas locales realistas, luchan por preservar la estructura semántica global. Específicamente, los métodos existentes a menudo fallan en alinearse con instrucciones textuales complejas que involucran conteos de repetición (por ejemplo, "dos saltos de tijera") o patrones de acción secuenciales (por ejemplo, "gírate, recoge cosas y gírate de nuevo").

Los autores identifican dos causas principales para esta limitación:

1. Modelos de Difusión y Enmascarados: Estos modelos generan secuencias de resolución completa sin orden causal, dependiendo de un refinamiento bidireccional. Inferir semántica global en un único paso de predicción no dirigido es inherentemente difícil, y el refinamiento posterior principalmente impone coherencia local en lugar de alterar la estructura global establecida en el borrador inicial.
2. Modelos Autoregresivos (AR) de Próximo Token: Aunque tienen éxito en el modelado del lenguaje, los AR de próximo token tienen un rendimiento inferior en la generación de movimiento. El movimiento humano exhibe dinámicas a corto plazo altamente predecibles, lo que permite a los modelos AR minimizar la pérdida explotando la predecibilidad a corto horizonte en lugar de aprender estructuras temporales globales. Además, los codificadores de convolución temporal en la tokenización del movimiento amplifican las correlaciones locales, haciendo que el razonamiento a largo alcance sea menos necesario para el modelo, resultando en un movimiento localmente coherente pero globalmente desalineado.

2. Metodología: MoScale

El artículo propone MoScale, un marco Autoregresivo de Próxima Escala que reemplaza la predicción estándar de próximo token con una jerarquía causal de lo grueso a lo fino.

2.1 Representación Jerárquica del Movimiento

MoScale utiliza un Residual VQ-VAE para codificar secuencias de movimiento en $K$ escalas de tokens discretos.

• Escalas Gruesas: Codifican la estructura global.
• Escalas Finas: Representan detalles residuales no capturados por los niveles anteriores.
• Tokenización: Dado un movimiento de entrada $m$, un codificador produce características latentes. Estas se submuestrean a diferentes resoluciones temporales ($L_1, \dots, L_K$). En cada escala $k$, la característica objetivo es el residuo de las características originales menos la reconstrucción acumulada de las escalas anteriores. Este residuo se cuantiza utilizando un vocabulario compartido para producir tokens discretos $z_k$.

2.2 Generación Autoregresiva de Próxima Escala

En lugar de predecir un token a la vez, el modelo predice un grupo completo de tokens $z_k$ para una escala específica, condicionado por:

1. Las escalas más gruesas generadas previamente ($z_1, \dots, z_{k-1}$).
2. La incrustación de texto (derivada de un codificador T5 preentrenado).

La arquitectura emplea un Transformer causal con enmascaramiento causal por escala en la atención auto para prevenir la filtración de información desde escalas más finas hacia las más gruesas, asegurando una causalidad jerárquica estricta. La atención cruzada atiende a las incrustaciones de texto crudas para mantener una guía semántica consistente.

2.3 Estrategias de Refinamiento

Para abordar la escasez de datos y la propagación de errores, MoScale introduce dos mecanismos de refinamiento:

• Refinamiento Jerárquico Cruzado entre Escalas:

  • Problema: El AR de próxima escala estándar utiliza la fuerza del profesor con entradas limpias de verdad fundamental, fallando en aprender cómo recuperarse de predicciones imperfectas de escala gruesa durante la inferencia.
  • Solución: Durante el entrenamiento, el modelo introduce perturbaciones en los tokens de la escala más gruesa ($k-1$) reemplazando aleatoriamente un subconjunto de tokens con entradas aleatorias del vocabulario. El modelo en la escala $k$ se entrena entonces para predecir el residuo basándose en esta entrada corrompida. Esto obliga al modelo a aprender refinamientos adaptativos y corregir errores propagados desde etapas anteriores, reduciendo el sesgo de exposición.

• Refinamiento Temporal Intra-Escala:

  • Problema: Los conjuntos de datos de texto-movimiento son pequeños en comparación con los corpus lingüísticos.
  • Solución: Dentro de cada escala, el modelo emplea una estrategia de enmascarar y volver a predecir selectivamente. Utilizando atención bidireccional (disponible dentro de una sola escala), el modelo identifica tokens de baja confianza, los enmascara y los vuelve a predecir iterativamente. Esto imita el refinamiento iterativo estilo difusión pero opera dentro del marco AR causal, mejorando la coherencia temporal local y la fidelidad sin interrumpir la estructura global de lo grueso a lo fino.

3. Contribuciones Clave

1. Marco AR de Próxima Escala: Introduce una estructura causal jerárquica para la generación de movimiento que supera las limitaciones del AR de próximo token (atajos a corto horizonte) y los problemas de alineación global de los modelos de difusión/enmascarados.
2. Mecanismos de Refinamiento: Propone el Refinamiento Jerárquico Cruzado entre Escalas para manejar la propagación de errores y datos limitados, y el Refinamiento Temporal Intra-Escala para mejorar la coherencia local utilizando contexto bidireccional dentro de las escalas.
3. Rendimiento de Vanguardia: Demuestra que MoScale logra un rendimiento SOTA en benchmarks estándar mientras mantiene una alta eficiencia de entrenamiento.
4. Generalización Zero-Shot: Muestra la capacidad del marco para generalizar a diversas tareas (inpainting, outpainting, edición, generación continua) sin ajuste fino específico de la tarea.

4. Resultados Experimentales

El modelo fue evaluado en los conjuntos de datos HumanML3D y KIT-ML.

• Rendimiento Cuantitativo: MoScale supera las líneas base existentes de AR de Próximo Token, Difusión y Transformers Enmascarados.
  • En HumanML3D, logra la mejor Precisión-R (Top-1: 0.540) y MM-Dist (2.830), con un FID competitivo (0.046).
  • Escala efectivamente con el tamaño del modelo (de 4 a 18 escalas/pasos).
• Rendimiento Cualitativo: Las visualizaciones muestran que MoScale captura con éxito semánticas de grano fino (por ejemplo, conteos de repetición específicos y secuencias complejas) donde las líneas base fallan.
• Análisis de Complejidad: MoScale muestra las ganancias relativas más grandes sobre las líneas base en descripciones textuales de alta complejidad, validando la efectividad del diseño jerárquico para instrucciones semánticas complejas.
• Eficiencia: MoScale se entrena más rápido que los modelos de difusión y los transformers enmascarados comparables. La inferencia es eficiente (0.28s para el modelo completo, 0.08s para la configuración mínima), significativamente más rápido que los métodos basados en difusión (por ejemplo, MotionDiffuse a 7.12s).
• Estudios de Usuarios: Los usuarios prefieren MoScale sobre las líneas base tanto para la alineación de texto (71.5% de votos) como para la calidad del movimiento (73.3% de votos). En tareas de edición zero-shot, recibe las puntuaciones de preferencia más altas para calidad del movimiento, alineación de texto y consistencia.

5. Significado y Afirmaciones

El artículo afirma que la causalidad jerárquica es el principal impulsor de la mejora en la alineación con el texto. Al establecer un andamio semántico global en la escala más gruesa y refinarlo progresivamente, MoScale evita el "atajo a corto horizonte" del AR de próximo token y la "inestabilidad de la estructura global" de los modelos de refinamiento bidireccional.

Los autores enfatizan que:

• La ruta de predicción jerárquica es el factor dominante en la captura de pistas textuales detalladas, superando al refinamiento iterativo bidireccional por sí solo.
• El refinamiento temporal contribuye principalmente a la suavidad y consistencia local, pero juega un papel secundario en la alineación global con el texto.
• El marco es robusto en regímenes de datos limitados, aprovechando la perturbación cruzada entre escalas para simular diversos estados intermedios.
• MoScale proporciona un enfoque unificado tanto para tareas condicionales (texto-a-movimiento) como incondicionales (edición, inpainting) mediante su estrategia de enmascarar y volver a predecir, preservando efectivamente las regiones no editadas.

El trabajo sugiere que integrar beneficios estilo difusión (refinamiento iterativo, contexto bidireccional) dentro de un marco autoregresivo causal y jerárquico ofrece un equilibrio superior de eficiencia de entrenamiento, alineación semántica global y calidad de movimiento local para la generación de movimiento a partir de texto.