Bilingual Text-to-Motion Generation: A New Benchmark and Baselines

1. El Problema

La generación de movimiento a partir de texto (Text-to-Motion) ha avanzado significativamente, pero actualmente enfrenta tres limitaciones críticas que restringen su aplicabilidad global:

• Escasez de datos bilingües: Existen conjuntos de datos de alta calidad solo en inglés (como HumanML3D). No hay datasets públicos y de alta calidad anotados en otros idiomas principales, lo que dificulta el desarrollo de modelos para usuarios no angloparlantes.
• Fallo en la comprensión semántica cruzada: Los métodos existentes operan casi exclusivamente en inglés. Intentar usar un pipeline de "traducir y luego generar" falla porque la traducción directa a menudo pierde matices semánticos relacionados con el movimiento (ej. la dirección o la complejidad cultural de un gesto) y no puede manejar entradas con cambio de código (code-switching), donde el usuario mezcla idiomas en una sola frase.
• Inadecuación de los encoders multilingües generales: Los modelos de lenguaje preentrenados (como mBERT o T5) no están optimizados para la semántica específica del movimiento humano, lo que resulta en un desequilibrio de rendimiento entre idiomas y una incapacidad para capturar detalles cinemáticos finos.

2. Metodología

Los autores proponen un enfoque integral que combina la creación de un nuevo dataset y un modelo de difusión unificado.

A. Dataset: BiHumanML3D

Para abordar la falta de datos, se construyó BiHumanML3D, el primer benchmark bilingüe (inglés-chino) para generación de movimiento.

• Pipeline de anotación asistida por LLM: En lugar de traducciones automáticas simples, se utilizó un proceso de tres etapas:
  1. Traducción inicial: Un LLM (DeepSeek) traduce las descripciones en inglés.
  2. Refinamiento: Un segundo LLM (Qwen) corrige sesgos de género, traducciones literales y frases antinaturales.
  3. Verificación humana: Anotadores humanos, asistidos por LLM, revisan y corrigen manualmente las entradas inciertas o incorrectas, asegurando fidelidad lingüística y contextual.
• Resultado: Un dataset con 13,312 movimientos con anotaciones bilingües de alta calidad, derivado de HumanML3D.

B. Modelo: Bilingual Motion Diffusion (BiMD)

Se propone un modelo de difusión unificado que evita entrenar modelos separados para cada idioma.

• Alineación Cruzada de Lenguas (CLA - Cross-Lingual Alignment): Este es el componente central. En lugar de usar un encoder multilingüe genérico, se utiliza un enfoque de distinción de conocimiento (Knowledge Distillation):
  • Se toma un modelo "maestro" (OpenCLIP, fuerte en inglés) y un modelo "estudiante" (XLM, con capacidad multilingüe).
  • Se entrena al estudiante para alinear sus representaciones semánticas (tanto en inglés como en chino) con las del maestro en un espacio latente compartido.
  • Esto minimiza la distancia entre las representaciones de texto de ambos idiomas, creando un espacio condicional robusto.
• Entrenamiento de Difusión Bilingüe: El modelo de difusión (basado en MLD) se entrena con descripciones en inglés o chino seleccionadas aleatoriamente para cada movimiento. Gracias a CLA, el modelo aprende patrones de movimiento compartidos sin perder los matices específicos de cada idioma.
• Soporte para Code-Switching: Al tener un espacio semántico unificado, el modelo puede procesar entradas mixtas (ej. "He walks in a 逆时针 circle") sin perder la coherencia semántica.

3. Contribuciones Clave

1. BiHumanML3D: El primer benchmark público bilingüe para generación de movimiento texto-a-movimiento, creado mediante un pipeline riguroso de anotación asistida por LLM y corrección humana.
2. BiMD con CLA: Un modelo de difusión bilingüe que introduce la Alineación Cruzada de Lenguas para unificar las representaciones semánticas, permitiendo una generación equilibrada y de alta calidad en ambos idiomas.
3. Validación de la necesidad bilingüe: Demostración experimental de que los enfoques de "traducir-primero" y el uso de encoders multilingües sin ajuste fino son insuficientes para tareas de movimiento, y que el entrenamiento bilingüe dedicado es necesario.

4. Resultados

Los experimentos se realizaron en los datasets HumanML3D (monolingüe) y BiHumanML3D (bilingüe).

• Rendimiento Superior: BiMD con CLA logró un FID de 0.045 (vs. 0.169 sin CLA) y una precisión R@3 del 82.8% (vs. 80.8% sin CLA), superando significativamente a los modelos de difusión monolingües y a las líneas base de traducción.
• Equilibrio de Idiomas: La técnica CLA redujo la brecha de rendimiento entre inglés y chino en la métrica R@3 de un 4.4% a solo un 0.8%, logrando un rendimiento equilibrado.
• Generación Zero-Shot: El modelo entrenado solo en chino fue capaz de generar movimientos precisos a partir de descripciones en inglés (y viceversa) sin haber visto esos idiomas durante el entrenamiento, demostrando una fuerte capacidad de transferencia cruzada.
• Estudios de Usuario: En pruebas con humanos, el 68.1% de los participantes prefirieron la coherencia semántica de los pares de movimientos generados por BiMD con CLA frente a la versión sin CLA.

5. Significado e Impacto

Este trabajo es pionero al abordar la barrera del idioma en la generación de movimiento humano.

• Accesibilidad Global: Permite que aplicaciones de animación, robótica y videojuegos sean accesibles para usuarios de habla no inglesa, capturando matices culturales específicos que las traducciones automáticas pierden.
• Nueva Línea Base: Establece un nuevo estándar para la investigación en generación multilingüe, demostrando que la alineación semántica explícita es crucial para la síntesis de movimiento.
• Recurso Abierto: El dataset y el código han sido liberados para fomentar la investigación futura en generación de movimiento multilingüe y escenarios de cambio de código.

En resumen, el artículo demuestra que la generación de movimiento bilingüe no es simplemente una traducción de texto, sino que requiere una alineación semántica profunda y datos de alta calidad para preservar la fidelidad cinemática y cultural.