Bilingual Text-to-Motion Generation: A New Benchmark and Baselines

1. Problema e Motivação

A geração de movimento a partir de texto (Text-to-Motion) é crucial para aplicações em jogos, cinema e robótica. No entanto, o estado da arte atual enfrenta três limitações fundamentais:

• Escassez de Dados: A maioria dos conjuntos de dados existentes é exclusivamente em inglês. Não há benchmarks públicos de alta qualidade para pares de idiomas bilíngues, limitando a acessibilidade para falantes de outras línguas e a fidelidade cultural.
• Ineficácia de Pipelines de Tradução: A abordagem comum de "traduzir e depois gerar" falha em capturar nuances semânticas sutis relacionadas ao movimento (ex: detalhes culturais específicos ou ações complexas) e não consegue processar entradas com code-switching (mistura de idiomas na mesma frase), que é natural para falantes bilíngues.
• Desalinhamento Semântico: Modelos multilíngues genéricos (como T5 ou mBERT) possuem distribuições de linguagem desbalanceadas e falta de semântica específica para movimento, resultando em desempenho desigual entre idiomas e inconsistência na geração.

2. Metodologia

Os autores propõem uma solução composta por um novo conjunto de dados e um modelo de base inovador.

A. BiHumanML3D (Novo Benchmark)

• Construção: O dataset é uma extensão bilíngue (Inglês-Chinês) do popular HumanML3D.
• Pipeline de Anotação: Para superar as limitações da tradução automática direta, os autores desenvolveram um pipeline assistido por Grandes Modelos de Linguagem (LLMs) em três etapas:
  1. Tradução Inicial: Um LLM traduz as descrições em inglês para chinês.
  2. Refinamento: Um segundo LLM corrige artefatos como viés de gênero, traduções literais e frases não naturais.
  3. Verificação Humana: Anotadores humanos verificam e corrigem as traduções com auxílio de LLMs, garantindo fidelidade linguística e contextual.
• Resultado: O dataset final contém 13.312 movimentos com anotações bilíngues de alta qualidade, filtrando movimentos curtos ou longos demais que não oferecem sinais de treinamento confiáveis.

B. BiMD (Bilingual Motion Diffusion)

O modelo proposto é um modelo de difusão unificado projetado para gerar movimento a partir de textos em inglês ou chinês (ou mistos) com alta qualidade.

• Alinhamento Cross-Lingual (CLA - Cross-Lingual Alignment): Este é o componente central. Em vez de usar codificadores multilíngues prontos, o modelo utiliza um mecanismo de distilação de conhecimento (Knowledge Distillation).
  • Um modelo "professor" (OpenCLIP, focado em inglês) fornece embeddings robustos.
  • Um modelo "aluno" (XLM-Base, multilíngue) é ajustado (fine-tuned) para alinhar seus embeddings de chinês e inglês ao espaço semântico do professor.
  • Isso cria um espaço condicional unificado onde representações semânticas de diferentes idiomas são intercambiáveis, minimizando a distância entre eles.
• Treinamento de Difusão Bilíngue: O modelo de difusão latente (baseado no MLD) é treinado com uma estratégia onde cada movimento é aleatoriamente emparelhado com sua descrição em inglês ou chinês. Isso força o modelo a aprender padrões de movimento compartilhados, mantendo a sensibilidade a nuances específicas de cada idioma.
• Suporte a Code-Switching: Graças ao CLA, o modelo consegue interpretar entradas onde o usuário mistura idiomas (ex: "He walks in a 逆时针 circle") sem falhas semânticas.

3. Principais Contribuições

1. BiHumanML3D: O primeiro benchmark bilíngue para geração de texto-a-movimento, criado através de um pipeline rigoroso de anotação assistida por LLM e correção humana.
2. BiMD com CLA: Um modelo de difusão unificado que supera a necessidade de treinar modelos separados para cada idioma, utilizando o Alinhamento Cross-Lingual para garantir consistência semântica.
3. Validação de Abordagem: Demonstração de que o treinamento bilíngue dedicado é superior à tradução direta e que o alinhamento semântico explícito é crucial para a generalização zero-shot e para o suporte a code-switching.

4. Resultados Experimentais

Os experimentos foram conduzidos no BiHumanML3D e no HumanML3D original, comparando com modelos monolíngues e baselines de tradução.

• Desempenho Quantitativo:
  • O BiMD com CLA alcançou um FID (Fréchet Inception Distance) de 0.045 (vs. 0.169 sem CLA), indicando uma qualidade de geração muito superior e mais próxima da realidade.
  • A precisão de recuperação (R@3) atingiu 82.8% (vs. 80.8% sem CLA), superando modelos monolíngues e baselines de tradução.
  • Houve uma redução drástica na lacuna de desempenho entre inglês e chinês (de 4.4% para 0.8% em R@3), demonstrando equilíbrio linguístico.
• Generalização Zero-Shot: O modelo treinado apenas em chinês conseguiu gerar movimentos precisos a partir de prompts em inglês (nunca vistos durante o treinamento) quando equipado com CLA, algo que modelos sem alinhamento falharam em fazer.
• Estudo de Usuário: Em uma avaliação com 30 participantes, 68.1% preferiram a consistência semântica do modelo com CLA em comparação ao modelo sem CLA para pares de prompts bilíngues.
• Falhas da Tradução Direta: Experimentos mostraram que traduzir textos diretamente (usando DeepL, GPT, etc.) e treinar o modelo resultou em degradação significativa (queda de ~7% no R@3), devido à perda de detalhes corporais e estrutura temporal.

5. Significado e Impacto

Este trabalho estabelece um marco fundamental na área de geração de movimento controlada por texto. Ao introduzir o BiHumanML3D e o BiMD, os autores demonstram que:

• A tradução automática não é uma solução viável para tarefas de geração física complexa que exigem fidelidade cultural e semântica.
• O alinhamento explícito de representações semânticas entre idiomas é essencial para criar modelos robustos e inclusivos.
• A capacidade de lidar com code-switching e generalização zero-shot abre caminho para aplicações globais em animação, robótica e interação humano-computador, permitindo que sistemas de IA compreendam e gerem movimentos de forma natural em múltiplos idiomas e culturas.

O código e o dataset foram disponibilizados publicamente para fomentar pesquisas futuras em geração de movimento multilíngue.