MoLingo: Motion-Language Alignment for Text-to-Motion Generation

Título: MoLingo: Alinhamento Movimento-Linguagem para Geração de Movimento Humano a partir de Texto

1. O Problema

A geração de movimento humano realista e alinhado semanticamente a partir de descrições textuais é fundamental para animação por computador, realidade aumentada/virtual (AR/VR) e agentes robóticos. Embora modelos recentes baseados em difusão tenham melhorado significativamente a qualidade, existem desafios persistentes:

• Espaços Latentes Desalinhados: Muitos métodos codificam movimentos em espaços latentes que não capturam bem a semântica do texto, dificultando o controle preciso da geração.
• Condicionamento de Texto Ineficiente: Abordagens comuns utilizam um único token de texto para condicionar o modelo, o que muitas vezes não é expressivo o suficiente para descrever ações complexas e sequenciais.
• Artefatos e Ruído: A difusão direta no espaço de poses (frames) pode preservar ruídos de captura de movimento (mocap), gerando artefatos.
• Perda de Detalhes Temporais: Codificar sequências inteiras em um único vetor latente pode levar à perda de detalhes temporais finos e nuances de movimento.

2. Metodologia

O MoLingo propõe um modelo de geração de movimento baseado em difusão em espaço latente contínuo, utilizando um fluxo retificado (rectified flow) e geração auto-regressiva mascarada. A arquitetura é dividida em duas etapas principais:

A. Codificação Semântica Alinhada (SAE - Semantically Aligned Autoencoder)

• Objetivo: Criar um espaço latente onde vetores com significados textuais semelhantes estejam próximos geometricamente.
• Mecanismo: O modelo utiliza um autoencoder contínuo (VAE ou SAE) que mapeia sequências de movimento para latentes.
• Alinhamento Semântico: Para o SAE, o modelo é treinado com rótulos textuais em nível de quadro (frame-level) provenientes do dataset BABEL.
  • Os rótulos de texto correspondentes a cada latente de movimento são codificados por um encoder de texto congelado (T5).
  • Uma perda de similaridade cosseno ($L_{sem}$) é aplicada para forçar a proximidade entre o latente de movimento e o seu "token de classe" textual correspondente.
  • Filtragem de Repetição: Para evitar que latentes consecutivos colapsem para o mesmo token devido a anotações repetitivas, o modelo calcula a similaridade entre tokens consecutivos e descarta aqueles que excedem um limiar ($\tau$), atuando como um regularizador suave.

B. Geração Auto-Regessiva com Fluxo Retificado e Cross-Attention

• Processo de Geração: Em vez de gerar o movimento inteiro de uma vez, o modelo gera latentes de movimento de forma auto-regressiva (token a token).
• Condicionamento Multi-Token: Diferente de métodos que usam um único token de texto, o MoLingo utiliza múltiplos tokens de texto com um mecanismo de Cross-Attention.
  • O texto é processado por um encoder T5-Large e adaptado por um "Text Adapter".
  • No modelo Transformer gerador, os latentes de movimento atuam como queries e os tokens de texto como keys e values. Isso permite que o modelo "veja" toda a descrição textual ao gerar cada parte do movimento, melhorando o alinhamento.
• Fluxo Retificado (Rectified Flow): O modelo utiliza um objetivo baseado em fluxo retificado para denoising no espaço contínuo, evitando erros de quantização comuns em métodos baseados em VQ (Vector Quantization) e garantindo trajetórias de geração mais diretas e estáveis.

3. Principais Contribuições

1. MoLingo: Um novo estado da arte (SOTA) em geração de movimento humano, combinando espaço latente contínuo, geração auto-regressiva e alinhamento semântico.
2. Espaço Latente Semântico Alinhado (SAE): Demonstração de que alinhar latentes de movimento com embeddings de texto durante o treinamento do autoencoder melhora drasticamente a fidelidade às instruções textuais sem sacrificar a qualidade do movimento.
3. Condicionamento por Cross-Attention Multi-Token: Evidência experimental de que usar múltiplos tokens de texto com atenção cruzada é superior ao condicionamento de um único token, resultando em movimentos mais realistas e precisos.
4. Desempenho Superior: O modelo supera métodos anteriores em métricas padrão (FID, R-Precision, CLIP-Score) e em estudos com usuários, especialmente em movimentos complexos como danças e acrobacias.

4. Resultados

Os resultados foram avaliados no dataset HumanML3D utilizando múltiplos protocolos de avaliação (MARDM-67, MS-272 e TMR-263).

• Métricas Quantitativas (MARDM-67):
  • FID (Fréchet Inception Distance): O MoLingo (SAE) alcançou 0.066 (e 0.049 na variante VAE), superando significativamente o estado da arte anterior (ex: ACMDM-XL com 0.058, DisCoRD com 0.053). Um FID menor indica maior realismo e diversidade.
  • R-Precision (Top-1): O modelo alcançou 0.544 (SAE) e 0.528 (VAE), superando todos os concorrentes diretos, indicando um alinhamento texto-movimento superior.
  • CLIP-Score: Também atingiu os melhores resultados, confirmando a fidelidade semântica.
• Estudo com Usuários:
  • Em uma comparação cega com 15 participantes, os usuários preferiram o MoLingo em 84.70% dos casos contra o MotionStreamer, 83.75% contra o DisCoRD e 77.70% contra o MoMask.
• Aplicação em Robótica:
  • O movimento gerado foi transferido com sucesso para um controlador de rastreamento por RL (Reinforcement Learning) em um robô humanoide (Unitree G1), demonstrando interações pé-chão fisicamente plausíveis e estáveis, superando artefatos de equilíbrio observados em outros métodos.

5. Significância e Impacto

O MoLingo representa um avanço significativo na área de síntese de movimento humano por duas razões principais:

1. Qualidade e Controle: Resolve o dilema entre gerar movimentos realistas e seguir instruções textuais complexas. A abordagem de "alinhamento semântico" no espaço latente prova ser crucial para que o modelo entenda a intenção do usuário, não apenas a forma do movimento.
2. Arquitetura Híbrida Eficiente: Ao combinar a eficiência da geração auto-regressiva com a qualidade da difusão em espaço contínuo e a riqueza semântica do Cross-Attention, o MoLingo estabelece um novo padrão para futuras pesquisas em geração multimodal.

O código e os modelos serão disponibilizados publicamente, facilitando a pesquisa futura e aplicações em downstream, como animação de personagens e controle de robôs.