Resumo Técnico: MoScale – Modelos Autoregressivos Próximo-Escala para Geração de Texto para Movimento

1. Declaração do Problema

A geração de texto para movimento visa sintetizar movimento humano que reflita fielmente descrições textuais. Embora modelos recentes (Difusão, Transformers Mascaramentados e Modelos Autoregressivos Próximo-Token) produzam dinâmicas locais realistas, eles lutam para preservar a estrutura semântica global. Especificamente, métodos existentes frequentemente falham em alinhar-se com instruções textuais complexas envolvendo contagens de repetição (por exemplo, "dois polichinelos") ou padrões de ação sequenciais (por exemplo, "vire-se, pegue coisas e vire-se novamente").

Os autores identificam duas causas primárias para essa limitação:

1. Modelos de Difusão e Mascaramentados: Estes modelos geram sequências de resolução completa sem ordem causal, dependendo de refinamento bidirecional. Inferir semântica global em uma única etapa de previsão não direcionada é inerentemente difícil, e o refinamento subsequente aplica principalmente coerência local em vez de alterar a estrutura global estabelecida no rascunho inicial.
2. Modelos Autoregressivos (AR) Próximo-Token: Embora bem-sucedidos na modelagem de linguagem, o AR próximo-token tem desempenho inferior na geração de movimento. O movimento humano exibe dinâmicas de curto prazo altamente previsíveis, permitindo que modelos AR minimizem a perda explorando a previsibilidade de curto horizonte em vez de aprender estruturas temporais globais. Além disso, codificadores de convolução temporal na tokenização de movimento amplificam correlações locais, tornando o raciocínio de longo alcance menos necessário para o modelo, resultando em movimento coerente localmente, mas desalinhado globalmente.

2. Metodologia: MoScale

O artigo propõe o MoScale, um framework Autoregressivo Próximo-Escala que substitui a previsão padrão de próximo-token por uma hierarquia causal de grosso para fino.

2.1 Representação Hierárquica de Movimento

O MoScale utiliza um Residual VQ-VAE para codificar sequências de movimento em $K$ escalas de tokens discretos.

• Escalas Grossas: Codificam a estrutura global.
• Escalas Finas: Representam detalhes residuais não capturados pelos níveis anteriores.
• Tokenização: Dado um movimento de entrada $m$, um codificador produz características latentes. Estas são subamostradas para diferentes resoluções temporais ($L_1, \dots, L_K$). Em cada escala $k$, a característica alvo é o resíduo das características originais menos a reconstrução acumulada das escalas anteriores. Este resíduo é quantizado usando um livro de códigos compartilhado para produzir tokens discretos $z_k$.

2.2 Geração Autoregressiva Próximo-Escala

Em vez de prever um token de cada vez, o modelo prevê um grupo inteiro de tokens $z_k$ para uma escala específica, condicionado a:

1. As escalas mais grossas previamente geradas ($z_1, \dots, z_{k-1}$).
2. O embedding de texto (derivado de um codificador T5 pré-treinado).

A arquitetura emprega um Transformer causal com mascaramento causal por escala na atenção auto para prevenir vazamento de informações de escalas mais finas para escalas mais grossas, garantindo uma causalidade hierárquica estrita. A atenção cruzada atende aos embeddings de texto brutos para manter orientação semântica consistente.

2.3 Estratégias de Refinamento

Para abordar a escassez de dados e a propagação de erros, o MoScale introduz dois mecanismos de refinamento:

• Refinamento Hierárquico Cruzado-Escala:

  • Problema: O AR próximo-escala padrão usa forçamento de professor com entradas limpas de verdade absoluta, falhando em aprender a recuperar-se de previsões imperfeitas de escala mais grossa durante a inferência.
  • Solução: Durante o treinamento, o modelo introduz perturbações nos tokens da escala mais grossa ($k-1$) substituindo aleatoriamente um subconjunto de tokens por entradas aleatórias do livro de códigos. O modelo na escala $k$ é então treinado para prever o resíduo com base nesta entrada corrompida. Isso força o modelo a aprender refinamentos adaptativos e corrigir erros propagados de estágios anteriores, reduzindo o viés de exposição.

• Refinamento Temporal Intra-Escala:

  • Problema: Conjuntos de dados de texto-movimento são pequenos comparados a corpora de linguagem.
  • Solução: Dentro de cada escala, o modelo emprega uma estratégia de mascaramento e repredição seletiva. Usando atenção bidirecional (disponível dentro de uma única escala), o modelo identifica tokens de baixa confiança, mascara-os e os reprediz iterativamente. Isso mimetiza o refinamento iterativo estilo difusão, mas opera dentro do framework AR causal, melhorando a coerência temporal local e a fidelidade sem perturbar a estrutura global de grosso para fino.

3. Contribuições Principais

1. Framework AR Próximo-Escala: Introduz uma estrutura causal hierárquica para geração de movimento que supera as limitações do AR próximo-token (atalhos de curto horizonte) e os problemas de alinhamento global de modelos de difusão/mascaramentados.
2. Mecanismos de Refinamento: Propõe Refinamento Hierárquico Cruzado-Escala para lidar com propagação de erros e dados limitados, e Refinamento Temporal Intra-Escala para aprimorar a coerência local usando contexto bidirecional dentro das escalas.
3. Desempenho Estado-da-Arte: Demonstra que o MoScale alcança desempenho SOTA em benchmarks padrão enquanto mantém alta eficiência de treinamento.
4. Generalização Zero-Shot: Mostra a capacidade do framework de generalizar para tarefas diversas (inpainting, outpainting, edição, geração contínua) sem ajuste fino específico de tarefa.

4. Resultados Experimentais

O modelo foi avaliado nos conjuntos de dados HumanML3D e KIT-ML.

• Desempenho Quantitativo: O MoScale supera as bases de referência existentes de AR Próximo-Token, Difusão e Transformer Mascaramentado.
  • No HumanML3D, alcança a melhor R-Precisão (Top-1: 0.540) e MM-Dist (2.830), com FID competitivo (0.046).
  • Escala efetivamente com o tamanho do modelo (de 4 a 18 escalas/passos).
• Desempenho Qualitativo: Visualizações mostram que o MoScale captura com sucesso semântica de alta granularidade (por exemplo, contagens de repetição específicas e sequências complexas) onde as bases de referência falham.
• Análise de Complexidade: O MoScale mostra os maiores ganhos relativos sobre as bases de referência em descrições textuais de alta complexidade, validando a eficácia do design hierárquico para instruções semânticas complexas.
• Eficiência: O MoScale treina mais rápido que modelos de difusão e transformers mascaramentados comparáveis. A inferência é eficiente (0.28s para o modelo completo, 0.08s para configuração mínima), significativamente mais rápida que métodos baseados em difusão (por exemplo, MotionDiffuse em 7.12s).
• Estudos com Usuários: Usuários preferem o MoScale sobre as bases de referência tanto para alinhamento de texto (71.5% dos votos) quanto para qualidade de movimento (73.3% dos votos). Em tarefas de edição zero-shot, recebe as maiores pontuações de preferência para qualidade de movimento, alinhamento de texto e consistência.

5. Significado e Alegações

O artigo alega que a causalidade hierárquica é o principal motor do alinhamento de texto aprimorado. Ao estabelecer um andaime semântico global na escala mais grossa e refiná-lo progressivamente, o MoScale evita o "atalho de curto horizonte" do AR próximo-token e a "instabilidade de estrutura global" dos modelos de refinamento bidirecional.

Os autores enfatizam que:

• O caminho de previsão hierárquico é o fator dominante na captura de pistas textuais detalhadas, superando o refinamento iterativo bidirecional isoladamente.
• O refinamento temporal contribui principalmente para suavidade e consistência locais, mas desempenha um papel secundário no alinhamento global de texto.
• O framework é robusto em regimes de dados limitados, aproveitando a perturbação cruzada-escala para simular diversos estados intermediários.
• O MoScale fornece uma abordagem unificada para tarefas condicionais (texto-para-movimento) e incondicionais (edição, inpainting) via sua estratégia de mascaramento e repredição, preservando efetivamente regiões não editadas.

O trabalho sugere que integrar benefícios estilo difusão (refinamento iterativo, contexto bidirecional) dentro de um framework autoregressivo causal e hierárquico oferece um equilíbrio superior de eficiência de treinamento, alinhamento semântico global e qualidade de movimento local para geração de texto para movimento.