Beyond MoCap: Scaling Motion Tokenizers with Synthetic Human Motion for Generative Modeling

Resumo Técnico: Além do MoCap: Escalando Tokenizadores de Movimento com Movimento Humano Sintético para Modelagem Generativa

Declaração do Problema
Os atuais modelos de geração de movimento humano, particularmente aqueles que dependem de representações latentes discretas (por exemplo, tokenizadores VQ-VAE acoplados a transformers autorregressivos como o MotionGPT), são fundamentalmente limitados pela diversidade restrita dos conjuntos de dados de captura de movimento (MoCap) existentes. Conjuntos de dados como Human3.6M e AMASS são dominados por ações comuns e repetitivas (ex: caminhar, sentar), resultando em um "vocabulário de movimento restrito" dentro do espaço latente aprendido. Consequentemente, esses modelos falham em generalizar para movimentos raros, complexos ou altamente dinâmicos (a "cauda longa" do movimento), como acrobacias ou performances estilizadas. Os autores argumentam que simplesmente escalar a arquitetura do modelo ou o tempo de treinamento não pode superar esse gargalo; a limitação primária reside no suporte da própria representação de movimento aprendida.

Metodologia
O artigo propõe um framework que escala conjuntamente a distribuição de dados de movimento e a capacidade do tokenizador de movimento. A abordagem consiste em dois componentes principais:

1. Pipeline de Geração de Movimento Sintético Escalável:

   • Síntese de Pose: Inspirado em algoritos genéticos, o pipeline realiza uma exploração estocástica estruturada do espaço de pose. Ele representa poses como árvores cinemáticas enraizadas na pelve, utilizando coordenadas esféricas para as orientações dos ossos. Através de crossover (troca de subárvores de raízes de membros entre poses pai) e mutação (perturbação das orientações dos ossos com ruído Gaussiano), o sistema gera poses diversas.
   • Filtragem Física: Para garantir a validade anatômica, as poses geradas são filtradas usando um prior de pose dinâmica (Akhter e Black [2015]), que restringe os ângulos das articulações a intervalos viáveis. Apenas poses com pontuações de validade iguais ou superiores às de seus pais são retidas.
   • Conversão de Pose-para-Movimento: Poses válidas são convertidas em sequências de movimento via interpolação esférica. Um modelo de recuperação leve baseado em Transformer é então usado para prever e recuperar trajetórias de raiz global (orientação e translação) a partir das características do corpo, garantindo que as sequências de movimento sejam fisicamente plausíveis e temporalmente coerentes.
   • Escala de Dados: O pipeline gera aproximadamente 64× movimentos sintéticos adicionais baseados no conjunto de dados HumanML3D, expandindo significativamente a cobertura do espaço de movimento, particularmente em regiões sub-representadas.

2. Tokenizador VQ-VAE Aumentado:

   • Escalonamento do Codebook: Reconhecendo que um codebook de tamanho fixo (ex: ~512 entradas) é insuficiente para a expansão da distribuição, os autores aumentam o tamanho do codebook ($K$) para 2048.
   • Treinamento Conjunto: O tokenizador é treinado em uma mistura de dados reais e sintéticos ($D = (1-\lambda)D_{real} + \lambda D_{syn}$). Os autores empregam uma proporção de mistura (especificamente 1:2 de real para sintético) para equilibrar a fidelidade in-distribution com a generalização out-of-distribution.
   • Estratégias de Estabilidade: Para evitar o colapso do codebook com o vocabulário ampliado, o treinamento utiliza atualizações de média móvel exponencial (EMA) e resets periódicos do codebook.

3. Adaptação a Modelos de Downstream:

   • O tokenizador melhorado é integrado em frameworks de geração de movimento autorregressivos existentes (ex: T2M-GPT, MotionGPT, MotionAgent) sem alterar suas arquiteturas. Os modelos são ajustados (fine-tuning) re-tokenizando os dados de treinamento com o novo tokenizador aumentado, mantendo os pares texto-movimento originais inalterados.

Principais Contribuições

• Identificação do Gargalo: Este trabalho identifica o suporte limitado dos tokenizadores de movimento, induzido pelo estreito MoCap, como um gargalo crítico na geração de movimento moderna, em vez de apenas um problema de arquitetura de modelo.
• Escalonamento Conjunto: Demonstra que melhorar a geração requer a expansão conjunta da distribuição de dados de treinamento e da capacidade do token, em vez de apenas escalar o tamanho do modelo.
• Pipeline Sintético: A introdução de um pipeline escalável que gera movimentos diversos e fisicamente plausíveis, cobrindo a cauda longa do espaço de movimento.
• Tokenizador Aumentado: O desenvolvimento de um tokenizador VQ-VAE com um codebook expandido que se adapta à distribuição sintética, alcançando maior utilização de codebook e um vocabulário de movimento mais rico.
• Melhoria Independente de Arquitetura: O método fornece uma receita prática para atualizar modelos existentes de tokens discretos, produzindo melhorias consistentes em diferentes backbones sem mudanças arquiteturais.

Resultados
Experimentos extensivos no HumanML3D (in-distribution) e Motion-X++ (out-of-distribution) demonstram a eficácia da abordagem:

• Desempenho do Tokenizador: No HumanML3D (in-distribution), o FID de reconstrução melhorou em 42,4% (caindo de 0,132 para 0,076). No dataset não visto Motion-X++, o tokenizador mostrou ganhos significativos de generalização, com reduções de MPJPE em vários subconjuntos (ex: uma redução de 12,4% no subconjunto "Sports").
• Desempenho Generativo: Quando aplicado a modelos de downstream, o tokenizador aumentado consistentemente melhorou a fidelidade do movimento (FID). Por exemplo, o FID do T2M-GPT melhorou 16,4%, o do MotionGPT 24,1% e o do MotionAgent 20,0%.
• Melhorias Qualitativas: Os modelos demonstraram uma capacidade aprimorada de sintetizar movimentos complexos e raros (ex: flares de breakdance, poses de yoga, kung fu) que eram anteriormente mal representados ou impossíveis de gerar com tokenizadores padrão.
• Estudos de Ablação: Experimentos confirmaram que um tamanho de codebook de 2048 oferece um equilíbrio ideal entre qualidade de reconstrução e utilização de codebook. Além disso, uma proporção de mistura de 1:2 (real:sintético) foi considerada a que proporciona o melhor compromisso entre fidelidade in-distribution e generalização out-of-distribution.

Significância e Alegações
O artigo alega que o principal gargalo na síntese de movimento humano não é a arquitetura do modelo generativo, mas o espaço de tokens restrito derivado de dados limitados. Ao escalar o movimento sintético em conjunto com o aprendizado de representação, os autores oferecem um "caminho principado" para uma síntese de movimento mais expressiva, controlável e generalizável. O trabalho sugere que o campo deve ir além da dependência exclusiva de conjuntos de dados MoCap curados e abraçar a expansão de dados sintéticos para desbloquear todo o potencial dos modelos de movimento generativos. Os autores observam limitações, especificamente que o pipeline atual foca no movimento corporal (excluindo dinâmica fina de mãos/face) e ainda não pareia movimentos sintéticos com anotações de texto, embora postulem que adicionar rótulos de texto no futuro poderia aumentar ainda mais o alinhamento semântico.