Resumo Técnico: ARDY – Difusão Autorregressiva com Representação Híbrida para Geração de Movimento Humano Interativo

Definição do Problema

Gerar movimentos humanos 3D realistas em tempo real para aplicações interativas (ex: animação de personagens, simulação, robótica humanoide) apresenta um desafio significativo ao equilibrar controlabilidade com velocidade de inferência.

• Modelos offline (ex: difusão ou modelagem mascarada) oferecem alta fidelidade e controle preciso via comandos de texto e restrições cinemáticas, mas sofrem com tempos de inferência lentos devido à geração paralela de sequências longas, tornando-os inadequados para ambientes interativos.
• Modelos online/autorregressivos permitem a síntese em tempo real, mas frequentemente sacrificam a controlabilidade. Muitos carecem de suporte para semântica de texto complexa, têm dificuldade com objetivos de longo horizonte devido a janelas de contexto limitadas ou exigem otimização dispendiosa em tempo de teste e políticas de aprendizado por reforço (RL) para satisfazer restrições cinemáticas.

Métodos existentes geralmente falham em suportar simultaneamente o comando de texto online, restrições cinemáticas flexíveis de longo horizonte (como pontos de passagem da raiz, keyframes de corpo inteiro e posições esparsas de articulações) e a geração em tempo real sem módulos de controle auxiliares.

Metodologia: ARDY

Os autores propõem o ARDY, um framework de geração de fluxo (streaming) que preenche a lacuna entre a fidelidade offline e a interatividade online. O sistema compreende dois componentes primários:

1. Representação de Movimento Híbrida

Para equilibrar a compacidade representacional com o controle preciso, o ARDY desacopla o movimento em:

• Características Explícitas da Raiz: A trajetória da raiz (posição global e direção) é representada explicitamente em coordenadas globais. Isso permite a sobreposição direta das características da raiz para satisfazer restrições espaciais (ex: pontos de passagem, caminhos) sem acumular erros de integração.
• Embedding de Corpo Latente: O movimento do corpo é codificado em um espaço latente compacto usando um tokenizador de movimento aprendido. Este tokenizador utiliza um autoencoder condicional assimétrico (usando transformers causais) para comprimir características explícitas de corpo de alta dimensão em tokens latentes. O tokenizador utiliza Quantização Escalar Finita (FSQ) para estabilidade e inclui uma conversão global-para-local da raiz no decodificador para mitigar o deslizamento dos pés (foot skating).

2. Modelo de Difusão Autorregressivo de Dois Estágios

O ARDY utiliza um denoiser baseado em transformer que opera de maneira autorregressiva, prevendo uma janela curta de tokens de movimento futuros condicionada ao histórico e aos objetivos.

• Condicionamento de Entrada: O modelo aceita contextos de histórico de comprimento variável (até 8 segundos) e objetivos espaciais que podem ser esparsos e estender-se além da janela de predição atual (objetivos de longo horizonte). As restrições são representadas como sequências de movimento mascaradas injetadas na entrada.
• Arquitetura Intercalada de Dois Estágios: O denoiser emprega um processo de dois estágios dentro do loop de difusão:
  1. Estágio 1: Prediz o movimento da raiz global explícito limpo.
  2. Estágio 2: Condiciona-se no movimento da raiz predito para prever os tokens de corpo latentes limpos.
     Essa decomposição permite que o modelo satisfaça instruções de texto e restrições cinemáticas simultaneamente, mantendo alta fidelidade de movimento. Os estágios operam de maneira intercalada, garantindo influência mútua contínua entre o movimento da raiz e do corpo.

3. Treinamento e Inferência

• Treinamento: O modelo é treinado em um conjunto de dados de grande escala e alta fidelidade (Bones Rigplay, ~700 horas) e no dataset público HumanML3D. Ele aprende a gerar movimento condicionado a rótulos de texto e restrições cinemáticas amostradas diretamente de poses de verdade fundamental (ground-truth), eliminando a necessidade de módulos de controle adicionais como políticas de RL.
• Inferência: O ARDY opera via um mecanismo de replanejamento sensível à latência. Quando novos inputs do usuário (texto ou restrições) chegam, o sistema dispara um replanejamento, utilizando um buffer de frames já gerados como histórico para garantir transições suaves e ocultar a latência de inferência.

Principais Contribuições

1. Representação Híbrida de Corpo Latente-Raiz Explícita: Uma representação inovadora que permite a geração de movimento rápida e controlável, separando o controle preciso da raiz da aprendizagem generativa eficiente do movimento do corpo.
2. Modelo de Difusão Autorregressivo de Dois Estágios: Um modelo que apresenta contexto de histórico de comprimento variável e suporte para restrições cinemáticas de longo horizonte (keyframes de corpo inteiro, pontos de passagem da raiz, caminhos, posições/rotações de efetuadores finais) sem exigir otimização em tempo de teste ou RL.
3. Avaliação Abrangente: Validação no dataset de grande escala Bones Rigplay e no benchmark HumanML3D, demonstrando alta qualidade de movimento e adesão às restrições. O artigo inclui uma demonstração interativa em tempo real que suporta controle dinâmico por texto, seguimento de caminho e locomoção via teclado/mouse.

Resultados

• Desempenho: O eficiente modelo de difusão de 4 passos alcança uma latência média de geração de 33 ms em uma RTX 4090, permitindo interatividade em tempo real.
• Qualidade e Controle: No benchmark HumanML3D, o ARDY alcança um seguimento de texto (R-precision) e qualidade de movimento (FID) competitivos em relação aos modelos offline de última geração, enquanto supera significativamente estes em adesão a restrições (menores erros de posição de articulação) sem otimização em tempo de teste.
• Comparação com Baselines Autorregressivos: Comparado ao modelo autorregressivo DiP, o ARDY demonstra desempenho superior tanto em cenários de objetivo dentro do horizonte quanto fora do horizonte. Especificamente, o ARDY mantém alta precisão para objetivos de longo horizonte (ex: alcançar um alvo 10 segundos no futuro), enquanto o desempenho do DiP degrada significativamente.
• Estudos de Ablação: Experimentos confirmam que a representação híbrida, a conversão de raiz global-para-local e a arquitetura de denoiser de dois estágios são críticas para reduzir o deslizamento dos pés e melhorar a precisão do controle espacial.

Significância e Alegações

O artigo afirma que o ARDY consegue unir a lacuna entre a geração de movimento offline e online, oferecendo um sistema que é controlável, responsivo e de alta fidelidade. Ao aprender nativamente a geração condicional a partir de dados de grande escala, o ARDY elimina a necessidade de módulos de controle auxiliares caros (como RL ou otimização em tempo de teste) tipicamente exigidos para a satisfação de restrições interativas. Os autores posicionam o ARDY como um passo fundamental em direção a sistemas de animação interativa de próxima geração, capazes de lidar com instruções de usuário complexas e de longo horizonte em tempo real.

Os autores reconhecem limitações, observando que o modelo atual é puramente cinemático (carecendo de consciência de dinâmica física), o que pode causar artefatos como o deslizamento dos pés, e que o mecanismo de histórico autorregressivo pode ser ineficiente para horizontes extremamente longos. Sugere-se que trabalhos futuros integrem modelagem física e explorem representações de memória mais eficientes.