Resumo Técnico: ViPS (Video-informed Pose Spaces)

1. O Problema

A animação de malhas 3D (meshes) depende frequentemente de rigs cinemáticos (ossos e juntas) para controlar a deformação. Embora esses rigs forneçam uma interface estruturada de baixo nível, eles carecem de uma representação inerente do espaço de poses plausíveis (a variedade de configurações de juntas que são semanticamente válidas e geometricamente corretas para um ativo específico).

Sem um "espaço de poses" bem definido:

• A amostragem estocástica ou a manipulação manual de parâmetros brutos do rig frequentemente resultam em violações semânticas e geométricas (ex: hiperextensão anatômica, auto-interseções não físicas, torções de ossos não naturais).
• Artistas precisam manualmente definir limites e acoplamentos de parâmetros para garantir deformações válidas, o que é trabalhoso e difícil de escalar.
• Existem poucos dados 4D (malhas articuladas animadas) de alta qualidade e curados por artistas para treinar modelos de aprendizado de máquina que aprendam essas distribuições de poses.

O objetivo central é: Dado um mesh 3D com um rig automático (auto-rig), podemos descobrir automaticamente seu espaço de poses plausível?

2. Metodologia

Os autores propõem o ViPS (Video-informed Pose Spaces), um modelo feed-forward universal que descobre a distribuição latente de articulações válidas para malhas com rig, sem depender de dados 4D curados.

A. Pipeline de Dados (Distilação de Priors de Vídeo)

Em vez de usar dados 3D/4D escassos, o ViPS utiliza priors de modelos de difusão de vídeo para gerar dados de treinamento. O pipeline funciona da seguinte forma:

1. Geração de Vídeo: Utiliza um modelo de geração de imagem (Flux 2) para criar imagens de objetos únicos e um modelo de vídeo (Wan 2.2) para gerar vídeos com movimentos diversos baseados em prompts gerados por um LLM (InternVL).
2. Reconstrução 4D: Utiliza o modelo ActionMesh para reconstruir uma sequência de malhas 3D texturizadas a partir do vídeo, garantindo topologia compartilhada entre os quadros.
3. Extração de Rig e Otimização:
   • Um rig é extraído do primeiro quadro (pose de repouso) usando o RigAnything.
   • Para os quadros subsequentes, os parâmetros do rig são otimizados para que a malha deformada corresponda à malha reconstruída do vídeo, minimizando a distância entre vértices e mantendo o comprimento dos ossos constante.
   • Isso gera pares $(M, S, P')$, onde $M$ é a malha, $S$ é o rig e $P'$ são os parâmetros de pose plausíveis.

B. Modelo de Aprendizado (ViPS)

O ViPS é um modelo generativo baseado em Difusão que aprende a distribuição condicional $p(P' | M, S)$.

• Arquitetura: Utiliza um Diffusion Transformer (DiT).
• Entradas:
  • Posição ruidosa dos nós do esqueleto ($P^t$).
  • Topologia do rig (arestas $E$).
  • Pose de repouso ($P$).
  • Recursos Semânticos por Nó ($F$): Extraídos da malha texturizada usando Diff3f (combinação de features DINO e de modelos de difusão 2D), agregados via pesos de skinning. Isso permite que o modelo entenda a semântica da parte do corpo (ex: "pata", "cabeça") sem rótulos manuais.
• Treinamento: O modelo é treinado para remover o ruído e prever a pose limpa, aprendendo a manifold de poses válidas diretamente dos dados gerados pelo pipeline de vídeo.

C. Amostragem e Controle

• Amostragem: Gera novas poses plausíveis a partir de um ruído inicial.
• Inversão (DDIM): Permite reconstruir uma pose específica dada pelo usuário no espaço de ruído.
• Amostragem Guiada (Constrained Sampling): Permite que usuários editem poses (ex: mover uma pata) através de handles. O modelo projeta essas edições de volta para a manifold aprendida, garantindo que a pose resultante seja anatômica e geometricamente válida (atuando como uma Inverse Kinematics automática).

3. Principais Contribuições

1. Formulação Universal: Definir a descoberta de espaço de poses como o aprendizado de uma distribuição generativa condicional sobre parâmetros de rig, capturando tanto validade quanto plausibilidade.
2. Distilação Vídeo-para-Pose: Transferir priors de movimento de modelos de difusão de vídeo para o espaço de parâmetros de rig, eliminando a necessidade de grandes repositórios de animação 3D/4D curados por artistas.
3. Novo Dataset 4D: Criação de um dataset de alta qualidade com 127k poses, abrangendo mais de 100 espécies e 200 indivíduos únicos, gerado via priors de vídeo e reconstrução 4D.
4. Operadores Práticos: Introdução de operadores de projeção, amostragem e "caminhada" no espaço de poses (pose-walk), viabilizando IK, edição restrita e animação.
5. Guia 3D para Vídeo: Demonstrar que as poses geradas servem como proxies 3D precisos para guiar a geração de vídeo, fechando o ciclo entre priors 2D e controle cinemático 3D.

4. Resultados

O ViPS foi avaliado em ativos deformáveis diversos (humanos, animais, criaturas fantásticas) e comparado com o estado da arte (SOTA):

• Generalização Zero-Shot: O modelo demonstra robusta generalização para espécies e topologias esqueléticas não vistas durante o treinamento, algo que modelos baseados em dados curados (como AnyTop) têm dificuldade em fazer sem re-treinamento ou estatísticas específicas.
• Comparação Quantitativa:
  • Em métricas de Plausibilidade (avaliação humana via Luce Spectral Ranking) e Diversidade (Fréchet Skeleton Distance - FSD), o ViPS supera significativamente variantes do AnyTop (que dependem de dados de artistas).
  • O ViPS alcança níveis de plausibilidade comparáveis ao Puppeteer (um método de otimização baseado em 30 minutos de processamento por sequência), mas opera em tempo real (segundos) e é um modelo feed-forward.
• Qualidade Visual: As poses geradas evitam artefatos comuns (como pernas atravessando o corpo ou torções impossíveis) e mantêm a coerência temporal para animação.

5. Significado e Impacto

O ViPS representa uma mudança de paradigma na animação de personagens 3D:

• Democratização da Animação: Permite que ativos com rigs automáticos (gerados por IA) sejam animados de forma plausível sem a necessidade de artistas humanos definirem manualmente os limites de movimento.
• Ponte entre 2D e 3D: Conecta a riqueza de priors de movimento de modelos de vídeo generativos (que são abundantes) ao controle estruturado e semântico de rigs 3D.
• Aplicabilidade Universal: Ao não depender de dados específicos de uma espécie, o modelo se torna uma ferramenta fundamental para animação de qualquer objeto articulável, desde humanos até criaturas fantásticas, facilitando a criação de conteúdo para jogos, cinema e metaverso.

Em resumo, o ViPS transforma rigs estáticos e brutos em variedades de poses editáveis e plausíveis, utilizando a inteligência de modelos de vídeo modernos para aprender as leis da física e da biologia do movimento diretamente de dados 2D.