Resumo Técnico: Rigel3D

Declaração do Problema

Avanços recentes em modelos generativos 3D permitiram a síntese de ativos estáticos de alta qualidade a partir de imagens, texto e distribuições latentes. No entanto, uma limitação crítica persiste: essas saídas carecem de rigs esqueléticos, hierarquias de juntas e pesos de skinning necessários para pipelines de animação padrão. Consequentemente, malhas geradas frequentemente exigem pós-processamento substancial para se tornarem "prontas para animação" para uso em jogos, cinema, simulação e IA corporificada.

Métodos automáticos de rigging existentes (por exemplo, Pinocchio, RigNet, TARig e abordagens recentes sem modelo) tentam preencher essa lacuna prevendo esqueletos e pesos de skinning para formas estáticas completas. O artigo argumenta que essa abordagem post-hoc é fundamentalmente limitante. Como a geometria, topologia e estrutura de partes das saídas generativas frequentemente diferem significativamente da distribuição de treinamento de riggers subsequentes, tratar o rigging como uma etapa separada após a geração da forma leva a inconsistências. O desafio central é gerar geometria e estrutura de rig conjuntamente, apesar de sua natureza heterogênea: a geometria de superfície é densa e local, enquanto os esqueletos são esparsos, hierárquicos e internos. Além disso, fluxos de trabalho práticos de animação exigem rótulos semânticos de juntas para reorientação de movimento, o que geradores sem modelo geralmente falham em fornecer.

Metodologia

Os autores introduzem o Rigel3D, um framework generativo que produz ativos 3D prontos para animação (malhas, esqueletos, pesos de skinning e rótulos de juntas) de forma end-to-end. O método estende a representação Structured LATent (SLAT) do TRELLIS aprendendo dois conjuntos latentes acoplados:

1. Surface SLats: Capturam geometria e aparência.
2. Skeleton SLats: Capturam a estrutura de articulação interna.

1. Autoencoder Consciente de Rig

O núcleo do sistema é um autoencoder consciente de rig que mapeia malhas rigadas para essas representações latentes acopladas e as decodifica de volta em um ativo completo.

• Codificadores:
  • Codificador de Superfície: Adapta o codificador de superfície do TRELLIS, voxelizando a malha de entrada e agregando características DINOv2 de múltiplas visões para produzir Surface SLats.
  • Codificador de Rig: Constrói características de ossos por média ponderada pelos pesos de skinning das características DINOv2 dos vértices influenciados por cada osso. Essas características são rasterizadas na grade de voxel e processadas por um codificador esparsos separado para produzir Skeleton SLats.
• Decodificadores:
  • Decodificador de Malha: Estende o decodificador do TRELLIS para prever parâmetros FlexiCubes. Crucialmente, incorpora atenção cruzada de tokens de superfície para tokens de esqueleto, condicionando a reconstrução de superfície à estrutura de rig interna.
  • Decodificador de Esqueleto: Utiliza um transformador autoregressivo para decodificar a topologia do esqueleto. Representa esqueletos como sequências de tokens discretos (coordenadas de juntas e índices de pai) em ordem de busca em largura (breadth-first-search). A geração é condicionada tanto em Surface quanto em Skeleton SLats via atenção cruzada.
  • Decodificador de Peso de Skinning: Um módulo baseado em atenção que prevê pesos de skinning calculando similaridade ponto-osso. Incorpora pontos da malha e coordenadas de ossos em um espaço compartilhado, refinando-os através de autoatenção e atenção cruzada para as representações latentes. Isso permite que o modelo lide com esqueletos com números variáveis de ossos.

2. Geração de Ativos Prontos para Animação

Para gerar ativos a partir de imagens, o Rigel3D emprega um modelo generativo latente de dois estágios (inspirado no TRELLIS) aplicado tanto a Surface quanto a Skeleton SLats:

• Estágio I (Ocupação): Um transformador de fluxo retificado gera a grade esparsa de ocupação de voxel (quais voxels estão ativos) condicionado em características de imagem de entrada.
• Estágio II (Códigos Latentes): Um segundo transformador de fluxo gera os códigos latentes locais anexados aos voxels ativos.
  As representações latentes resultantes ($Z_{surf}$ e $Z_{skel}$) são passadas para os respectivos decodificadores para sintetizar a malha, o esqueleto e os pesos de skinning simultaneamente.

3. Rotulagem de Juntas de Vocabulário Aberto

Para suportar reorientação de movimento, o artigo introduz um módulo que atribui rótulos semânticos às juntas geradas.

• Em vez de um classificador de conjunto fechado, o modelo incorpora juntas geradas em um espaço visão-linguagem compartilhado (usando um codificador de texto OpenCLIP congelado).
• Utiliza um transformador autoregressivo que condiciona em coordenadas de juntas, hierarquia e incorporações de rótulos anteriores para prever incorporações de juntas.
• Isso permite que rigs gerados sejam correspondidos a conjuntos arbitrários de rótulos candidatos (por exemplo, modelos específicos de reorientação) via recuperação de vizinho mais próximo, desacoplando a geração de rig de um vocabulário fixo.

Contribuições Principais

1. Framework Rigel3D: Um método generativo end-to-end para criar ativos 3D prontos para animação, produzindo malhas, aparência opcional, esqueletos e pesos de skinning conjuntamente, em vez de sequencialmente.
2. Representações Latentes Acopladas: Um autoencoder consciente de rig utilizando Surface e Skeleton SLats acoplados, apresentando um decodificador de malha condicionado ao esqueleto, um decodificador de esqueleto autoregressivo e um decodificador de skinning baseado em atenção.
3. Rotulagem de Vocabulário Aberto: Um módulo inovador que permite reorientação de movimento ao corresponder juntas geradas a rótulos de texto em um espaço visão-linguagem compartilhado, suportando modelos arbitrários sem retreinamento.
4. Desempenho State-of-the-Art: Demonstrou desempenho superior sobre bases de comparação de auto-rigging existentes (Anymate, Puppeteer) e métodos de geração concorrentes (AniGen) em múltiplas métricas em conjuntos de dados de ativos rigados em grande escala.

Resultados e Avaliação

O método foi avaliado nos conjuntos de dados Anymate e ModelsResource.

• Desempenho Quantitativo: O Rigel3D superou as bases de comparação (Anymate, Puppeteer) em métricas de esqueleto (J2J, J2B, B2B) e métricas de skinning ($\ell_1$, $\ell_2$, divergência KL). Notavelmente, mostrou ganhos significativos na estrutura em nível de osso (B2B) e alinhamento da distribuição de skinning (KL).
• Comparação com AniGen: Quando comparado ao método concorrente AniGen, o Rigel3D alcançou melhorias substanciais na precisão do esqueleto (por exemplo, uma redução relativa de 32,8% em J2J no ArticulationXL) enquanto permaneceu competitivo na previsão de skinning.
• Resultados Qualitativos: Comparações visuais demonstraram que o Rigel3D produz posicionamento de juntas mais preciso, conectividade coerente e transições de skinning mais suaves em comparação com métodos de rigging post-hoc.
• Precisão de Rotulagem: O módulo de rotulagem de vocabulário aberto alcançou alta precisão Top-1 e Top-3 na atribuição de rótulos semânticos às juntas, superando variantes não autoregressivas.

Significado

O artigo afirma que o Rigel3D reduz a lacuna entre a geração 3D estática e fluxos de trabalho de animação baseados em rig. Ao modelar conjuntamente a geometria interdependente e a estrutura de rig, o método evita incompatibilidades distribucionais inerentes ao rigging post-hoc. A introdução de rotulagem de juntas de vocabulário aberto aprimora ainda mais a utilidade prática ao permitir compatibilidade direta com pipelines diversos de reorientação de movimento subsequentes. Os autores posicionam este trabalho como um passo em direção à criação totalmente automatizada e pronta para produção de ativos 3D, onde a saída não é apenas uma forma estática, mas uma entidade totalmente rigada e animável.

Limitações

Os autores reconhecem várias limitações:

• Rigs gerados podem ainda conter juntas ausentes, ramificações espúrias ou conectividade imperfeita.
• Deformações de skinning podem ser menos naturais sob poses extremas, pois o modelo não é supervisionado por longas sequências de movimento.
• Rótulos de vocabulário aberto podem ser ambíguos para estruturas repetidas (por exemplo, dedos, caudas).
• O método herda limitações da geração 3D condicionada a imagem, como sensibilidade a visões de entrada ambíguas ou ocluídas.