Resumo Técnico: SAMoR – Modelagem de Movimento para Objetos Articulados de Qualquer Esqueleto e Topologia

1. Definição do Problema

Modelar o movimento de objetos articulados com topologias de esqueleto arbitrárias (ex: humanos, quadrúpedes, aves, insetos e estruturas mecânicas) continua sendo um desafio significativo. Os geradores de movimento de última geração existentes, particularmente os sistemas de texto-para-movimento, estão tipicamente vinculados a um esqueleto humano fixo (ex: SMPL) com uma contagem, ordem e conectividade de juntas específicas. Embora existam extensões para categorias animais, elas geralmente assumem uma topologia predefinida.

Abordagens de topologia cruzada surgiram, mas enfrentam limitações:

• Abordagens de token único (K=1): Colapsam detalhes distintos de movimento em uma representação global, perdendo a dinâmica de membros e apêndices.
• Abordagens por junta (K=J): Tratam cada junta de forma independente, impedindo o compartilhamento de um vocabulário de movimento discreto entre rigs com diferentes contagens de juntas.
• Falta de Vocabulário Compartilhado: Não existe um codebook de movimento discreto de tamanho fixo que possa ser reutilizado em esqueletos heterogêneos para tarefas como transferência de movimento ou geração baseada em tokens.

A dificuldade central reside no fato de que, embora o movimento ao nível da junta não corresponda de forma limpa entre espécies (devido às diferentes contagens de juntas e conectividade), grupos funcionais de juntas (ex: um braço humano, uma pata dianteira de um lobo e uma asa de um pássaro) compartilham estruturas semânticas de movimento.

2. Metodologia: SAMoR

Os autores propõem o SAMoR (Skeleton-Aware Motion Representation for Articulated Objects), uma representação de movimento de topologia cruzada que codifica segmentos de movimento em um pequeno número fixo de K=8 tokens de partes compartilhados entre esqueletos arbitrários.

Visão Geral da Arquitetura

O SAMoR é implementado como um VQ-VAE (Variational Autoencoder Quantizado Vetorial) de Partes Ciente de Esqueleto com os seguintes componentes:

1. Representação de Entrada:

   • Características de Movimento: Posições e velocidades por junta ($x_t^j \in \mathbb{R}^6$). Rotações locais são omitidas no cenário de topologia cruzada devido à inconsistência de poses de repouso entre ativos heterogêneos.
   • Condicionamento de Esqueleto: O codificador e o decodificador são condicionados ao esqueleto alvo através de três sinais:
     • Âncoras de Pose: Localizações 3D por junta (primeiro frame para topologia cruzada; pose de repouso canônica para HumanML3D).
     • Embeddings de Nomes de Juntas: Embeddings CLIP de nomes de juntas (ex: "antebraço", "asa_L1").
     • Estrutura de Grafo: Vieses aprendidos injetados nos logits de atenção espacial baseados na distância de salto da árvore cinemática, associação de cadeia e tipo de aresta.

2. Codificador (Graph-Transformer):

   • Processa blocos de movimento usando uma pilha de blocos transformer que alternam entre autoatenção temporal (ao longo do tempo $T$) e autoatenção espacial (ao longo das juntas $J$).
   • A atenção espacial utiliza os vieses estruturais de grafo definidos acima.
   • Uma convolução 1D com stride realiza o downsampling do eixo temporal em 4$\times$.

3. Agrupamento de Partes (Juntas para Tokens):

   • Agrupamento por Cross-Attention: $K=8$ vetores de consulta (query) aprendíveis comprimem as $J$ juntas codificadas em $K$ tokens de partes de tamanho fixo.
   • Mecanismo de Especialização: Sem supervisão, essas consultas tendem a colapsar em distribuições idênticas (efetivamente $K=1$). Para evitar isso, os autores introduzem a Supervisão de Atenção.
   • Perda de Supervisão de Atenção ($L_{attn}$): Durante o treinamento, rótulos de grupos funcionais canônicos (derivados de nomes de juntas) guiam os mapas de atenção cruzada. Cada consulta é incentivada a atender a um grupo funcional distinto (ex: perna esquerda, cauda, cabeça). Juntas sem rótulos correspondentes ($y_j = -1$) contribuem com zero para a perda, mas ainda são roteadas pela atenção aprendida.
   • Dropout de Nome de Junta: Para garantir a robustez a rigs com nomes ausentes ou não semânticos, os embeddings dos nomes das juntas são descartados aleatoriamente durante o treinamento. Isso força o modelo a confiar em padrões de movimento e na topologia do esqueleto, em vez de apenas nos rótulos de texto.

4. Quantização:

   • Os $K$ tokens de partes são quantizados usando Quantização Vetorial Residual (RVQ) com um codebook compartilhado. Isso cria um vocabulário de movimento discreto ($Z \in \{1, \dots, V\}$) compartilhado entre todos os rigs.

5. Decodificador:

   • Espelha o codificador, mas expande os $K$ tokens de partes quantizados de volta para as $J$ juntas alvo via atenção cruzada inversa.
   • O decodificador é condicionado à âncora de pose do esqueleto alvo, aos nomes das juntas e aos vieses de grafo. Isso permite que os mesmos tokens de origem sejam decodificados em um rig completamente diferente (transferência de topologia cruzada) sem necessidade de retreinamento.

Tarefas de Jusante (Downstream)

• Geração Condicionada por Texto: Um transformer MaskGIT é treinado sobre a grade de tokens $(T/4) \times K$, condicionado ao texto e ao esqueleto alvo.
• Edição por Parte: Tokens de partes específicos podem ser mascarados e preenchidos, permitindo edição localizada de grupos funcionais (ex: alterar o movimento das pernas enquanto preserva o movimento dos braços).

3. Principais Contribuições

1. Tokenização de Movimento Baseada em Graph-Transformer: Um VQ-VAE que comprime o movimento de esqueletos arbitrários em $K=8$ tokens de partes compartilhados, gerando um vocabulário de movimento discreto único para esqueletos heterogêneos.
2. Supervisão de Atenção para Especialização de Consulta: Uma função de perda inovadora que quebra a simetria das consultas ao ancorar cada consulta a um grupo distinto de juntas funcionais, evitando o colapso das $K=8$ consultas em uma única representação global. Combinado com o dropout de nome de junta, isso generaliza para esqueletos não vistos.
3. Corpus de Movimento Heterogêneo Unificado: Um conjunto de dados curado de $\sim71k$ personagens e $\sim100k$ movimentos de HumanML3D (humanos), Truebones Zoo (65 espécies animais) e ativos animados do Objaverse-XL. Isso inclui correspondência automática de juntas canônicas e anotações de grupos funcionais.
4. Capacidades Demonstradas de Jusante: O espaço de tokens de partes compartilhado suporta transferência de movimento de topologia cruzada, geração condicionada por texto e edição localizada por partes.

4. Resultados Experimentais

Os autores avaliaram o SAMoR em personagens mantidos fora do conjunto de treinamento com esqueletos não vistos.

• Reconstrução de Topologia Cruzada:

  • O SAMoR alcançou um MPJPE normalizado de 2.75 $\times 10^{-2}$.
  • Isto é 5.8$\times$ menor (melhor) que o baseline mais forte de tokenizador de variável-$J$ adaptado (MoGenTS, 16.14 $\times 10^{-2}$).
  • Supera significativamente tanto as representações globais de token único ($K=1$) quanto as tokenizações por junta ($K=J$).
  • Estudos de ablação confirmaram que remover a supervisão de atenção ($L_{attn}$) quase dobrou o erro, e remover o RVQ aumentou o erro em 44%.

• Benchmark HumanML3D:

  • Quando instanciado em um cenário compatível com HumanML3D, o SAMoR permanece competitivo com especialistas de esqueleto fixo.
  • Texto-para-Movimento: FID de 0.039, comparável ao MoGenTS (0.033) e melhor que o MoMask (0.045).
  • Reconstrução VQ-VAE: O SAMoR-H3D3 alcançou 17.3 mm de MPJPE, superando o MoMask (29.5 mm) e o T2M-GPT (58.0 mm).

• Transferência de Topologia Cruzada:

  • Resultados qualitativos (Fig. 3) mostram que o SAMoR preserva a dinâmica dos apêndices (membros, caudas, asas) através de mudanças de topologia, enquanto os baselines $K=1$ retêm apenas o ritmo corporal grosseiro.
  • A consistência de ida e volta (Origem $\to$ SMPL $\to$ Origem) foi a mais alta para o SAMoR, indicando que a representação de tokens de partes preserva a estrutura do movimento através de topologias intermediárias.

5. Significância e Alegações

O artigo afirma que o SAMoR aborda a limitação fundamental dos modelos de movimento atuais de estarem vinculados a topologias fixas. Ao identificar que os grupos funcionais de juntas são o nível de abstração apropriado para o movimento de topologia cruzada (em vez de juntas individuais ou o corpo inteiro), o SAMoR possibilita:

• Reutilização: Um único codebook discreto pode ser usado para humanos, animais e estruturas mecânicas.
• Transferência: O movimento pode ser transferido diretamente no momento da decodificação para esqueletos não vistos.
• Edição: A edição localizada de grupos funcionais é possível sem retreinamento.

Os autores enfatizam que a granularidade intermediária ($K=8$) é crucial; $K=1$ perde detalhes, enquanto $K=J$ impede o compartilhamento de vocabulário. A perda de supervisão de atenção é identificada como o componente crítico que evita o colapso da consulta, permitindo que o modelo aprenda clusters funcionais a partir de uma mistura de movimento, estrutura e (opcionalmente) rótulos de texto.

Limitações Reconhecidas:

• No cenário de topologia cruzada, o SAMoR opera em posições de juntas em vez de rotações porque ativos heterogêneos carecem de uma referência de pose de repouso unificada. Recuperar as rotações dos ossos para o Linear Blend Skinning (LBS) requer um pós-processamento de Cinemática Inversa (IK), o que introduz ambiguidade de torção.
• O agrupamento $K=8$ é uma escolha de design fixa; sugere-se como trabalho futuro o aprendizado automático do número e da estrutura dos grupos.