Resumo Técnico: RegHead

Declaração do Problema

A criação de avatares de cabeça não humanos 3D animáveis é crítica para AR, redes sociais e jogos, mas permanece subexplorada. Uma interface de animação prática requer blendshapes semânticos: um vocabulário fixo de expressões interpretáveis que compartilham correspondência de vértices entre diversas identidades. Isso permite controle de baixa dimensão e retargeting entre identidades sem resolver novos problemas de correspondência em tempo de execução.

No entanto, a construção desses conjuntos de blendshapes para cabeças não humanas enfrenta três gargalos principais:

1. Supervisão Escassa: Modelos atuais de geração de imagem/vídeo têm dificuldade em produzir a mesma expressão predefinida (ex: "franzir a testa") de forma consistente em diferentes identidades não humanas, tornando difícil obter observações 2D em larga escala com rótulos semânticos consistentes.
2. Falta de Correspondência: Métodos modernos de geração 3D/4D produzem superfícies específicas de expressão de alta qualidade, mas tipicamente carecem de correspondência de vértices entre as expressões, tornando-os inutilizáveis como uma base direta de blendshape. Recuperar a correspondência via registro não rígido baseado em otimização é computacionalmente caro e difícil de escalar.
3. Deformações Localizadas: Expressões faciais não humanas frequentemente envolvem deformações altamente localizadas e específicas de cada espécie (ex: articulação específica da mandíbula ou movimentos das pálpebras) que são mal capturadas por modelos de deformação global genéricos.

Métodos existentes dependem de pipelines de otimização pesados (lentos) ou de priors paramétricos como 3DMM (que falham quando a geometria desvia significativamente da anatomia humana).

Metodologia

O RegHead propõe um framework feed-forward para converter malhas de expressão não registradas em uma base de blendshapes semânticos correspondidos em uma única passagem. O pipeline consiste em três estágios principais:

1. Construção de Dataset em Larga Escala

Para abordar a falta de rótulos semânticos consistentes, os autores definem um vocabulário de expressão $\mathcal{E}$ usando uma pequena biblioteca de ativos não humanos de alta qualidade e rigados por artistas. Eles realizam o ajuste fino de um modelo de edição de imagem em renderizações pareadas desta biblioteca para realizar edições controladas do neutro de referência para expressões alvo. Este modelo é aplicado a gerações de texto-para-imagem para escalar o vocabulário para aproximadamente 20.000 identidades não humanas. Superfícies de expressão específicas em 3D são reconstruídas a partir destas imagens usando pipelines de geração 3D/4D condicionadas à imagem, resultando em malhas brutas $\{\tilde{M}_t\}$ que são semanticamente consistentes, mas carecem de correspondência de vértices.

2. Representação de Movimento de Âncora Estocástica Densa

Para lidar com topologias diversas sem esqueletos ou templates predefinidos, o RegHead introduz uma representação de âncora estocástica densa:

• Âncoras Estocásticas: Em vez de otimizar coordenadas fixas de âncoras, o modelo reamostra um conjunto de âncoras de deformação $\mathcal{A}$ na malha neutra em cada iteração de treinamento. Isso incentiva o modelo a aprender previsões invariantes ao layout das âncoras.
• Pontos de Consulta (Query Points): Um conjunto mais denso de pontos de consulta $\mathcal{Q}$ é amostrado na forma neutra.
• Tokens de Voxel: As malhas de expressão são voxelizadas para criar tokens de voxel baseados em unprojeção multivista $\mathcal{V}_t$, que incluem códigos latentes de 8 canais e máscaras de segmentação semântica unprojetadas (ex: para olhos).
• Propagação: O modelo prevê transformações de similaridade por âncora $\mathcal{T}_t$. Estas são propagadas para os pontos de consulta densos via Linear Blend Skinning (LBS) usando pesos de skinning pré-computados baseados em distâncias de Mahalanobis inversas até a âncora mais próxima. Isso permite uma deformação de esparso-para-denso que é eficiente, porém expressiva.

3. Modelo de Registro Feed-Forward

A principal novidade é uma rede de correspondência consciente de estrutura (coarse-to-fine) que prevê a deformação da malha neutra para cada expressão alvo:

• Matcher Global: Utiliza cross-attention para agregar contexto de longo alcance de tokens de voxel globais para os tokens de âncora. Ele prevê uma deformação grosseira para trazer as âncoras para a "bacia" correta para o matching local, abordando movimentos de grande suporte (ex: articulação da mandíbula).
• Matcher Local Estruturado: Para cada âncora grosseiramente deformada, o modelo coleta um vizinhança de stencil de múltiplos raios estruturada a partir dos tokens de voxel (em vez de um simples kNN). Ele utiliza cross-attention local para refinar o token da cota e prever uma transformação residual. Este estágio é projetado para capturar mudanças faciais finas e localizadas.
• Treinamento: O modelo é treinado sem correspondências de pontos de verdade fundamental (ground-truth). Utiliza um erro de renderização diferenciável (comparando o RGB e a segmentação renderizados dos pontos previstos vs. pontos alvo) e um erro auxiliar de distância de Chamfer nas posições das âncoras grosseiras para garantir consistência geométrica.

4. Retargeting em Tempo Real

Para aplicação, um pequeno MLP mapeia coeficientes de rastreamento facial humano (de um ajuste 3DMM padrão) para os pesos do vocabulário de blendshapes não humanos. Isso permite o retargeting em tempo real do desempenho humano para personagens não humanos sem necessidade de otimização por frame.

Principais Contribuições

1. Dataset: Construção de um dataset em larga escala (~20k identidades) de cabeças não humanas com um vocabulário de expressão semântica fixa, permitindo o estudo escalável de geração de blendshapes.
2. Representação de Movimento: Introdução de âncoras estocásticas densas, uma representação independente de topologia para deformação facial não humana localizada que não depende de ossos, esqueletos ou templates compartilhados predefinidos.
3. Registro Feed-Forward: Um novo modelo de registro que converte malhas não registradas em blendshapes correspondidos em uma única passagem, treinado sem correspondências de ground-truth ou campos de deformação.
4. Performance: Demonstração de maior fidelidade e velocidade de inferência significativamente superior (ordens de magnitude) em comparação com baselines baseados em otimização, permitindo retargeting em tempo real.

Resultados Experimentais

Os autores avaliam o RegHead contra o ActionMesh (feed-forward), V2M4 (baseado em otimização) e T2Bs (alinhamento baseado em otimização).

• Métricas Quantitativas: O RegHead alcança desempenho superior em aparência renderizada (PSNR: 23.84, SSIM: 0.9078, LPIPS: 0.0551) e geometria visível (Distância de Chamfer: 0.00358, IoU de Silhueta: 0.9865) comparado a todos os baselines.
• Velocidade: O RegHead executa em ~5 segundos por identidade, enquanto métodos baseados em otimização (V2M4, T2Bs) levam de ~100s a ~1800s.
• Análise Qualitativa: O RegHead captura melhor mudanças de expressão finas e espacialmente localizadas (ex: fechamento das pálpebras) enquanto mantém a estrutura global. Os baselines frequentemente subestimam o movimento localizado ou exibem artefatos em regiões sutis.
• Estudos de Ablação:
  • Remover as âncoras estocásticas (usando âncoras fixas) degrada o desempenho, confirmando o benefício da invariância de layout.
  • Reduzir a densidade de âncoras diminui significativamente a fidelidade, provando a necessidade de âncoras densas para detalhes finos.
  • Remover o estágio de matching local causa degradação substancial, validando-o como o principal motor para a deformação de expressão fina.
  • Usar vizinhanças de stencil estruturadas supera as vizinhanças kNN padrão.

Significância e Alegações

O artigo afirma que o RegHead aborda o desafio central de gerar ativos correspondidos e semanticamente consistentes para cabeças não humanas de forma escalável e feed-forward. Ao evitar restrições anatômicas baseadas em templates e otimização pesada, o framework permite a criação de avatares de alta fidelidade e animáveis que suportam controle em tempo real e retargeting entre identidades. Os autores observam que o método é especificamente projetado para deformações dependentes de espécie e de grão fino, uma lacuna deixada pelos métodos existentes de movimento articulado ou geração de objeto completo.

Limitações: Os autores reconhecem que o RegHead pode não se ajustar bem a identidades com anatomia muito distante das estruturas de cabeça comuns (ex: insetos ou espécies de cauda longa com regiões faciais ambíguas) onde a correspondência semântica é fraca. Além disso, os blendshapes finais estão sujeitos aos artefatos presentes nas malhas não registradas de upstream.