FlexAvatar: Learning Complete 3D Head Avatars with Partial Supervision

Título: FlexAvatar: Aprendendo Avatares 3D Completos de Cabeça com Supervisão Parcial

1. O Problema

A criação de avatares 3D de alta qualidade a partir de uma única imagem (ou poucas imagens) é um desafio significativo na visão computacional. Existem duas limitações principais:

1. Dados Limitados: A maioria dos dados disponíveis na internet são vídeos monoculares (câmera única), que oferecem apenas uma perspectiva frontal. Dados multiview (múltiplas câmeras) são escassos e difíceis de obter para muitas pessoas.
2. Reconstrução Incompleta: Modelos treinados apenas em dados monoculares tendem a gerar cabeças 3D incompletas (ex: falta de detalhes nas laterais ou na parte de trás da cabeça). Isso ocorre devido a um fenômeno chamado emaranhamento (entanglement) entre o sinal de direção (expressão facial) e o ponto de vista alvo. O modelo aprende a "adivinhar" o ângulo da câmera com base na expressão, resultando em artefatos quando se tenta renderizar em novos ângulos.

Métodos existentes que dependem de priors geométricos rígidos (como modelos 3DMM, ex: FLAME) conseguem generalizar, mas limitam a expressividade e a fidelidade dos detalhes faciais.

2. Metodologia: FlexAvatar

O FlexAvatar propõe um pipeline eficiente baseado em Transformers e 3D Gaussian Splatting (3DGS) para criar avatares animáveis e completos a partir de uma única imagem.

Arquitetura Principal:
O modelo segue uma estrutura de Encoder-Decoder:

1. Encoder (E): Recebe a imagem de entrada e projeta as características em um código de avatar latente ($A$) de 2D, ancorado no espaço UV de uma malha de cabea modelo. Utiliza um ViT (Vision Transformer) pré-treinado (DINOv2) e atenção cruzada.
2. Decoder (D): Gera os atributos dos 3D Gaussians (posição, cor, opacidade, escala) com base no código de avatar e em um código de expressão ($z_{exp}$).
3. Renderizador (R): Renderiza os 3D Gaussians a partir de qualquer ponto de vista desejado.

A Inovação Central: Bias Sinks (Poços de Viés)
Para resolver o problema do emaranhamento entre sinal de direção e ponto de vista, os autores introduzem Bias Sinks (tokens aprendíveis).

• Durante o treinamento, o modelo é alimentado com tokens específicos dependendo da origem dos dados:
  • $z_{2D}$: Para dados monoculares (vídeos de uma única câmera).
  • $z_{3D}$: Para dados multiview (reconstruções completas).
• O modelo aprende a associar o token $z_{2D}$ a reconstruções parciais (aceitáveis apenas para a visão frontal) e o token $z_{3D}$ a reconstruções completas.
• Na Inferência: O modelo utiliza apenas o token $z_{3D}$. Isso força o modelo a produzir um avatar 3D completo e coerente, independentemente da imagem de entrada, enquanto ainda aproveita a capacidade de generalização aprendida dos vastos conjuntos de dados monoculares.

Outros Componentes Técnicos:

• Upsampler Baseado em StyleGAN: Uma arquitetura de upsampling híbrida (PixelShuffle + blocos CNN inspirados no StyleGAN2) para decodificar o código latente em mapas de características de alta resolução, garantindo detalhes finos (olhos, boca).
• Ajuste (Fitting): O espaço latente suave permite otimizar o código do avatar para se ajustar a múltiplas observações (few-shot) ou vídeos monoculares, melhorando a fidelidade da identidade.

3. Principais Contribuições

1. Pipeline Eficiente: Um método capaz de criar avatares 3D completos e animáveis a partir de uma única imagem em minutos.
2. Bias Sinks: Uma técnica inovadora que combina a generalização de dados monoculares com a completude 3D de dados multiview, resolvendo o problema de emaranhamento sem precisar de dados multiview massivos para cada pessoa.
3. Arquitetura de Upsampling: Uso de blocos StyleGAN-PixelShuffle para melhorar a qualidade visual e a nitidez das regiões faciais.
4. Espaço Latente Suave: Permite interpolação entre identidades e ajuste flexível para qualquer número de observações (de 1 imagem a vídeos longos).

4. Resultados Experimentais

O FlexAvatar foi avaliado em quatro tarefas principais, superando o estado da arte (SOTA) em métricas de qualidade e completude:

• Animação de Retrato 3D: Superou métodos como GAGAvatar e LAM em métricas de fidelidade (PSNR, SSIM, LPIPS) e preservação de identidade (CSIM) em tarefas de reenactment (auto e cruzado).
• Criação de Avatar em Imagem Única: Demonstrou capacidade superior de extrapolação de visão (renderizar ângulos nunca vistos), gerando cabeças completas onde outros métodos falham (gerando "fantasmas" ou partes faltantes).
• Criação Few-Shot (Poucas Shots): Com apenas 4 imagens de entrada, o modelo ajustado superou o Avat3r, oferecendo avatares mais nítidos e com melhor preservação da identidade.
• Criação Monocular (Vídeo): No benchmark NeRSemble, superou métodos que dependem de priors 3D fortes (como CAP4D), utilizando menos frames e sendo significativamente mais rápido (10 minutos vs. 4 horas de otimização).

Análises de Ablação:

• Treinar apenas com dados 2D resulta em cabeças incompletas.
• Treinar apenas com dados 3D resulta em baixa generalização para novas identidades.
• A combinação sem bias sinks falha em resolver o emaranhamento.
• O uso de bias sinks é o fator crítico para obter o equilíbrio entre generalização e completude 3D.

5. Significado e Impacto

O FlexAvatar representa um avanço significativo na democratização da criação de avatares 3D. Ao permitir a criação de avatares completos e realistas a partir de uma única foto ou vídeo comum (sem necessidade de equipamentos de captura volumétrica caros), o método abre portas para aplicações em:

• Teleconferência imersiva.
• Jogos e metaverso personalizados.
• Tentativas virtuais (virtual try-on).
• Educação e entretenimento.

A descoberta de que é possível separar o viés do conjunto de dados usando tokens aprendíveis (bias sinks) pode ser aplicada a outros domínios onde dados supervisionados completos são escassos, mas dados parciais são abundantes. O modelo é também agnóstico ao tipo de sinal de animação, podendo ser adaptado para diferentes controladores de expressão no futuro.