FHAvatar: Fast and High-Fidelity Reconstruction of Face-and-Hair Composable 3D Head Avatar from Few Casual Captures

Título: FHAvatar: Reconstrução Rápida e de Alta Fidelidade de Avatares 3D Compostos (Rosto e Cabelo) a partir de Poucas Capturas Casuais

1. O Problema

A reconstrução de avatares 3D fotorrealistas e animáveis a partir de imagens casuais (como fotos de celular) é um desafio significativo na visão computacional. Os métodos existentes enfrentam três limitações principais:

• Acoplamento Inadequado: A maioria dos modelos trata o cabelo como uma extensão ou deformação simples do couro cabeludo, ignorando a geometria de nível de fio (strand-level) necessária para realismo. Isso resulta em baixa qualidade visual e impede edições de estilo capilar.
• Dependência de Dados Densos: Métodos de alta fidelidade frequentemente exigem captura multi-visão densa (estúdios com muitas câmeras) ou otimização específica por identidade, o que é lento e inviável para uso consumer.
• Falta de Generalização: Abordagens feed-forward (diretas) existentes geralmente são limitadas a uma única visão ou ângulos fixos, falhando em manter a consistência 3D e a identidade quando submetidas a poucas imagens casuais e desordenadas.

2. Metodologia

O FHAvatar propõe um novo pipeline baseado em 3D Gaussian Splatting (3DGS) que reconstrói avatares em minutos a partir de um número arbitrário de imagens de entrada. A arquitetura é composta por três etapas principais:

A. Decuplagem Explícita (Face vs. Cabelo)
Diferente de abordagens unificadas, o FHAvatar separa explicitamente o rosto e o cabelo no espaço de textura (UV):

• Rosto: Representado por Gaussianos Planos (planar Gaussians) ancorados na malha geométrica FLAME.
• Cabelo: Representado por Gaussianos Baseados em Fios (strand-based Gaussians). Cada pixel no mapa UV do couro cabeludo gera uma cadeia conectada de segmentos lineares (fios), alinhados com as características físicas do cabelo real.

B. Backbone Transformer Agregado
Para lidar com entradas variáveis (número e ordem das imagens), o modelo utiliza um Transformer Agregado:

• Tokenização: Extrai tokens de imagem (via DINOv2), tokens geométricos da cabeça (via FLAME) e tokens de cabelo (via DiffLocks).
• Fusão: Um mecanismo de atenção cruzada (cross-attention) agrega características multi-visão, aprendendo priores geométricos e de coerência estrutural entre rosto e cabelo a partir de grandes conjuntos de dados.

C. Decodificador Dual-Branch (Dupla Ramificação)
Dois decodificadores independentes operam no espaço UV:

1. Ramo Facial: Decodifica parâmetros de Gaussianos (posição, covariância, rotação, opacidade, cor) para a superfície da pele.
2. Ramo Capilar: Gera vetores de direção para criar fios conectados. Inclui um Amostrador Adaptativo que ajusta o número de fios e a densidade de Gaussianos com base no comprimento do cabelo (curto, médio, longo), otimizando o desempenho de renderização sem perder qualidade.

D. Refinamento Rápido (Opcional)
Após a inferência direta (que leva segundos), é possível aplicar uma etapa de refinamento leve (focada apenas nos decodificadores) por alguns minutos para melhorar detalhes específicos da identidade, sem necessidade de re-treinamento completo.

3. Contribuições Principais

• Novo Paradigma de Representação: Introdução de uma arquitetura que desacopla a modelagem de rosto (superfície) e cabelo (fios) dentro de um framework unificado de 3DGS, permitindo edição independente.
• Generalização Feed-Forward: Capacidade de reconstruir avatares de identidades não vistas em segundos (inferência única) ou minutos (com refinamento), suportando um número arbitrário de imagens de entrada (de 1 a múltiplas).
• Aplicações Compostas: O design modular permite transferência de estilo capilar (trocar o cabelo de um avatar por outro) e edição estilizada de texturas diretamente no espaço 3D, mantendo a consistência geométrica.
• Eficiência: Alcança renderização em tempo real (até ~250 FPS) e elimina a necessidade de otimização longa por identidade.

4. Resultados Experimentais

O modelo foi avaliado no conjunto de dados NeRSemble (dados multi-visão de estúdio) e em dados coletados com celulares (in-the-wild).

• Qualidade de Reconstrução: O FHAvatar superou os métodos state-of-the-art (como GaussianAvatars, FlashAvatar, DiffusionRig) em métricas de qualidade de imagem (PSNR, SSIM, LPIPS) e consistência de identidade (CSIM), especialmente em cenários com poucas imagens de entrada (1 a 6 frames).
  • Exemplo: Com 3 frames, obteve PSNR de 23.40, superando o FlashAvatar (18.10) e o GaussianAvatars (21.68).
• Precisão de Reencenação (Reenactment): Demonstrou alta precisão na transferência de expressões e poses, com distâncias de keypoints faciais (AKD) muito baixas (~3.66 para entrada única), indicando que o avatar segue corretamente os movimentos do usuário.
• Eficiência Temporal:
  • Modelagem: ~3 segundos (inferência única) a ~50 segundos (com refinamento), comparado a horas ou dias de métodos baseados em otimização.
  • Renderização: >240 FPS, permitindo animação em tempo real.
• Ablação: Estudos mostraram que remover o ramo de cabelo ou a perda de separação de regiões degrada significativamente a qualidade, confirmando a necessidade da arquitetura dual-branch.

5. Significado e Impacto

O FHAvatar representa um avanço significativo na democratização da criação de avatares digitais:

• Acessibilidade: Permite que usuários comuns criem avatares 3D de alta fidelidade a partir de fotos de celular, sem equipamentos de estúdio.
• Flexibilidade Criativa: A capacidade de separar e editar cabelo e rosto independentemente abre novas possibilidades para personalização, jogos e streaming virtual.
• Aplicabilidade Prática: A velocidade de inferência e a capacidade de animação em tempo real tornam o sistema viável para aplicações em reuniões online, realidade virtual (VR) e assistentes virtuais interativos.

Em resumo, o FHAvatar resolve o dilema entre fidelidade geométrica (especialmente no cabelo) e eficiência computacional, estabelecendo um novo padrão para a geração de avatares 3D a partir de dados casuais.