OMG-Avatar: One-shot Multi-LOD Gaussian Head Avatar

1. Problema e Contexto

A reconstrução de avatares 3D animáveis a partir de uma única imagem é uma tarefa crucial para aplicações em metaverso, reuniões virtuais e produção de vídeo. No entanto, os métodos existentes enfrentam desafios significativos:

• Eficiência e Custo Computacional: Métodos baseados em NeRF ou GANs exigem recursos computacionais massivos, dificultando a inferência em tempo real.
• Consistência Multi-visão e Controle: Abordagens 2D frequentemente falham em manter a consistência sob grandes variações de pose ou viewpoint.
• Limitações de Detalhe e Representação: Métodos baseados em 3DMMs (Modelos Morfáveis 3D) perdem detalhes geométricos finos. Além disso, muitos métodos recentes focam apenas na cabeça, negligenciando regiões como os ombros, resultando em avatares incompletos.
• Falta de Adaptabilidade: Poucos métodos permitem ajustar dinamicamente a complexidade computacional (Level-of-Detail - LOD) para atender a diferentes capacidades de hardware sem retreinar o modelo.

2. Metodologia (OMG-Avatar)

O OMG-Avatar propõe um método one-shot (uma única imagem de entrada) que gera avatares de cabeça Gaussianos animáveis em 0,2 segundos. A arquitetura utiliza uma representação Gaussiana Multi-LOD (Nível de Detalhe) unificada.

Os componentes principais do pipeline são:

• Extração de Características Hierárquicas (Global e Local):

  • Global: Utiliza um modelo Transformer baseado em cross-attention para extrair características globais e de identidade da imagem, usando embeddings posicionais do modelo FLAME como consultas.
  • Local: Emprega uma amostragem baseada em projeção (projection-based sampling) para capturar detalhes locais da imagem 2D nos vértices do modelo 3D.
  • Estratégia de Refinamento (Coarse-to-Fine): Em vez de mapear diretamente características de alta resolução (custo elevado), o modelo extrai características de uma malha de baixa resolução e as refina progressivamente através de operações de subdivisão da malha durante o treinamento. Isso permite a renderização dinâmica de múltiplos LODs no momento da execução.

• Fusão de Características Consciente de Oclusão (OAFF):

  • Para garantir coerência espacial e plausibilidade de oclusão, o modelo utiliza um depth buffer (tampão de profundidade).
  • Características locais são amostradas apenas para vértices visíveis. Para vértices oclusos, o modelo confia nas características globais (semânticas) para inferir a aparência, evitando artefatos.

• Modelagem e Integração Multi-Região:

  • Reconhecendo que o modelo FLAME padrão não cobre adequadamente os ombros, o método segmenta a imagem para isolar a região dos ombros.
  • As características dos ombros são preditas separadamente e depois integradas às características da cabeça através de uma combinação cruzada, resultando em um conjunto completo de parâmetros Gaussianos (cabeça + ombros).

• Renderização e Reencenação (Reenactment):

  • O modelo gera mapas de características multicanal que são refinados por uma rede neural (UNet) para produzir a imagem final de alta qualidade.
  • Para a animação, apenas a componente de posição dos parâmetros Gaussianos é atualizada com base nos parâmetros de pose e expressão de um vídeo de direção (driving video), permitindo renderização em tempo real.

3. Principais Contribuições

1. OMG-Avatar: Um novo framework que reconstrói avatares Gaussianos animáveis em 0,2s a partir de uma única imagem, suportando renderização dinâmica Multi-LOD.
2. Estratégia Coarse-to-Fine e Fusão Oclusiva: Uma abordagem de aprendizado que refina características globais e locais através de subdivisões, guiada por um mecanismo de fusão consciente de oclusão, melhorando a fidelidade e a completude do avatar.
3. Eficiência e Qualidade Superior: O modelo supera os métodos state-of-the-art (SOTA) em precisão de reconstrução, fidelidade de reencenação e eficiência computacional, utilizando significativamente menos pontos Gaussianos.

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados VFHQ e HDTF.

• Qualidade de Reconstrução: O OMG-Avatar (nível de subdivisão #2) alcançou os melhores resultados em métricas como PSNR, SSIM e LPIPS, superando métodos como LAM, GAGAvatar e Portrait4D-v2.
• Consistência de Identidade e Movimento: O modelo demonstrou superioridade na preservação da identidade (CSIM) e na transferência precisa de expressões e poses (AED, APD).
• Eficiência Computacional:
  • Velocidade de Inferência: Alcança 85 FPS em uma GPU NVIDIA A100 e 126 FPS em uma RTX 4090.
  • Comparação: É significativamente mais rápido que métodos baseados em NeRF e mais eficiente que o LAM (que requer 280 FPS apenas para geometria, sem renderização neural).
  • Custo de Treinamento: O tempo de treinamento é cerca de 90% menor que o do método LAM (aprox. 200 horas vs. 2600 horas), devido à otimização na atenção cruzada (calculada apenas no nível inicial de baixa resolução).
• LOD Dinâmico: Mesmo com baixa resolução (Sub #1, ~29K pontos), o modelo mantém fidelidade visual comparável a métodos de alta resolução com muito mais pontos, sendo ideal para dispositivos com recursos limitados.

5. Significado e Impacto

O OMG-Avatar representa um avanço significativo na democratização de avatares 3D de alta fidelidade. Ao resolver o dilema entre qualidade visual e custo computacional, o método permite:

• Aplicações em Tempo Real: Viabiliza o uso em videoconferências, jogos e chatbots interativos em hardware de consumo.
• Adaptabilidade: A capacidade de ajustar o nível de detalhe (LOD) dinamicamente permite que o mesmo modelo opere em servidores potentes ou em dispositivos móveis.
• Completude: A inclusão robusta da região dos ombros melhora a imersão e a naturalidade dos avatares em cenários de corpo inteiro parcial.

Em resumo, o trabalho estabelece um novo padrão para a reconstrução de avatares 3D a partir de uma única imagem, equilibrando alta fidelidade, controle expressivo e eficiência extrema.