WildCap: Facial Albedo Capture in the Wild via Hybrid Inverse Rendering

1. O Problema

A captura de alta qualidade do albedo difuso (a cor intrínseca da pele, livre de sombras e iluminação) é um passo fundamental para a clonagem digital de seres humanos.

• Estado da Arte Atual: Métodos existentes de alta qualidade dependem de condições de iluminação controlada (como Light Stages profissionais ou o uso de flash de smartphone em ambientes específicos). Isso aumenta drasticamente o custo de captura e limita a usabilidade.
• O Desafio: Capturar albedos de alta qualidade a partir de vídeos gravados "no mundo real" (in-the-wild) com smartphones, sem nenhuma suposição sobre a iluminação da cena.
• Dificuldades Técnicas:
  • Métodos Baseados em Modelo: Otimizam iluminação e reflectância, mas falham em cenários complexos com transporte de luz não linear (sombras, oclusões), tornando a otimização instável e mal-posta.
  • Métodos Baseados em Dados (Redes Neurais): São robustos a variações de iluminação, mas frequentemente introduzem artefatos de "cozimento" (baking), onde sombras e efeitos de iluminação são erroneamente "queimados" na textura da pele, violando as leis físicas da luz.

2. Metodologia: WildCap

O WildCap propõe um framework de renderização inversa híbrida que combina o melhor dos métodos baseados em dados e baseados em modelo para resolver o problema. O pipeline funciona da seguinte forma:

A. Pipeline Híbrido

1. Pré-processamento (Data-Driven): Utiliza um método baseado em dados, o SwitchLight, para processar as imagens brutas capturadas pelo smartphone. O objetivo não é obter o albedo final perfeito, mas sim converter as condições de iluminação complexas do mundo real em condições mais restritas, gerando uma imagem de albedo difuso predita.
2. Otimização (Model-Based): As imagens de albedo preditas (que ainda contêm artefatos de "cozimento" de sombras) são tratadas como novas "imagens reais" capturadas sob iluminação menos desafiadora. Um processo de renderização inversa baseado em modelo é então aplicado para fatorar essas imagens em:
   • Um mapa de albedo difuso limpo.
   • Um modelo de iluminação que explica os artefatos remanescentes.

B. Modelo de Iluminação de Grade de Texel (Texel Grid Lighting Model)

Para explicar os artefatos não físicos (sombras "cozidas" pela rede neural) como efeitos de iluminação física, os autores propõem um novo modelo:

• Em vez de usar apenas um mapa de ambiente global (que não consegue explicar sombras locais complexas), eles modelam a iluminação como uma grade 2D no espaço UV.
• Cada "texel" (pixel da textura) na grade possui seus próprios parâmetros de Harmônicos Esféricos (SH) de 2ª ordem.
• Isso permite que regiões específicas do rosto (onde há artefatos de sombra) sejam iluminadas por "luzes locais escuras", permitindo que o algoritmo "limpe" a sombra da textura, restando apenas o albedo verdadeiro.

C. Otimização com Prioridade de Difusão

A otimização conjunta do modelo de iluminação e do albedo é um problema mal-posto (ambiguidade entre escala de luz e cor). Para resolver isso:

• Prior de Difusão: Os autores treinam um modelo de difusão em nível de patch (pedaços da imagem) utilizando dados de escaneamentos de Light Stage de alta qualidade.
• Amostragem do Posterior: Durante a otimização, eles utilizam técnicas de amostragem do posterior de difusão para guiar a geração do mapa de albedo. Isso garante que o albedo resultante pertença à distribuição de albedos válidos e de alta qualidade, evitando artefatos e garantindo realismo.
• Upsampling: Após resolver o mapa em 1K (1024x1024), uma rede de Super-Resolução (SR) é usada para elevar a resolução para 4K de forma eficiente.

3. Principais Contribuições

1. Método Híbrido de Renderização Inversa: Uma nova abordagem que preenche a lacuna de qualidade entre capturas no mundo real e capturas controladas, permitindo a captura de albedo de alta fidelidade apenas com um vídeo de smartphone.
2. Modelo de Iluminação de Grade de Texel: Uma representação de iluminação não-física, porém expressiva, capaz de modelar e remover artefatos de "cozimento" em imagens geradas por redes neurais, tratando-os como iluminação local.
3. Estratégia de Otimização Conjunta: Um esquema que combina a otimização do modelo de iluminação com a amostragem de um prior de difusão, resolvendo a ambiguidade escala-cor e garantindo a reconstrução de texturas limpas e detalhadas.

4. Resultados e Avaliação

• Qualidade Visual: O método produz mapas de albedo difuso significativamente mais limpos e detalhados do que métodos anteriores (in-the-wild e controlados), removendo eficazmente sombras e mantendo traços faciais específicos (como sardas e nevos).
• Comparação com SOTA:
  • Superou métodos como DeFace e FLARE (que falham em remover efeitos complexos de iluminação em vídeos brutos).
  • Mesmo quando comparado a métodos que usam o mesmo pré-processamento (baselines DeFace e FLARE com SwitchLight), o WildCap obteve melhores resultados devido ao seu modelo de iluminação mais expressivo e ao prior de difusão.
  • Comparação com DoRA: O DoRA é um método de ponta para captura controlada. O WildCap alcança qualidade comparável ao DoRA, mas utilizando apenas um vídeo de smartphone no mundo real, eliminando a necessidade de equipamentos controlados.
• Métricas Quantitativas: Em testes de reconstrução facial, o WildCap obteve os melhores resultados em PSNR, SSIM e LPIPS, indicando maior fidelidade e menor erro perceptual.
• Eficiência: O processo leva cerca de 8 minutos em uma GPU NVIDIA 4090 (incluindo a etapa de super-resolução), sendo muito mais rápido que métodos alternativos que amostram diretamente em 4K.

5. Significado e Impacto

O WildCap representa um avanço significativo na área de captura de aparência facial. Ao eliminar a dependência de equipamentos caros e ambientes controlados, ele democratiza a criação de ativos digitais de alta fidelidade.

• Aplicação Prática: Funciona como um "Light Stage portátil" (handheld), permitindo que usuários comuns escaneem seus rostos para entrar no mundo digital com texturas realistas e re-ilumináveis.
• Avanço Científico: Demonstra que a combinação inteligente de pré-processamento baseado em dados e otimização física guiada por priors de aprendizado profundo pode superar as limitações de ambos os paradigmas isolados, resolvendo problemas complexos de transporte de luz em condições não controladas.

O código e os dados do projeto foram disponibilizados publicamente para fomentar pesquisas futuras na área.