Learning a Delighting Prior for Facial Appearance Capture in the Wild

Enunciado do Problema

A captura de aparência facial de alta qualidade, essencial para a criação de humanos digitais fotorrealistas, tradicionalmente dependeu de ambientes de estúdio controlados e custosos (por exemplo, Light Stages). Embora esforços recentes tenham tentado capturar rostos "no selvagem" (in the wild) usando vídeos de smartphones sem restrições, essas abordagens enfrentam desafios significativos. Especificamente, os paradigmas de renderização inversa baseados em modelos lutam para desentrelaçar a refletância complexa (albedo) de uma iluminação real-world desconhecida. Isso frequentemente resulta em otimização instável e sombras ou artefatos de iluminação "incorporados" (baked-in) nas texturas reconstruídas. Soluções baseadas em dados existentes ou permanecem proprietárias (limitando a reprodutibilidade) ou sofrem de desfoque espacial e albedo difuso fisicamente incorreto quando treinadas em conjuntos de dados de código aberto disponíveis, como FaceOLAT. Além disso, abordagens híbridas como WildCap, que combinam delighting baseado em dados com renderização inversa, exigem intervenção manual para corrigir artefatos, dificultando a escalabilidade.

Metodologia

Os autores propõem OpenDelight, um sistema totalmente automático que desloca o foco da captura de aparência facial para o aprendizado de um prior de delighting robusto. A metodologia consiste em três componentes principais:

1. Modulação Latente de Conjunto de Dados (DLM) para Treinamento Heterogêneo
Para treinar uma rede de delighting poderosa, os autores combinam duas fontes de dados complementares:

• Conjunto de Dados OLAT (FaceOLAT): Fornece distribuições de imagens do mundo real, mas sofre de desfoque espacial e artefatos de cozimento especular (specular baking) devido ao alinhamento imperfeito e à falta de polarização.
• Conjunto de Dados Renderizado de Varredura Light Stage: Um conjunto de dados personalizado de 120 sujeitos capturados em um Light Stage (modo material) e renderizados. Oferece detalhes nítidos e albedo difuso fisicamente correto, mas possui uma lacuna de domínio maior em relação a imagens do mundo real.

Para integrar essas fontes de forma transparente, sem que a rede se acomode a uma solução comprometida, os autores introduzem a Modulação Latente de Conjunto de Dados (DLM).

• Mecanismo: A rede central (um codificador baseado em ViT com um decodificador convolucional) é condicionada em tokens conscientes da fonte aprendíveis.
• Desentrelaçamento: Durante o treinamento de ponta a ponta, esses tokens absorvem estilos específicos do conjunto de dados (por exemplo, distribuição de cor, nitidez), enquanto a rede central destila os princípios universais do delighting facial.
• Inferência: Ao condicionar a rede em tokens associados ao conjunto de dados de varredura renderizada de alta qualidade, o modelo produz previsões nítidas e fisicamente corretas, mantendo a capacidade de generalização aprendida dos dados OLAT do mundo real.

2. Rede de Aprimoramento de Detalhes
Reconhecendo que a arquitetura baseada em ViT carece de conexões de salto (skip connections) e pode perder detalhes de alta granularidade, os autores empregam uma rede secundária de aprimoramento de detalhes baseada em UNet. Esta rede recebe a imagem original e o albedo difuso previsto como entrada para recuperar detalhes finos, sendo treinada especificamente no conjunto de dados renderizado com degradações estocásticas para simular ruído.

3. Pipeline de Reconstrução Fundamentado em Prior
O prior de delighting é integrado a um pipeline de captura de aparência facial:

• Entrada: Uma sequência de vídeo casual de smartphone.
• Processo: OpenDelight estima o albedo difuso para cada visão. Esses albedos limpos são fundidos em um mapa de textura unificado.
• Otimização: Diferentemente de métodos anteriores que exigem renderização inversa complexa e específica de região para corrigir artefatos, os autores constatam que seus mapas de textura contêm artefatos de cozimento negligenciáveis. Consequentemente, a otimização é simplificada para estimar iluminação global em Harmônicos Esféricos (SH) e amostrar um prior de difusão em nível de patch.
• Saída: Ativos faciais reilumináveis de alta resolução (4K) (malha base, difuso, especular e mapas de normais).

Principais Contribuições

• OpenDelight: Um prior de delighting poderoso e de código aberto que supera modelos proprietários líderes (por exemplo, SwitchLight) na remoção de iluminação complexa e sombras de imagens de rosto únicas no selvagem.
• Modulação Latente de Conjunto de Dados (DLM): Uma técnica de treinamento inovadora que permite o treinamento conjunto eficaz em fontes de dados heterogêneas (varreduras sintéticas e dados OLAT reais) ao desentrelaçar estilos específicos do conjunto de dados dos princípios físicos centrais usando tokens conscientes da fonte.
• Conjunto de Dados NeRSemble-Scan: Os autores transformaram o conjunto de dados NeRSemble multiview existente em uma coleção em grande escala de varreduras Light Stage reilumináveis de resolução 4K usando seu método de captura.
• Pipeline Totalmente Automático: Um sistema que elimina a necessidade de correção manual de artefatos ou renderização inversa especializada baseada em região, alcançando resultados de alta qualidade comparáveis a métodos que exigem intervenção humana.

Resultados

• Desempenho de Delighting: Nos conjuntos de teste FaceOLAT e 3DRFE, o OpenDelight alcança métricas quantitativas superiores (PSNR, SSIM, LPIPS) em comparação com SwitchLight, IC-Light e DreamLight. Resultados qualitativos mostram albedo difuso significativamente mais limpo com menos artefatos de cozimento, particularmente em regiões de sombra dura.
• Estudos de Ablação:
  • O treinamento apenas no FaceOLAT resulta em albedos desfocados e fisicamente incorretos.
  • O treinamento apenas em varreduras renderizadas leva a lacunas de domínio (tons de pele errados).
  • A remoção da DLM faz com que a rede alterne imprevisivelmente entre distribuições de conjuntos de dados na inferência, levando a inconsistências de visão.
  • A rede de aprimoramento de detalhes é crucial para restaurar características faciais de alta granularidade perdidas pelo codificador ViT.
• Captura de Aparência: O método produz ativos reilumináveis 4K que, quando re-renderizados sob iluminação nova, correspondem estreitamente a imagens capturadas no mundo real (LPIPS médio de 0,0576 contra imagens reais). Supera métodos baseados em modelos (FLARE, DeFace) e iguala ou excede a qualidade do método WildCap concorrente, apesar de ser totalmente automático.

Significado e Alegações

O artigo alega que aprender um prior de delighting robusto simplifica fundamentalmente o problema da captura de aparência facial. Ao internalizar o transporte de luz preciso no prior, os autores demonstram que pipelines complexos e pesados de intervenção de renderização inversa podem ser substituídos por um processo de otimização mais simples e automático.

Os autores enfatizam a democratização da captura facial de alto nível:

1. Reprodutibilidade: Ao disponibilizar o modelo, o código e o conjunto de dados NeRSemble-Scan, fornecem à comunidade de pesquisa as ferramentas para construir sobre a captura facial de alta qualidade sem depender de caixas pretas proprietárias.
2. Redução da Lacuna de Qualidade: O sistema reduz significativamente a lacuna de qualidade entre gravações de smartphones sem restrições e capturas de estúdio controladas.
3. Fundação para Pesquisa Futura: A liberação do NeRSemble-Scan fornece uma nova base para a construção de humanos digitais fotorrealistas e o avanço da pesquisa em delighting e reiluminação de retratos.

Os autores reconhecem limitações, incluindo a possível perda de identidade em relação a nevos coloridos (que podem ser confundidos com iluminação) e um viés para tons de pele mais claros devido ao desequilíbrio do conjunto de dados, sugerindo essas áreas para melhoria futura.