High-Quality Facial Geometry and Appearance Capture at Home

1. O Problema

A captura de geometria e aparência facial de alta qualidade é fundamental para a criação de "gêmeos digitais" realistas. Embora existam métodos de sucesso em estúdios profissionais (utilizando equipamentos caros como Light Stages), eles são inconvenientes e custosos para o uso diário.

As soluções recentes que buscam "democratizar" essa tecnologia ainda apresentam limitações significativas:

• Requisitos de Hardware/Condições: Algumas exigem luz solar direta (SunStage) ou filtros de polarização em ambientes escuros (PolFace).
• Escopo Limitado: A maioria foca apenas na pele facial, falhando em modelar corretamente regiões complexas e altamente reflexivas como olhos, interior da boca e cabelo.
• Qualidade: Métodos baseados em imagens "selvagens" (in-the-wild) geralmente produzem resultados inferiores aos de estúdio.

O objetivo deste trabalho é criar um sistema de baixo custo e fácil uso que capture o rosto completo (pele, olhos, cabelo, interior da boca) com alta qualidade, utilizando apenas um smartphone em um ambiente doméstico.

---

2. Metodologia

O método proposto consiste em três pilares principais: captura de dados simplificada, uma representação híbrida inovadora e um modelo de iluminação combinado.

A. Captura de Dados

• Configuração: O usuário grava um único vídeo de sequência enquanto gira ao redor do rosto em um ambiente dim (escuro), como uma sala com cortinas fechadas ou à noite.
• Fonte de Luz: A única fonte de luz de alta frequência é a lanterna do próprio smartphone, que é mantida co-localizada com a câmera (na mesma posição).
• Vantagem: Elimina a necessidade de filtros de polarização, luz solar ou equipamentos externos, tornando o processo acessível.

B. Representação Híbrida (Hybrid Representation)

Para lidar com as diferentes propriedades de reflexão das partes do rosto, o método não usa uma única representação neural para tudo. Ele divide o rosto em duas regiões:

1. Região dos Olhos (E): Modelada como duas malhas esféricas pré-definidas.
   • Assume-se que os olhos têm um lóbulo especular com albedo e rugosidade pré-definidos.
   • Apenas o albedo difuso espacialmente variável é aprendido a partir dos dados.
   • Isso contorna a dificuldade extrema de reconstruir geometria e reflexão de objetos altamente reflexivos apenas a partir de imagens.
2. Região Restante (S): Inclui pele, interior da boca e cabelo.
   • Utiliza um Campo Neural SDF (Neural SDF Field) para geometria.
   • Utiliza um Campo Neural para modelar os parâmetros do BRDF (Disney BRDF), incluindo albedo difuso, especular e rugosidade.

C. Renderização de Volume Consciente de Malha (Mesh-Aware Volume Rendering)

Para treinar a representação híbrida, os autores propõem uma técnica de renderização que integra as malhas dos olhos ao campo de volume neural:

• O SDF (Signed Distance Function) do ponto 3D é calculado como o mínimo entre o SDF da malha dos olhos e o SDF do campo neural da pele.
• Um operador "select" diferenciável escolhe se as propriedades (albedo, rugosidade) vêm da região dos olhos ou da pele com base na geometria.

D. Modelo de Iluminação Combinada

O modelo de iluminação é projetado para ser compacto, permitindo o uso de apenas uma sequência com a lanterna ligada:

• Luz da Lanterna: Modelada como uma luz pontual de alta frequência.
• Luz Ambiente: Modelada como uma luz difusa de baixa frequência, representada por Harmônicos Esféricos (SH) de 2ª ordem.
• Isso permite separar a reflexão especular (da lanterna) da reflexão difusa (ambiente).

E. Regularização e Perdas (Loss Functions)

Para garantir a qualidade e evitar artefatos, são utilizadas perdas específicas:

• Perda de Composição ($L_{comp}$): Garante que as malhas dos olhos e o campo neural da pele ocupem apenas suas respectivas regiões, usando máscaras de segmentação facial.
• Regularização de Reflectância ($L_{ref}$): Utiliza o modelo AlbedoMM (um modelo morfológico de rosto 3D treinado em dados de Light Stage) como prioridade. O albedo especular estimado é comparado com o albedo especular reconstruído pelo AlbedoMM para regularizar a solução.
• Perdas Padrão: Fotométrica, de máscara e Eikonal (para suavidade da normal).

---

3. Principais Contribuições

1. Sistema de Captura Acessível: Um método que requer apenas um smartphone e uma sala escura, sem equipamentos especializados ou filtros de polarização.
2. Modelagem do Rosto Completo: Capacidade única de reconstruir não apenas a pele, mas também os olhos (com reflexos especulares plausíveis), o interior da boca e o cabelo.
3. Representação Híbrida: A combinação de malhas geométricas pré-definidas para os olhos com campos neurais para o restante do rosto, superando as limitações de métodos puramente neurais na reconstrução de superfícies reflexivas.
4. Ativos Compatíveis com CG: O método exporta ativos 3D (malhas e mapas UV) compatíveis com softwares padrão da indústria (como Blender), permitindo renderização realista em novos ambientes (relighting).

---

4. Resultados e Avaliação

• Qualidade Visual: Os resultados mostram geometria precisa e mapas de reflexão (albedo difuso e especular) de alta qualidade. Os olhos apresentam reflexos especulares realistas, algo que métodos puramente neurais (como holistic rep.) falham em produzir.
• Comparação com o Estado da Arte:
  • vs. NextFace++: O método proposto supera significativamente em métricas quantitativas (PSNR, SSIM, LPIPS) e qualitativamente, especialmente na reconstrução de características específicas do rosto (olhos, nariz) que o NextFace++ limita ao modelo BFM.
  • vs. WildLight: O método requer apenas uma sequência (lanterna ligada) em vez de duas (ligada/desligada) e produz texturas mais detalhadas e geometria mais robusta devido às priores faciais.
  • vs. Light Stage (Estúdio): Embora o método de estúdio ainda tenha vantagem em detalhes de poros e separação perfeita de componentes devido a filtros de polarização, a solução doméstica aproxima-se muito da qualidade profissional, sendo a melhor opção de baixo custo.
• Aplicação em Performance: Ao combinar com a técnica Reflectance Transfer, o método permite a captura de performance facial relightable (que pode ser re-iluminada) em setups de baixo custo.

---

5. Significado e Impacto

Este trabalho representa um avanço significativo na democratização da captura facial de alta fidelidade. Ao eliminar a barreira de entrada de equipamentos caros e condições de iluminação controladas, ele permite que usuários comuns criem ativos 3D realistas para metaverso, jogos e filmes.

A inovação central reside na representação híbrida, que reconhece que diferentes partes do rosto exigem diferentes abordagens de modelagem (geometria explícita para olhos vs. campos neurais para pele). Isso resolve um dos maiores gargalos da reconstrução facial automática: a modelagem correta de olhos brilhantes e reflexivos. O código e os dados prometem ser liberados, fomentando ainda mais a pesquisa na área de renderização inversa acessível.