WildCap: Facial Albedo Capture in the Wild via Hybrid Inverse Rendering

1. El Problema

El objetivo es la captura de alta calidad del albedo difuso facial (la textura de color intrínseca de la piel sin sombras ni iluminación) a partir de videos grabados con un smartphone en entornos no controlados ("in the wild").

• Limitaciones actuales: Los métodos existentes de alta calidad dependen de iluminación controlada (como etapas de luz profesionales o linternas de smartphone en configuraciones específicas), lo que incrementa el costo y limita la usabilidad.
• Desafío técnico:
  • Los métodos basados en modelos (optimización física) son inestables e il-posed en entornos complejos con transporte de luz intrincado (sombras, oclusiones).
  • Los métodos basados en datos (redes neuronales) son robustos pero introducen artefactos no físicos, como el "horneado" de sombras (shadow-baking), donde la red confunde sombras con la textura de la piel, impidiendo una separación física correcta de la iluminación y el material.

2. Metodología: WildCap

Los autores proponen WildCap, un marco de renderizado inverso híbrido que combina la robustez de los métodos basados en datos con la precisión física de los métodos basados en modelos. El flujo de trabajo se divide en las siguientes etapas:

A. Captura y Pre-procesamiento

• Se utiliza un video de smartphone (aprox. 30 segundos) sin suposiciones sobre la iluminación de la escena.
• Se extraen 300 frames, se calibran los parámetros de la cámara (COLMAP) y se reconstruye una malla 3D detallada (2DGS).
• Se seleccionan 16 frames nítidos para la estimación de reflectancia.

B. Renderizado Inverso Híbrido

1. Paso Basado en Datos (SwitchLight): Se utiliza el método SwitchLight para predecir un mapa de albedo difuso inicial para cada vista. Aunque esto elimina la mayoría de las sombras, deja artefactos de "horneado" (sombras falsas en la textura).
2. Tratamiento de Artefactos: En lugar de tratar estos artefactos como errores, el método los interpreta como efectos de iluminación física local.
3. Optimización Basada en Modelos: Se toma la textura UV generada por SwitchLight y se optimiza para separar el albedo limpio de la iluminación que causó los artefactos.

C. Modelo de Iluminación de Cuadrícula de Texeles (Texel Grid Lighting Model)

Para explicar los artefactos no físicos (horneados) como iluminación, se propone un nuevo modelo:

• En lugar de usar un mapa de entorno global (ineficaz para artefactos locales), se modela la iluminación como una cuadrícula 2D en el espacio UV.
• Cada celda de la cuadrícula tiene parámetros de Armónicos Esféricos (SH) de orden 2.
• Se utiliza una máscara binaria ($M$) para identificar regiones con artefactos de horneado. En estas regiones, la iluminación se modela con la cuadrícula local; en el resto, se usa una iluminación global.
• Esto permite que las sombras "horneadas" se expliquen como un albedo limpio iluminado por luces locales oscuras.

D. Optimización con Prior de Difusión

Dado que el modelo de cuadrícula aumenta la expresividad pero también la ambigüedad de la optimización (problema de escala entre luz y albedo), se introduce un prior de difusión:

• Se entrena un modelo de difusión a nivel de parches sobre un conjunto de datos de Light Stage (escaneos de alta calidad).
• Durante la optimización, se realiza un muestreo de posterior de difusión para guiar el albedo hacia una distribución válida y de alta calidad.
• Se optimiza conjuntamente el modelo de iluminación y el muestreo del albedo, resolviendo la ambigüedad y eliminando artefactos.
• Finalmente, se utilizan redes de super-resolución para escalar los mapas de 1K a 4K.

3. Contribuciones Clave

1. Método Híbrido de Renderizado Inverso: Una nueva arquitectura que cierra la brecha de calidad entre las grabaciones en entornos controlados y las capturas "in the wild", logrando resultados de nivel de producción con un smartphone.
2. Modelo de Iluminación de Cuadrícula de Texeles (Texel Grid Lighting): Una representación de iluminación no física pero altamente expresiva diseñada específicamente para explicar y eliminar artefactos de horneado en predicciones de redes neuronales.
3. Esquema de Optimización Conjunta: Un método que combina el muestreo de un prior de difusión (para garantizar validez física y alta calidad) con la optimización del modelo de iluminación, permitiendo la reconstrucción de albedos difusos limpios y detallados.

4. Resultados

• Calidad Visual: WildCap produce mapas de albedo difuso de 4K libres de sombras y artefactos, superando significativamente a métodos anteriores como DeFace, FLARE y SwitchLight puro.
• Comparación con DoRA: Al compararse con DoRA (un estado del arte para captura controlada), WildCap logra una calidad comparable pero con un costo de captura mucho menor (solo video de smartphone vs. configuración de linterna controlada). Además, preserva mejor los rasgos faciales específicos (como lunares) que los métodos que promedian características debido a errores de calibración.
• Métricas Cuantitativas: En pruebas de reconstrucción facial, WildCap obtuvo los mejores resultados en PSNR (28.79), SSIM (0.9520) y LPIPS (0.0610) en comparación con DeFace y FLARE.
• Generalización: El método funciona bien en sujetos no vistos y en diversas condiciones de iluminación (interior/exterior), a pesar de haber sido entrenado con solo 48 escaneos de Light Stage.

5. Significado e Impacto

• Democratización de la Captura Facial: WildCap elimina la necesidad de equipos costosos o configuraciones de iluminación controlada, permitiendo que cualquier usuario capture activos faciales de alta fidelidad para el mundo digital usando solo su teléfono.
• Avance en Renderizado Inverso: Introduce un enfoque novedoso para tratar los artefactos de las redes neuronales no como errores a corregir, sino como señales de iluminación que pueden ser modeladas y separadas físicamente.
• Aplicabilidad: Los activos generados (albedo, especular, normales) están listos para su uso en motores gráficos para renderizado fotorrealista y re-iluminación, facilitando la creación de "gemelos digitales" para cine, videojuegos y metaverso.

En resumen, WildCap representa un paso significativo hacia la captura facial de alta calidad accesible para el público general, resolviendo el problema fundamental de separar la textura de la piel de la compleja iluminación del mundo real mediante una ingeniosa combinación de aprendizaje profundo y física de renderizado.