High-Quality Facial Geometry and Appearance Capture at Home

1. El Problema

La captura de alta calidad de la geometría y el aspecto (apariencia) facial es fundamental para el clonaje digital de personas. Sin embargo, las soluciones actuales de alto nivel requieren estudios especializados con equipos costosos y complejos (como Light Stages), lo que las hace inaccesibles para el usuario promedio.
Las investigaciones recientes que buscan democratizar esta tecnología (usando luz solar o filtros de polarización) aún presentan inconvenientes significativos: requieren condiciones de iluminación específicas (día soleado), equipos adicionales (filtros) o entornos controlados (cuartos oscuros). Además, la mayoría de estos métodos se centran únicamente en la piel, fallando al modelar regiones complejas como los ojos (altamente especulares), la boca interior y el cabello, lo que resulta en activos 3D incompletos o de baja fidelidad.

2. Metodología Propuesta

Los autores proponen un sistema novedoso que permite la captura de alta calidad utilizando una sola secuencia de video grabada con la cámara y el flash de un smartphone en una habitación con poca luz (donde el flash es la fuente dominante).

A. Representación Híbrida del Rostro

Para abordar la dificultad de modelar regiones con propiedades ópticas muy diferentes (piel difusa vs. ojos especulares), el método utiliza una representación híbrida:

• Región de los Ojos (E): Se modelan como dos mallas esféricas predefinidas. Se asume una reflectancia especular fija (con albedo y rugosidad predefinidos) y se resuelve únicamente el albedo difuso espacialmente variable a partir de los datos. Esto aprovecha priors geométricos para evitar la reconstrucción fallida de superficies altamente reflectantes.
• Resto del Rostro (S): Incluye piel, interior de la boca y cabello. Se utiliza un campo neural SDF (Signed Distance Function) para la geometría y un campo neural para modelar los parámetros del modelo de reflectancia Disney BRDF (albedo difuso, especular y rugosidad).

B. Renderizado de Volumen Consciente de la Malla (Mesh-Aware Volume Rendering)

Para entrenar este modelo híbrido, se propone una técnica de renderizado que integra las mallas de los ojos dentro del proceso de renderizado de volumen del campo neural SDF.

• Se define un operador select diferenciable que combina los atributos (SDF, albedo, rugosidad) de la región de los ojos y la región del resto del rostro según la distancia al punto de muestreo.
• Esto permite que la geometría de los ojos y la piel se fusionen suavemente sin artefactos visuales.

C. Modelo de Iluminación Combinada

El sistema modela la iluminación como una combinación compacta de:

1. Flash del Smartphone: Modelado como una luz puntual de alta frecuencia.
2. Luz Ambiental: Modelada como una luz de baja frecuencia utilizando Armónicos Esféricos (SH) de segundo orden.
   Esta representación compacta permite estimar la iluminación a partir de una sola secuencia con el flash encendido, sin necesidad de secuencias con el flash apagado.

D. Estrategias de Entrenamiento y Regularización

Para separar la reflectancia difusa de la especular y evitar que el modelo aprenda atributos incorrectos, se utilizan dos pérdidas (losses) clave:

• Pérdida de Composición (Composition Loss): Utiliza una red de segmentación facial para generar máscaras de oclusión y asegura que la malla de los ojos y el campo neural representen estrictamente sus respectivas regiones.
• Regularización de Reflectancia: Utiliza el modelo morfológico de albedo facial AlbedoMM como prior. Se ajusta un modelo de albedo especular a múltiples vistas para crear un "pseudo-ground truth" que guía la estimación de la reflectancia especular, mejorando la separación entre componentes difusos y especulares.

3. Contribuciones Clave

1. Sistema de Captura de Bajo Costo: Un método que requiere solo un smartphone y una habitación oscura (con cortinas o de noche), eliminando la necesidad de filtros de polarización, luz solar directa o estudios.
2. Modelado del Rostro Completo: Capacidad única para reconstruir no solo la piel, sino también los ojos (con especularidad plausible), el interior de la boca y el cabello.
3. Representación Híbrida Innovadora: La combinación de mallas predefinidas para los ojos y campos neuronales para el resto del rostro, junto con técnicas de renderizado adaptadas, resuelve el problema de la reconstrucción de superficies altamente reflectantes.
4. Desacoplamiento de Reflectancia: El uso de un modelo de iluminación combinado y el prior de AlbedoMM permite una separación efectiva de los componentes difusos y especulares en un entorno de captura no controlado.

4. Resultados

• Calidad de Reconstrucción: El método genera activos 3D (mallas y mapas UV para albedo difuso/especular, rugosidad y normales) compatibles con software de gráficos estándar como Blender.
• Comparaciones:
  • Supera a métodos basados en NeRF puros (como WildLight) y métodos basados en modelos 3DMM (como NextFace++) en métricas de PSNR, SSIM y LPIPS.
  • Muestra una reconstrucción de ojos significativamente superior a los métodos que tratan los ojos como piel, logrando especularidades realistas.
  • Aunque no iguala la calidad de un estudio Light Stage (debido a la resolución de la cámara del móvil y el movimiento sutil durante los ~25 segundos de captura), se acerca notablemente a ella en términos de separación de componentes y calidad visual.
• Aplicaciones: Se demuestra la capacidad de realizar captura de rendimiento relightable (cambiar la iluminación de una actuación grabada) combinando el método con la técnica de Reflectance Transfer, logrando resultados convincentes incluso con iluminación ambiental presente.

5. Significado e Impacto

Este trabajo representa un avance significativo hacia la democratización de la captura facial de alta fidelidad. Al eliminar la necesidad de hardware especializado y condiciones de iluminación extremas, permite que usuarios no profesionales creen activos digitales 3D completos y relightables desde sus hogares. La capacidad de modelar correctamente los ojos y el cabello, regiones que otros métodos de bajo costo ignoran o distorsionan, abre nuevas posibilidades para la creación de avatares realistas en cine, videojuegos y metaverso, acercando la tecnología de estudio al usuario cotidiano.