Learning a Delighting Prior for Facial Appearance Capture in the Wild

Aquí se presenta un resumen técnico detallado del artículo "Learning a Delighting Prior for Facial Appearance Capture in the Wild".

Planteamiento del Problema

La captura de apariencia facial de alta calidad, esencial para la creación de humanos digitales fotorrealistas, ha dependido tradicionalmente de costosos entornos de estudio controlados (por ejemplo, Light Stages). Aunque los esfuerzos recientes han intentado capturar rostros "en la naturaleza" utilizando videos de teléfonos inteligentes sin restricciones, estos enfoques enfrentan desafíos significativos. Específicamente, los paradigmas de renderizado inverso basados en modelos luchan por desentrelazar la reflectancia compleja (albedo) de la iluminación desconocida del mundo real. Esto a menudo resulta en una optimización inestable y sombras o artefactos de iluminación "incrustados" en las texturas reconstruidas. Las soluciones basadas en datos existentes o bien permanecen propietarias (limitando la reproducibilidad) o sufren de desenfoque espacial y albedo difuso físicamente incorrecto cuando se entrenan con conjuntos de datos de código abierto disponibles como FaceOLAT. Además, los enfoques híbridos como WildCap, que combinan el deleite basado en datos con el renderizado inverso, requieren intervención manual para corregir artefactos, lo que obstaculiza la escalabilidad.

Metodología

Los autores proponen OpenDelight, un sistema totalmente automático que desplaza el enfoque de la captura de apariencia facial hacia el aprendizaje de un prior de deleite robusto. La metodología consta de tres componentes principales:

1. Modulación Latente del Conjunto de Datos (DLM) para Entrenamiento Heterogéneo
Para entrenar una red de deleite potente, los autores combinan dos fuentes de datos complementarias:

• Conjunto de Datos OLAT (FaceOLAT): Proporciona distribuciones de imágenes del mundo real, pero sufre de desenfoque espacial y artefactos de horneado especular debido a un alineamiento imperfecto y la falta de polarización.
• Conjunto de Datos Renderizado de Escaneo Light Stage: Un conjunto de datos personalizado de 120 sujetos capturados en un Light Stage (modo material) y renderizados. Ofrece detalles nítidos y albedo difuso físicamente correcto, pero presenta una brecha de dominio mayor con las imágenes del mundo real.

Para integrar estas fuentes de manera fluida sin que la red se conforme con una solución comprometida, los autores introducen la Modulación Latente del Conjunto de Datos (DLM).

• Mecanismo: La red central (un codificador basado en ViT con un decodificador convolucional) se condiciona mediante tokens conscientes de la fuente aprendibles.
• Desentrelazado: Durante el entrenamiento de extremo a extremo, estos tokens absorben estilos específicos del conjunto de datos (por ejemplo, distribución de color, nitidez), mientras que la red central destila los principios universales del deleite facial.
• Inferencia: Al condicionar la red en tokens asociados con el conjunto de datos de escaneo renderizado de alta calidad, el modelo produce predicciones nítidas y físicamente correctas, manteniendo al mismo tiempo la capacidad de generalización aprendida de los datos OLAT del mundo real.

2. Red de Mejora de Detalles
Reconociendo que la arquitectura basada en ViT carece de conexiones de salto y puede perder detalles finos, los autores emplean una red secundaria de mejora de detalles basada en UNet. Esta red toma la imagen original y el albedo difuso predicho como entrada para recuperar detalles finos, entrenada específicamente en el conjunto de datos renderizado con degradaciones estocásticas para simular ruido.

3. Pipeline de Reconstrucción Basado en Prior
El prior de deleite se integra en un pipeline de captura de apariencia facial:

• Entrada: Una secuencia de video casual de teléfono inteligente.
• Proceso: OpenDelight estima el albedo difuso para cada vista. Estos albedos limpios se fusionan en un mapa de texturas unificado.
• Optimización: A diferencia de los métodos anteriores que requieren un renderizado inverso complejo y específico de región para corregir artefactos, los autores encuentran que sus mapas de texturas contienen artefactos de horneado insignificantes. En consecuencia, la optimización se simplifica a la estimación de iluminación global de Armónicos Esféricos (SH) y la muestra de un prior de difusión a nivel de parche.
• Salida: Activos faciales reiluminables de alta resolución (4K) (malla base, difuso, especular y mapas de normales).

Contribuciones Clave

• OpenDelight: Un prior de deleite potente y de código abierto que supera a los modelos propietarios líderes (por ejemplo, SwitchLight) en la eliminación de iluminación compleja y sombras de imágenes faciales de una sola vista en la naturaleza.
• Modulación Latente del Conjunto de Datos (DLM): Una técnica de entrenamiento novedosa que permite un entrenamiento conjunto efectivo en fuentes de datos heterogéneas (escaneos sintéticos y datos OLAT reales) al desentrelazar estilos específicos del conjunto de datos de los principios físicos centrales utilizando tokens conscientes de la fuente.
• Conjunto de Datos NeRSemble-Scan: Los autores transformaron el conjunto de datos NeRSemble multivista existente en una colección a gran escala de escaneos de Light Stage reiluminables de resolución 4K utilizando su método de captura.
• Pipeline Totalmente Automático: Un sistema que elimina la necesidad de corrección manual de artefactos o renderizado inverso especializado basado en regiones, logrando resultados de alta calidad comparables a los métodos que requieren intervención humana.

Resultados

• Rendimiento de Deleite: En los conjuntos de prueba FaceOLAT y 3DRFE, OpenDelight logra métricas cuantitativas superiores (PSNR, SSIM, LPIPS) en comparación con SwitchLight, IC-Light y DreamLight. Los resultados cualitativos muestran un albedo difuso significativamente más limpio con menos artefactos de horneado, particularmente en regiones de sombra dura.
• Estudios de Ablación:
  • El entrenamiento únicamente en FaceOLAT resulta en albedos borrosos y físicamente incorrectos.
  • El entrenamiento únicamente en escaneos renderizados conduce a brechas de dominio (tonos de piel incorrectos).
  • Eliminar DLM hace que la red cambie impredeciblemente entre distribuciones de conjuntos de datos durante la inferencia, lo que lleva a inconsistencia de vista.
  • La red de mejora de detalles es crucial para restaurar características faciales finas perdidas por el codificador ViT.
• Captura de Apariencia: El método produce activos reiluminables de 4K que, al volver a renderizarse bajo iluminación novedosa, coinciden estrechamente con imágenes capturadas en la realidad (LPIPS promedio de 0.0576 frente a imágenes reales). Supera a los métodos basados en modelos (FLARE, DeFace) y iguala o supera la calidad del método concurrente WildCap, a pesar de ser totalmente automático.

Significado y Afirmaciones

El artículo afirma que aprender un prior de deleite robusto simplifica fundamentalmente el problema de la captura de apariencia facial. Al internalizar el transporte de luz preciso en el prior, los autores demuestran que los pipelines de renderizado inverso complejos y pesados de intervención pueden ser reemplazados por un proceso de optimización más simple y automático.

Los autores enfatizan la democratización de la captura facial de gama alta:

1. Reproducibilidad: Al poner el modelo, el código y el conjunto de datos NeRSemble-Scan a disposición del público, proporcionan a la comunidad de investigación las herramientas para construir sobre la captura facial de alta calidad sin depender de cajas negras propietarias.
2. Reducción de la Brecha de Calidad: El sistema reduce significativamente la brecha de calidad entre las grabaciones de teléfonos inteligentes sin restricciones y las capturas de estudio controladas.
3. Fundamento para la Investigación Futura: La liberación de NeRSemble-Scan proporciona una nueva base para construir humanos digitales fotorrealistas y avanzar en la investigación sobre el deleite y reiluminación de retratos.

Los autores reconocen limitaciones, incluida la posible pérdida de identidad en relación con nevos coloreados (que pueden confundirse con iluminación) y un sesgo hacia tonos de piel más claros debido al desequilibrio del conjunto de datos, sugiriendo estos como áreas para futuras mejoras.