PercHead: Perceptual Head Model for Single-Image 3D Head Reconstruction & Editing

Resumen Técnico: PercHead

1. El Problema

La reconstrucción 3D de cabezas humanas a partir de una sola imagen es un desafío fundamental debido a la ambigüedad inherente: una única vista 2D puede corresponder a infinitas explicaciones geométricas y de apariencia 3D plausibles.

• Limitaciones actuales: Los métodos existentes (basados en GANs, NeRFs o Gaussian Splatting) suelen funcionar bien para vistas cercanas a la entrada, pero degradan significativamente su rendimiento en ángulos extremos o no vistos.
• Problema de supervisión: Las funciones de pérdida tradicionales de bajo nivel (como L1, SSIM o LPIPS) tienden a generar señales ruidosas en áreas de alta frecuencia (como el cabello) y descartan reconstrucciones plausibles que no son perfectas a nivel de píxel, limitando la fidelidad visual y la consistencia 3D.
• Edición: La edición 3D desentrelazada (separar geometría de estilo) es difícil de lograr sin perder la identidad o la consistencia estructural.

2. Metodología

PercHead propone un marco unificado que combina una arquitectura basada en Transformadores de Visión (ViT) con una nueva estrategia de supervisión perceptual.

A. Arquitectura del Modelo (Basada en ViT):

• Codificador Dual 2D: Extrae características de la imagen de entrada utilizando dos fuentes:
  1. Un ViT entrenado específicamente para tareas de reconstrucción.
  2. Características extraídas de múltiples capas de DINOv2 (un modelo fundacional de visión), capturando tanto comprensión semántica de alto nivel como detalles de bajo nivel.
• Decodificador 3D: Utiliza un ViT de decodificación inicializado a partir de una plantilla FLAME (un modelo morfológico 3D de la cara).
  • El decodificador enriquece iterativamente la representación 3D mediante mecanismos de atención cruzada con las características 2D.
  • No utiliza auto-atención, lo que permite decouplar la representación 3D de la entrada 2D.
• Representación 3D: Las "parches" 3D se transforman en Gaussianos (Gaussian Splatting) mediante una capa PixelShuffle. Las posiciones de los gaussianos se anclan a los vértices de FLAME pero permiten movimiento controlado.
• Refinamiento: Se utiliza una CNN de Afianzamiento (SHP-CNN) para mejorar los detalles de alta frecuencia y la nitidez de la imagen final.

B. Pérdida Perceptual (El Núcleo de la Innovación):
En lugar de pérdidas de píxel, el modelo se supervisa utilizando modelos fundacionales preentrenados:

• DINOv2: Compara las activaciones de capas intermedias y tardías entre la imagen renderizada y la imagen de referencia. Esto asegura consistencia semántica y estructura.
• SAM 2.1 (Segment Anything Model): Se utilizan los codificadores de imagen intermedios de SAM 2.1 para supervisar detalles finos y segmentación correcta.
• Ventaja: Esta combinación evita el ruido en áreas complejas (cabello, gafas) y guía al modelo hacia reconstrucciones visualmente realistas y geométricamente coherentes.

C. Entrenamiento:
El modelo se entrena con una mezcla de:

1. Datos Multi-vista: NeRSemble y Cafca (para garantizar consistencia 3D y robustez en ángulos laterales).
2. Datos "In-the-wild": FFHQ (para robustez ante diversas identidades y condiciones de iluminación).

D. Edición 3D Desentrelazada:
El modelo base se adapta para la edición reemplazando el codificador de imagen por:

1. Un mapa de segmentación (controla la geometría).
2. Un embedding de CLIP (controla el estilo, ya sea mediante texto o imagen de referencia).
   Esto permite editar la apariencia (color de pelo, edad) sin alterar la estructura facial, y viceversa.

3. Contribuciones Clave

1. Nuevo Modelo de Estado del Arte: Logra la mejor reconstrucción 3D de cabezas a partir de una sola imagen, superando a métodos como PanoHead, SphereHead, GAGAvatar y LGM, especialmente en vistas extremas.
2. Pérdida Perceptual Basada en Fundamentos: Introduce una formulación de pérdida que depende exclusivamente de la supervisión profunda de modelos fundacionales (DINOv2 + SAM 2.1), demostrando que se puede lograr mayor calidad visual y consistencia sin pérdidas tradicionales de bajo nivel.
3. Edición 3D Interactiva: Un sistema de GUI que permite la edición desentrelazada de geometría y estilo mediante mapas de segmentación y prompts de texto o imágenes, todo en un espacio 3D coherente.

4. Resultados

• Cuantitativos: En el conjunto de datos no visto Ava-256, PercHead supera a todos los baselines en métricas de fidelidad (PSNR), percepción (LPIPS, DreamSim) y preservación de identidad (ArcFace). La ventaja es más notable en vistas extremas, donde otros métodos fallan drásticamente.
• Cualitativos:
  • Genera cabezas completas y coherentes incluso desde vistas laterales o traseras no observadas.
  • Mantiene la identidad y los detalles (gafas, cabello, textura de piel) sin artefactos de espejo o distorsiones geométricas.
  • Funciona bien en secuencias de video, manteniendo la consistencia temporal (aunque con un ligero parpadeo en regiones no observadas).
• Edición: Demuestra capacidad zero-shot para editar atributos de alto nivel (edad) y bajo nivel (color de pelo) usando solo texto, sin entrenamiento específico para tareas de edición.

5. Significado e Impacto

PercHead representa un avance significativo en la visión por computadora 3D al demostrar que:

• La comprensión visual profunda (a través de modelos fundacionales) es superior a las comparaciones de píxeles tradicionales para tareas de reconstrucción 3D complejas.
• Es posible lograr una consistencia 3D robusta y una alta fidelidad visual simultáneamente, superando el compromiso (trade-off) habitual entre realismo y consistencia geométrica.
• La arquitectura basada en ViT permite una flexibilidad única para extender el modelo a tareas generativas como la edición desentrelazada, abriendo nuevas posibilidades para la creación de avatares digitales, conferencias virtuales y entretenimiento interactivo.

El código, los modelos y la interfaz gráfica interactiva están disponibles públicamente, facilitando la adopción y el desarrollo futuro en este campo.