Resumen Técnico: GeoFace

Planteamiento del Problema

Generar imágenes faciales de múltiples vistas fotorrealistas a partir de una única entrada es un desafío crítico para la reconstrucción 3D, los avatares digitales y la creación de contenido inmersivo. Si bien los modelos de difusión multi-vista recientes logran una alta fidelidad visual a nivel de cada vista, a menudo carecen de mecanismos explícitos para imponer una estructura 3D compartida entre diferentes puntos de vista. En consecuencia, estos modelos suelen producir resultados geométricamente inconsistentes, particularmente bajo variaciones de pose considerables, lo que conduce a artefactos como la degradación de la identidad y el desalineamiento estructural (por ejemplo, formas inconsistentes de la nariz o la línea de la mandíbula). Los enfoques existentes que dependen de modelos paramétricos (como 3DMM o FLAME) ajustados a imágenes individuales son inherentemente mal planteados, ya que a menudo convergen en estructuras estadísticamente promediadas en lugar de geometrías específicas del sujeto. Del mismo modo, los métodos de difusión impulsados por la apariencia que incorporan pistas geométricas (como mapas de normales) siguen dependiendo de señales específicas de la vista en lugar de una representación 3D unificada y compartida, dejando sin resolver el alineamiento geométrico global.

Metodología

GeoFace aborda estas limitaciones proponiendo un marco de difusión de flujo dual unificado que genera conjuntamente imágenes RGB multi-vista y la geometría facial 3D a partir de una imagen de referencia única.

1. Arquitectura de Flujo Dual

GeoFace extiende un modelo base de difusión multi-vista (basado en CAT3D) para operar dos flujos paralelos dentro de un único U-Net:

• Flujo de Apariencia: Denosa los latentes de las vistas objetivo condicionadas por incrustaciones de rayos de Plücker para generar $N-1$ imágenes RGB de vistas noveles.
• Flujo de Geometría: Denosa un latente de geometría compartido que representa un mapa de posición UV canónico. Este mapa codifica coordenadas de superficie 3D densas en una malla FLAME mediante una parametrización invariante a la vista.

Ambos flujos interactúan a través de capas de atención 3D compartidas, permitiendo que los flujos de apariencia y geometría se condicionen mutuamente durante el proceso de denotación. Esta integración trata la geometría no solo como una señal auxiliar, sino como una representación intrínseca compartida entre todas las vistas.

2. Representación de la Geometría y Condicionamiento

• Mapa de Posición UV Canónico: La geometría 3D se representa como una rejilla de tipo imagen de $H \times W \times 3$ donde cada texel almacena la coordenada canónica 3D del punto correspondiente en la malla FLAME. Esta representación es consciente de la topología e invariante a la vista, lo que la hace directamente compatible con arquitecturas convolucionales 2D sin modificaciones.
• Token de Cámara Aprendible: Dado que el mapa de posición UV canónico no corresponde a un punto de vista de cámara específico, las incrustaciones de rayos de Plücker estándar se reemplazan por un token aprendible ($e_{geo}$). Este token se optimiza de extremo a extremo como una incrustación posicional implícita para la geometría canónica, evitando suposiciones espurias de puntos de vista.

3. Pérdida de Alineación de Atención Guiada por Geometría

Para imponer explícitamente una atención cruz-modal 3D consistente entre los flujos de geometría y apariencia, los autores introducen una pérdida de alineación de atención guiada por la geometría.

• Esta pérdida supervisa la atención cruzada entre los tokens de geometría (mapa UV) y los tokens de apariencia (imágenes faciales) utilizando correspondencias 3D consistentes derivadas del mapa de posición UV de FLAME y cámaras calibradas.
• La pérdida se define como una entropía cruzada bidireccional entre los mapas de atención predichos y las correspondencias de la verdad de campo (basadas en distancias L2 de pares de posiciones 3D).
• Este mecanismo fomenta que el flujo de apariencia haga referencia a pistas geométricas invariantes a la pose para un alineamiento robusto, particularmente en regiones ocluidas o ambiguas, mientras fundamenta el flujo de geometría en el contexto de la apariencia.

4. Construcción del Conjunto de Datos

Dado que la supervisión de geometría multi-vista canonicalizada no está disponible de forma nativa, los autores construyeron un conjunto de datos a partir de colecciones de video facial multi-vista (RenderMe-360 y NeRSemble v2). Utilizaron el pipeline VGGTFace para agregar mapas de puntos y coordenadas UV, refinándolos mediante ajuste de haces (bundle adjustment) y mapeándolos a un espacio canónico FLAME compartido mediante alineación de Procrustes para crear señales de supervisión de geometría invariantes a la vista.

Principales Contribuciones

1. Marco de Flujo Dual Unificado: Una novedosa arquitectura de difusión donde los flujos de apariencia y geometría interactúan mediante capas de atención compartidas, imponiendo la consistencia geométrica entre vistas como una propiedad intrínseca de la generación.
2. Alineación de Atención Guiada por Geometría: Una función de pérdida que supervisa la atención cruzada con correspondencias 3D consistentes, asegurando que los dos flujos se condicionen mutuamente.
3. Mapa de Posición UV Canónico: Una representación de geometría invariante a la vista definida en el espacio FLAME que es nativamente compatible con modelos de difusión, facilitando la generación con restricción de geometría compartida.
4. Validación Empírica: Experimentos extensos que demuestran que la generación conjunta de la geometría mejora significativamente tanto la calidad visual como la consistencia geométrica en comparación con los modelos base de solo apariencia.

Resultados Experimentales

GeoFace fue evaluado en los conjuntos de datos RenderMe-360 y NeRSemble v2 a través de rangos de vista frontal a media y de perfil.

• Rendimiento Cuantitativo: GeoFace superó consistentemente a los modelos base existentes (incluyendo métodos basados en NeRF como PanoHead y métodos basados en difusión como CAP4D, DiffPortrait360 y SEVA) en todas las métricas: PSNR, SSIM, LPIPS y Similitud de Coseno (CSIM) para la preservación de la identidad. Notablemente, la brecha de rendimiento se amplió en las vistas de perfil, donde los métodos de solo apariencia tienen dificultades con las grandes variaciones de pose.
• Mejoras Cualitativas: El método produjo resultados geométricamente consistentes con una mejor preservación de las estructuras faciales (nariz, mandíbula, frente) bajo cambios de pose grandes. Resolvió eficazmente las ambigüedades de profundidad en regiones auto-ocluidas donde los modelos de solo apariencia fallaron.
• Utilidad en Aplicaciones Posteriores: La geometría generada conjuntamente sirvió como un prior de inicialización efectivo para el Gaussian Splatting 3D. En comparación con la inicialización aleatoria o basada en COLMAP, la inicialización basada en mallas condujo a una convergencia más rápida y un LPIPS más bajo durante la reconstrucción, demostrando la utilidad de la geometría generada para tareas 3D posteriores.
• Estudios de Ablación: Eliminar el flujo de geometría, utilizar tokens de cámara fijos en lugar de aprendibles, u omitir la pérdida de alineación, resultó en caídas de rendimiento mensurables, confirmando la necesidad de cada componente.

Significación y Reivindicaciones

El artículo afirma que GeoFace representa un paso significativo al ir más allá de la generación impulsada por la apariencia hacia un marco donde la consistencia geométrica se impone intrínsecamente durante el proceso generativo. Al modelar conjuntamente la apariencia y una representación de geometría canónica, GeoFace logra una superior preservación de la identidad y fidelidad estructural, particularmente en escenarios desafiantes que involucran grandes cambios de punto de vista. Los autores postulan que este enfoque facilita una reconstrucción 3D más eficiente y precisa al proporcionar un fuerte prior estructural.

El artículo reconoce las limitaciones, señalando que la dependencia de FLAME como base geométrica puede limitar la representación de regiones fuera de la superficie facial (por ejemplo, cabello, orejas, dientes), lo que podría afectar a sujetos con peinados o accesorios complejos. Se sugiere como trabajo futuro extender las representaciones geométricas más allá de la región facial y validar aún más la generalización a imágenes de la vida real (in-the-wild).