Resumen Técnico: Inpainting Facial con Modelos de Difusión Latente que Preservan la Identidad

Enunciado del Problema

El inpainting facial tiene como objetivo reconstruir regiones faciales faltantes u ocultas con realismo visual y coherencia semántica. Aunque es esencial para aplicaciones como la restauración de fotografías y la informática forense, persiste un desafío crítico: preservar la identidad única del sujeto en la salida reconstruida. Los modelos de difusión estándar, a pesar de su fidelidad generativa, a menudo carecen de mecanismos explícitos para codificar la identidad específica del sujeto, lo que provoca que las regiones reconstruidas se desvíen hacia una apariencia facial "promedio". Las soluciones existentes conscientes de la identidad suelen depender de un ajuste fino computacionalmente costoso por sujeto (por ejemplo, MyStyle, Custom Diffusion) o muestran una robustez limitada frente a oclusiones y poses diversas. Además, la evaluación de la preservación de la identidad se complica por los conjuntos de datos existentes (por ejemplo, CelebA-HQ, FFHQ) que a menudo emplean oclusiones aleatorias o de gran área, lo que dificulta distinguir entre una generación facial plausible y una recuperación real de la identidad.

Metodología: ID-ControlNet

Los autores proponen ID-ControlNet, un marco de inpainting facial que preserva la identidad, construido sobre Modelos de Difusión Latente (LDM). El enfoque integra señales de identidad facial directamente en el proceso de difusión sin requerir ajuste fino por sujeto.

Arquitectura

• Modelo Base: El marco utiliza una columna vertebral de difusión latente de Stable Diffusion (SD1.5) congelada para la generación de imágenes.
• Extensión ControlNet: Inspirado en ControlNet, los autores introducen una rama auxiliar entrenable que inyecta señales de condicionamiento externas. A diferencia de ControlNet estándar, que utiliza señales espaciales (bordes, profundidad), ID-ControlNet inyecta incrustaciones de identidad.
• Extracción de Identidad: Una red de reconocimiento facial preentrenada (ArcFace) extrae incrustaciones de identidad de la imagen de referencia sin máscara.
• Integración Latente: Las incrustaciones de identidad son procesadas por la rama de control, que las aumenta de $8 \times 8$ a $64 \times 64$ para alinearse con la vía del decodificador U-Net. Capas de convolución inicializadas en cero inyectan estas características guiadas por la identidad en la columna vertebral de difusión congelada, dirigiendo la trayectoria de eliminación de ruido hacia la identidad objetivo mientras se preserva la coherencia global.

Estrategia de Entrenamiento

El modelo se entrena utilizando una función de objetivo compuesta que combina la pérdida de eliminación de ruido estándar con una supervisión explícita de identidad:

1. Pérdida de Eliminación de Ruido ($\mathcal{L}_{denoise}$): Pérdida LDM estándar para predecir el ruido en el espacio latente.
2. Pérdida de Consistencia de Identidad ($\mathcal{L}_{id}$): Una pérdida de distancia coseno que asegura que la incrustación de la imagen generada coincida con la incrustación de identidad de condicionamiento.
3. Pérdida de Tripleta ($\mathcal{L}_{trip}$): Una pérdida a nivel de lote para maximizar la separabilidad entre la identidad objetivo y las muestras negativas dentro del lote.
4. Eficiencia: Para evitar el costo computacional de la retropropagación a través de una cadena completa de eliminación de ruido de $T$ pasos, los autores emplean una aproximación de eliminación de ruido en un solo paso. El latente se perturba a un paso de tiempo pequeño, se aplica un paso de eliminación de ruido y la imagen resultante se decodifica para calcular la pérdida de incrustación.

Contribuciones Clave

1. Marco ID-ControlNet: Una arquitectura novedosa que condiciona la difusión latente sobre incrustaciones de identidad extraídas de una red de reconocimiento facial preentrenada, permitiendo inpainting que preserva la identidad sin ajuste fino por sujeto.
2. Estrategia de Entrenamiento: Una estrategia de pérdida de consistencia de identidad y tripleta que impone la alineación entre las caras generadas y las representaciones de identidad objetivo de manera auto-supervisada.
3. Conjunto de Datos E-Mask: La introducción de un nuevo conjunto de datos de referencia donde las oclusiones se restringen estrictamente a la región de los ojos. Esto aborda la limitación de los conjuntos de datos existentes al centrarse en el área facial más informativa para la identidad, permitiendo una evaluación más precisa de las capacidades de restauración de identidad.
4. Capacidad Zero-Shot: El método logra una preservación de identidad de vanguardia en un entorno zero-shot, eliminando la necesidad de la adaptación costosa o el ajuste fino requeridos por los métodos anteriores de personalización basados en difusión.

Resultados Experimentales

Los autores evaluaron ID-ControlNet en CelebA-HQ, FFHQ y el conjunto de datos propuesto E-Mask, comparándolo con modelos base de difusión estándar (SD1.5, SD2) y métodos conscientes de la identidad (PVA, MyStyle, Custom Diffusion).

• Calidad Perceptiva: ID-ControlNet logra una calidad perceptiva (FID, mFID, LPIPS) comparable a los modelos base de difusión estándar, lo que indica que el condicionamiento de identidad no degrada significativamente el realismo visual.
• Preservación de Identidad:
  • En la referencia CelebA-HQ-IDI-5, ID-ControlNet iguala la fidelidad de identidad de PVA (un método de vanguardia) mientras opera en un entorno zero-shot, whereas PVA típicamente requiere ajuste fino.
  • En el conjunto de datos E-Mask (occlusiones específicas de los ojos), ID-ControlNet supera significativamente tanto a la línea base como a PVA (No-Tune) en puntuaciones de similitud de identidad (0.78 frente a 0.63 para PVA No-Tune), demostrando una recuperación superior de las características definitorias de la identidad.
• Generalización: Los modelos entrenados en CelebA-HQ-IDI se generalizan eficazmente al conjunto de datos FFHQ no visto sin ajuste fino adicional.

Significado y Afirmaciones

El artículo afirma que ID-ControlNet representa un avance significativo en el equilibrio entre realismo visual y fidelidad de identidad en el inpainting facial. Al integrar incrustaciones de identidad directamente en el proceso de difusión mediante una arquitectura inspirada en ControlNet, el método supera la deriva hacia la "cara promedio" de los modelos estándar y las limitaciones de escalabilidad de los enfoques basados en ajuste fino.

Los autores enfatizan que su enfoque proporciona una solución ligera y eficiente para la generación consistente de identidad, particularmente valiosa para aplicaciones posteriores como reconocimiento facial, informática forense e interacción humano-computadora, donde distorsiones sutiles de la identidad pueden degradar críticamente el rendimiento del sistema o la confianza. La introducción del conjunto de datos E-Mask se destaca como un paso necesario para una evaluación rigurosa, ya que aísla las regiones faciales más críticas para el reconocimiento de identidad.

Los autores concluyen que, aunque sus resultados actuales son prometedores, el trabajo futuro debería centrarse en actualizar los modelos base y realizar estudios con usuarios para validar aún más la robustez de la calidad de la imagen y la preservación de la identidad.