Semantic-Guided Two-Stage GAN for Face Inpainting with Hybrid Perceptual Encoding

Este artículo presenta un nuevo modelo de dos etapas basado en GAN y guiado por semántica que combina CNN y Transformers para generar estructuras faciales coherentes y texturas realistas, logrando resultados superiores en la restauración de rostros con máscaras irregulares y grandes en comparación con los métodos actuales.

Lo esencial

¡Claro que sí! Imagina que tienes una foto familiar muy especial, pero alguien ha hecho un "bocadito" en la imagen: quizás falta la nariz, un ojo o incluso toda la mitad de la cara. Tu trabajo es rellenar ese hueco para que la foto se vea perfecta de nuevo, sin que se note que fue arreglada. Eso es lo que se llama "inpainting" (reconstrucción de imagen).

El problema es que las computadoras suelen hacer un mal trabajo en esto: a veces ponen un ojo torcido, dejan la piel borrosa como una foto vieja, o dibujan una nariz que no encaja con el resto de la cara.

Este paper presenta una nueva "receta" o arquitectura llamada GAN de Dos Etapas Guiada por Semántica. Vamos a explicarlo como si fuera un equipo de dos artistas trabajando juntos para restaurar esa foto.

🎨 El Equipo de Restauración: Dos Etapas

En lugar de intentar pintar toda la cara de golpe (lo cual suele salir mal), este método divide el trabajo en dos pasos muy claros:

Etapa 1: El Arquitecto (El "Plano de la Casa")

Imagina que antes de pintar una casa, necesitas un plano arquitectónico.

• ¿Qué hace? Este primer paso no se preocupa por los colores ni por la textura de la piel. Solo se enfoca en dónde están las cosas.
• La Magia: Usa una mezcla de dos tipos de "cerebros" artificiales:
  1. El experto en detalles (CNN): Ve los pequeños rasgos, como la forma de una ceja o el borde de un labio.
  2. El experto en el panorama (Transformer): Ve la cara completa de un vistazo para entender la relación entre los ojos y la boca.
• El Resultado: Genera un "mapa de colores" (un plano) que dice: "Aquí va la nariz, aquí el ojo izquierdo, aquí la boca". Es como dibujar el esqueleto de la cara antes de ponerle carne. Esto evita que la nariz termine en la frente.

Etapa 2: El Pintor (El "Acabado de Lujo")

Una vez que tenemos el plano perfecto, llega el segundo artista.

• ¿Qué hace? Su trabajo es llenar ese plano con piel real, pelo, sombras y brillos.
• La Magia: Este pintor es muy observador. Mira las partes de la foto que sí están visibles (la piel sana) y copia esa textura para rellenar los huecos. Además, tiene un "truco" especial: inyecta un poco de "ruido" o aleatoriedad.
• ¿Por qué? Porque si pintas la misma cara dos veces, deberían verse ligeramente diferentes (como dos fotos de la misma persona). Esto hace que la imagen no se vea robótica ni repetitiva.

🧩 ¿Por qué es mejor que los anteriores?

Los métodos antiguos intentaban adivinar los píxeles directamente, como si alguien intentara adivinar qué hay detrás de una cortina sin ver nada. A menudo fallaban:

• Ojos torcidos: La estructura no encajaba.
• Piel borrosa: Se veía como una foto desenfocada.
• Bordes raros: Se notaba la línea donde se unió la parte nueva con la vieja.

Este nuevo sistema soluciona eso porque:

1. Primero piensa, luego pinta: Al hacer el "plano" primero, la estructura facial es perfecta.
2. Atención al detalle: Mira la foto completa y los detalles pequeños al mismo tiempo.
3. Bordes suaves: Se asegura de que la transición entre lo que estaba y lo que se inventó sea invisible, como si nunca hubiera habido un agujero.

🏆 Los Resultados (La Prueba de Fuego)

Los autores probaron su sistema con miles de fotos de rostros famosos (como las de Hollywood).

• Comparación: Lo compararon con los mejores sistemas actuales.
• Resultado: Ganaron en casi todo. Las fotos restauradas tenían una calidad más nítida, los rostros se veían más naturales y, lo más importante, la identidad de la persona se mantenía intacta. No parecían "otro" alguien, seguían siendo la misma persona.

🚀 En resumen

Imagina que tienes un rompecabezas de una cara donde faltan muchas piezas.

• Los métodos viejos intentaban pegar piezas al azar y a veces quedaba una nariz gigante o un ojo en la mejilla.
• Este nuevo método primero dibuja un esquema mental de cómo debería ser la cara (Etapa 1) y luego, con mucha habilidad, pinta la piel y los detalles basándose en lo que ve alrededor (Etapa 2).

Es como tener un arquitecto que diseña la estructura y un pintor maestro que le da vida, trabajando juntos para que la foto restaurada sea tan perfecta que nadie note que fue arreglada. ¡Y lo hacen tan rápido que puedes restaurar una foto en menos de un segundo!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Semantic-Guided Two-Stage GAN for Face Inpainting with Hybrid Perceptual Encoding" (GAN de Dos Etapas Guiada Semánticamente para la Inpainting de Rostro con Codificación Perceptiva Híbrida), presentado por Bhattacharya et al.

1. Definición del Problema

La inpainting de imágenes faciales busca restaurar regiones faltantes o corruptas en fotografías de rostros manteniendo la identidad, la consistencia estructural y la calidad fotorealista. A pesar de los avances recientes en modelos generativos profundos, los métodos existentes enfrentan desafíos significativos, especialmente con máscaras grandes e irregulares:

• Inconsistencia Semántica: Los métodos que predicen píxeles RGB directamente a menudo violan las restricciones de la geometría facial (ej. ojos desalineados, límites distorsionados).
• Texturas Borrosas: El uso exclusivo de pérdidas de reconstrucción ($\ell_1$ o $\ell_2$) tiende a producir resultados sobrepulidos carentes de detalles de alta frecuencia.
• Artefactos en los Bordes: La atención insuficiente en los límites de la máscara genera líneas visibles o desajustes de color entre la región restaurada y la conocida.
• Limitada Diversidad: Muchos modelos producen resultados monótonos, fallando en capturar la variedad de formas realistas en que una imagen podría completarse.

2. Metodología Propuesta

Los autores proponen una arquitectura novedosa de dos etapas que separa la generación del diseño semántico de la síntesis de texturas, utilizando una Codificación Perceptiva Híbrida.

A. Arquitectura General

El modelo es un GAN (Red Generativa Antagónica) guiado semánticamente que opera en dos fases:

1. Etapa 1: Generación de Diseño Semántico (Layout Generation).
   • Utiliza un Codificador Híbrido CNN-Transformer.
   • Rama CNN: Extrae priores de textura local mediante bloques residuales y convoluciones.
   • Rama Transformer (ViT): Modela dependencias de largo alcance tratando la entrada como una secuencia de parches.
   • Las características de ambas ramas se fusionan para predecir un mapa semántico probabilístico ($S$) que guía la estructura facial (ojos, nariz, boca) antes de generar la imagen final.
2. Etapa 2: Generación de Textura Multi-Modal.
   • Un Generador de Textura refina el mapa semántico.
   • Emplea un Módulo de Atención Contextual Multi-Resolución que recopila información de diferentes escalas de las regiones conocidas para llenar las áreas faltantes.
   • Introduce ruido gaussiano estocástico en las capas del decodificador para permitir múltiples salidas realistas (diversidad modal).

B. Diseño del Discriminador

Se utilizan tres discriminadores para garantizar la calidad:

1. Discriminador Global ($D_g$): Evalúa el realismo general de la imagen.
2. Discriminador Local (PatchGAN, $D_l$): Se enfoca en la realismo de las texturas locales y detalles de alta frecuencia.
3. Discriminador Consciente Semánticamente ($D_s$): Condicionado al mapa semántico para asegurar la consistencia estructural.

C. Funciones de Pérdida y Entrenamiento

El entrenamiento se realiza mediante una estrategia progresiva de tres fases para asegurar la estabilidad:

• Pérdidas: Se combinan pérdida de reconstrucción ($\ell_1$), pérdida de consistencia semántica, pérdida perceptiva multi-escala (basada en VGG-19), pérdida de contexto en los bordes y la pérdida adversarial WGAN-GP (con penalización de gradiente).
• Estrategia: Se inicia con una reconstrucción simple y se introducen gradualmente las pérdidas complejas y la frecuencia de entrenamiento de los discriminadores para evitar el colapso de modos.

3. Contribuciones Clave

1. Codificador Híbrido CNN-Transformer: Diseñado para capturar simultáneamente texturas finas (CNN) y estructura global (Transformers), extrayendo características robustas incluso con entradas parcialmente ocultas.
2. Generación de Mapas Semánticos Probabilísticos: En lugar de predecir píxeles directamente, el modelo genera primero una guía estructural flexible que permite diferentes resultados realistas manteniendo la coherencia.
3. Módulo de Atención Contextual Multi-Escala: Capaz de recopilar información de diferentes receptores para generar salidas coherentes tanto en detalles finos como en la estructura global.
4. Adaptabilidad a Máscaras Arbitrarias: El manejo dinámico de la atención permite que el modelo funcione con configuraciones de máscaras arbitrarias sin necesidad de entrenamiento específico para cada tipo de máscara.

4. Resultados Experimentales

El modelo fue evaluado en los conjuntos de datos CelebA-HQ y FFHQ (resolución 128x128).

• Métricas Cuantitativas: El modelo completo ("hybrid+attn") superó a las variantes sin atención o con arquitecturas puras (solo CNN o solo ViT).
  • PSNR: 24.82 dB (CelebA-HQ).
  • SSIM: 0.87.
  • LPIPS: 0.08 (indicando alta similitud perceptual).
  • FID: 11.56 (indicando alta calidad de distribución de imágenes).
• Análisis Cualitativo: Los resultados visuales muestran una recuperación estructural superior y una consistencia de texturas más nítida en comparación con métodos state-of-the-art (como DeepFill v2, LaMa, EdgeConnect), especialmente en áreas de gran tamaño.
• Eficiencia: El modelo tiene ~51.6M de parámetros y logra una velocidad de inferencia de 88.53 FPS en una GPU RTX 3060, con un tiempo de inferencia promedio de 11.3 ms.

5. Significado y Conclusión

Este trabajo representa un avance significativo en la inpainting facial al abordar el problema de la coherencia semántica y la nitidez de la textura de manera conjunta. Al separar la generación de la estructura (semántica) de la generación de la apariencia (textura) y utilizar la sinergia entre CNNs y Transformers, el método logra restauraciones que son visualmente convincentes y estructuralmente correctas.

Aunque el modelo muestra limitaciones en máscaras extremadamente grandes en rostros complejos y en detalles muy finos (como hebras individuales de cabello), su enfoque de dos etapas y su entrenamiento progresivo ofrecen una solución robusta y eficiente. Los autores planean extender el método a resoluciones más altas (512x512) en trabajos futuros para permitir comparaciones directas con los métodos más avanzados actuales.