Thinking inside the Convolution for Image Inpainting: Reconstructing Texture via Structure under Global and Local Side

Resumen Técnico: Pensar dentro de la Convolución para el Inpainting de Imágenes: Reconstrucción de Textura mediante Estructura bajo Perspectivas Globales y Locales

Planteamiento del Problema
El inpainting de imágenes ha avanzado significativamente a través de procesos de codificador-decodificador que utilizan Redes Neuronales Convolucionales (CNN). Aunque estudios recientes identifican la estructura de alta frecuencia y la textura de baja frecuencia como información crucial para codificar, los métodos existentes sufren inevitablemente una pérdida de información durante el proceso de submuestreo (downsampling) convolucional. Específicamente, los enfoques actuales pasan por alto cómo los mapas de características de estructura y textura interactúan para mitigar esta pérdida. Trabajos previos, como CTSDG, intentan una guía mutua entre estructura y textura pero fallan porque la fusión directa de mapas de estructura dispersos con mapas de textura densos puede romper la estructura dispersa. Además, métodos como ZITS intentan preservar la textura fusionando estructuras de alta frecuencia, pero no logran abordar la pérdida del propio mapa de características de la estructura o el mecanismo específico de cómo una modalidad puede guiar mejor la reconstrucción de la otra durante el submuestreo. En consecuencia, estos métodos tienen dificultades para capturar información semántica en capas más profundas, particularmente para imágenes de alta resolución (por ejemplo, 512×512), lo que a menudo resulta en salidas de sobremuestreo (upsampling) no ideales.

Metodología
El marco propuesto, ConvInpaint-TSGL, aborda estas limitaciones mediante la reconstrucción sistemática de los mapas de características de textura a través de los mapas de características de estructura durante el proceso de submuestreo convolucional, en lugar de una simple fusión. La metodología se construye sobre tres pilares fundamentales:

1. Reconstrucción Direccional (Estructura $\to$ Textura):
   Los autores establecen que los mapas de características de estructura son inherentemente dispersos, mientras que los mapas de textura son densos. La validación experimental (vía FID y divergencia KL) demuestra que los mapas de estructura dispersos pueden reconstruir eficazmente mapas de textura densos, mientras que el proceso inverso (reconstruir la estructura dispersa a partir de la textura densa) conduce a la ruptura de la información estructural. Por lo tanto, el pipeline adopta una estrategia donde el mapa de características de estructura guía la reconstrucción del mapa de características de textura.

2. Estrategias de Normalización Global y Local:
   Para maximizar la utilidad del mapa de estructura, los autores emplean normalización y desnormalización estadística:

   • Normalización Global: Calcula la media y la varianza estadística sobre todo el canal del mapa de características, capturando propiedades estadísticas globales.
   • Normalización Local: Calcula estadísticas a través de los canales en posiciones espaciales específicas, capturando propiedades estadísticas locales.
     El artículo encuentra que los mapas de características de estructura globales son más adecuados para reconstruir mapas de textura normalizados localmente (Global $\to$ Local), mientras que los mapas de estructura residuales locales (derivados de la diferencia entre el sobremuestreo de la textura y las capas previas) son más adecuados para reconstruir mapas de textura normalizados globalmente (Local $\to$ Global).

3. Módulo de Equilibrio entre Capas (Cross-Layer Balance Module):
   Reconociendo que la información de estructura global disminuye más lentamente que la información de estructura residual local en las etapas iniciales, pero la supera en las etapas posteriores, los autores proponen un Módulo de Equilibrio entre Capas. Este módulo:

   • Aumenta la reconstrucción de los mapas de características de estructura global dos veces para mantener el equilibrio con los mapas de estructura residual local.
   • Agrupa los mapas de características en flujos basados en estructuras globales y residuales locales.
   • Utiliza la ecualización de características (espacial y por canal) para equilibrar estos flujos antes de alimentarlos al decodificador para el sobremuestreo.

Contribuciones Clave

• Paradigma de Reconstrucción: El artículo responde sistemáticamente que los mapas de características de estructura deben guiar la reconstrucción de la textura, no viceversa, para mitigar la pérdida de información durante el submuestreo.
• Normalización de Doble Flujo: Introduce una estrategia novedosa de reconstruir la textura bajo normalización global mediante la estructura global, y bajo normalización local mediante la estructura residual local, fusionando estas mediante la suma elemento a elemento.
• Equilibrio entre Capas: Se propone un nuevo módulo para equilibrar dinámicamente las contribuciones de las estructuras globales y residuales locales en diferentes etapas del codificador, asegurando la preservación óptima de las características para el decodificador.
• Agnosticismo de Arquitectura: La estrategia de codificador propuesta está diseñada para ser un reemplazo directo para los codificadores de estado del arte (SOTA) existentes, demostrando versatilidad.

Resultados Experimentales
Se realizaron experimentos exhaustivos en los conjuntos de datos Paris StreetView (PSV), CelebA y Places2 con máscaras irregulares en resoluciones de 256×256 y 512×512.

• Rendimiento Cuantitativo: El método supera a los enfoques SOTA (incluyendo PENNet, HiFill, CTSDG, ZITS y LaMa) en las métricas PSNR, SSIM y FID. Notablemente, sustituir los codificadores de otros métodos SOTA con el módulo propuesto (por ejemplo, "Ours (PENNet)") produce consistentemente resultados superiores, validando la eficacia de la estrategia de submuestreo.
• Rendimiento Cualitativo: Los resultados visuales muestran que el método preserva la consistencia semántica y los detalles finos (por ejemplo, rasgos faciales, patrones arquitectónicos) mejor que sus competidores, que a menudo sufren de artefactos o texturas borrosas, especialmente en ratios de enmascaramiento altos.
• Estudios de Ablación: Los experimentos confirman que la combinación específica de "Global $\to$ Local" y "Local $\to$ Global", seguida del equilibrio entre capas, logra el mejor rendimiento en comparación con el uso de estrategias de flujo único o direcciones de reconstrucción inversas.

Significancia y Reivindicaciones
El artículo afirma que su principal significancia radica en abordar el problema fundamental de la pérdida de información durante el submuestreo convolucional en el inpainting de imágenes. Al cambiar el paradigma de la "fusión mutua" a la "reconstrucción guiada por la estructura" bajo restricciones estadísticas globales y locales, el método preserva eficazmente tanto la integridad estructural como la riqueza textural. Los autores sostienen que este enfoque es particularmente crítico para el inpainting de alta resolución, donde los métodos convencionales no logran capturar información semántica en las capas más profundas debido a la pérdida del mapa de características de textura. El trabajo proporciona una solución robusta y modular que mejora los procesos existentes de codificador-decodificador sin requerir una reestructuración completa de la arquitectura.