SWST-Net: Semantic-aware Wavelet-drivenStructure and Texture Interaction Network forImage Inpainting

Resumen Técnico: SWST-Net para la Inpainting de Imágenes

Planteamiento del Problema
La inpainting de imágenes busca reconstruir regiones faltantes en una imagen preservando la consistencia estructural, textural y semántica con el contenido circundante. Mientras que los métodos tradicionales basados en ejemplares tienen dificultades con áreas faltantes grandes y fondos complejos debido a la falta de comprensión semántica, los enfoques basados en aprendizaje profundo (por ejemplo, GANs) han mejorado el rendimiento pero enfrentan limitaciones específicas. Las convoluciones vanilla suelen resultar en bordes excesivamente suavizados o artefactos texturales. Además, los métodos existentes que intentan modelar conjuntamente la estructura y la textura a menudo sufren de representaciones entrelazadas donde ambos tipos de información interfieren entre sí. Por el contrario, las estrategias de dos etapas que generan primero la estructura y luego la textura suelen fallar porque predecir disposiciones estructurales precisas a partir de imágenes fuertemente corrompidas es inherentemente difícil, lo que conduce a priors erróneos que degradan la síntesis de textura final. El desafío central sigue siendo desacoplar eficazmente las representaciones de estructura y textura mientras se promueve su interacción bajo guía semántica para lograr una reconstrucción de alta fidelidad.

Metodología: SWST-Net
Los autores proponen la Red de Interacción de Estructura y Textura impulsada por Ondículas con Conciencia Semántica (SWST-Net). La arquitectura está diseñada para separar explícitamente y luego reconstruir colaborativamente la información de estructura y textura.

1. Descomposición en el Dominio de la Frecuencia (DWT):
   La imagen de entrada se descompone utilizando la Transformada de Ondícula Discreta (DWT) con ondículas de Haar. Esto separa la imagen en una subbanda de baja frecuencia (LL), que representa la estructura global, y subbandas de alta frecuencia (LH, HL, HH), que representan detalles texturales finos. Estos componentes se alimentan a codificadores separados.

2. Marco de Doble Codificador y Decodificador Compartido:

   • Rama de Estructura: Procesa la subbanda de baja frecuencia. Utiliza un Bloque Residual de Mejora Multiescala (MSEB) que contiene módulos de Mejora de Atención Multiescala (MSAE) para capturar características estructurales globales.
   • Rama de Textura: Procesa las subbandas de alta frecuencia concatenadas. Emplea Bloques Residuales de Convolución de Fourier Rápida (FFCB) para capturar tanto detalles locales como información contextual de largo alcance.
   • Decodificador Compartido: Reconstruye la imagen final a partir de las características fusionadas utilizando una transformada de ondícula inversa (IDWT) y sobremuestreo (upsampling).

3. Módulo de Alineación Guiado por Semántica (SGAM):
   Para asegurar la consistencia semántica entre las dos ramas, la red integra priors semánticos de alto nivel extraídos de un Autoencoder de Máscara (MAE) pre-entrenado. A través de un mecanismo de atención cruzada, estas características semánticas se alinean con las características de estructura y textura en los codificadores, guiando el proceso de inpainting para mantener la coherencia semántica.

4. Módulo de Fusión de Características Bi-direccional entre Dominios Cruzados (BCFFM):
   Ubicado en el cuello de botella de ambas ramas, este módulo facilita la interacción entre los flujos de estructura y textura. Inspirado en la denormalización espacialmente adaptativa, aprende parámetros afines dinámicos para modular las capas de normalización de instancia. Esto permite que las características de textura refinen las características de estructura y viceversa, permitiendo una integración dinámica sin perder la información específica del dominio.

5. Objetivo de Entrenamiento:
   El modelo se entrena utilizando una función de pérdida multitarea que comprende la pérdida L1 (en regiones no enmascaradas), pérdida adversarial (usando WGAN-GP), pérdida de emparejamiento de características y una pérdida perceptual de Alto Campo Receptivo (HRF) basada en una ResNet-50 con convoluciones dilatadas.

Contribuciones Clave

1. Arquitectura Desacoplada: El artículo introduce un marco de doble rama que utiliza transformadas de ondículas para desacoplar explícitamente la estructura y la textura, abordando los problemas de interferencia encontrados en los modelos de generador compartido.
2. Integración Semántica: El SGAM inyecta eficazmente los priors semánticos de alto nivel de un MAE pre-entrenado en el proceso de doble rama, asegurando la consistencia semántica sin depender de predicciones estructurales potencialmente erróneas de entradas corrompidas.
3. Interacción de Dominios Cruzados: El BCFFM está diseñado para permitir una guía bidireccional efectiva entre las ramas de estructura y textura, mejorando la optimización colaborativa.
4. Rendimiento: El método logra resultados de vanguardia en los benchmarks estándar, equilibrando la eficiencia computacional con la calidad de reconstrucción.

Resultados Experimentales
Los autores evaluaron SWST-Net en tres conjuntos de datos: Paris StreetView, CelebA-HQ y Places.

• Rendimiento Cuantitativo: El método supera consistentemente a enfoques recientes de vanguardia (incluyendo CTSDG, WSA-GAN, W-Net, CoordFill, HINT y SEM-Net) en varios ratios de enmascaramiento (10%–50%). Logra puntuaciones superiores en métricas de nivel de píxel (PSNR, SSIM) y métricas perceptuales (FID, LPIPS). Notablemente, en el conjunto de datos Places, alcanzó el FID más bajo (10.891) y puntuaciones de calidad sin referencia competitivas (NIQE y BRISQUE).
• Rendimiento Cualitativo: Las comparaciones visuales demuestran que SWST-Net produce líneas estructurales más nítidas (por ejemplo, paredes de ladrillo, marcos de ventanas) y texturas más realistas (por ejemplo, detalles faciales, filamentos de plantas) en comparación con los competidores, que a menudo exhiben desenfoque, distorsión o transiciones de color.
• Estudios de Ablación: Los experimentos confirmaron la necesidad de cada componente. Eliminar la DWT (sin DWT) o la guía del MAE (sin MAE) provocó caídas significativas en el rendimiento. Del mismo modo, reemplazar el BCFFM con una concatenación simple o eliminar el MSEB resultó en una degradación de la coherencia estructural y la fidelidad de la textura.
• Eficiencia: Con 113M de parámetros y un tiempo de inferencia de 70ms por imagen, SWST-Net ofrece un trato favorable entre el costo computacional y el rendimiento, siendo significativamente más rápido que HINT y SEM-Net mientras proporciona una mayor calidad que CTSDG y WSA-GAN.

Significancia y Limitaciones
El artículo afirma que SWST-Net ofrece una solución prometedora para la inpainting de imágenes de alta calidad al abordar con éxito el dilema de "el huevo o la gallina" de la dependencia estructura-textura mediante el desacoplamiento impulsado por ondículas y la guía semántica. El método preserva eficazmente la integridad estructural y los detalles de la textura simultáneamente.

Sin embargo, los autores reconocen modestamente ciertas limitaciones. El modelo todavía tiene dificultades con regiones faltantes muy grandes donde la información contextual es insuficiente para restringir la generación, lo que conduce a un contenido suave pero potencialmente inexacto. Además, el modelo falla al reconstruir elementos semánticos específicos como texto o logotipos que requieren conocimiento no presente en el contexto circundante o en los priors semánticos pre-entrenados. Estas áreas se identifican como direcciones para trabajos futuros.