Resumen Técnico: Fortalecimiento de Redes Generativas Antagónicas Totalmente Convolucionales para la Superresolución de Imágenes mediante Medidas de Divergencia

Planteamiento del Problema

La Superresolución de Imágenes (SR) tiene como objetivo reconstruir una imagen de Alta Resolución (HR) a partir de una entrada de Baja Resolución (LR). Este es un problema mal planteado porque la transformación inicial de LR es típicamente no invertible y con pérdida de información. Mientras que los métodos de interpolación clásicos no logran generar una SR encomiable debido a su dependencia de la información local, y las Redes Neuronales Convolucionales (CNN) profundas tienen dificultades con la generalización y la distorsión, las Redes Generativas Antagónicas (GAN) han ofrecido un avance significativo. Sin embargo, los métodos de SR basados en GAN existentes a menudo sufren de la pérdida de detalles finos, la introducción de artefactos y el colapso de modo, particularmente cuando se entrenan en conjuntos de datos pequeños. Además, muchos enfoques dependen de redes preentrenadas para la pérdida perceptual, lo que puede introducir sesgos, o no modelan explícitamente la relación distributiva entre las entradas LR y SR.

Metodología: La Arquitectura SuRGe

Los autores proponen SuRGe (Super-Resolution Generator), una arquitectura basada en GAN totalmente convolucional diseñada para abordar estas limitaciones a través de tres mecanismos primarios: mezcla jerárquica de características, novedosas funciones de pérdida basadas en divergencia y estrategias de entrenamiento robustas.

1. Arquitectura del Generador ($G$)

A diferencia de los enfoques estándar que realizan un escalado de 4x en un solo paso al final de la red, SuRGe emplea una estrategia de escalado de dos pasos (2x seguido de 2x) para mitigar las distorsiones abruptas en el espacio de características.

• Extracción de Características Jerárquicas: El generador se divide en una mitad izquierda y una derecha. La mitad izquierda extrae características a través de un bloque de convolución inicial ($C_0$) y un bloque generador residual repetitivo ($R_0$).
• Mezcla Adaptativa de Características: Para combinar características de bajo nivel (de $C_0$) y de alto nivel (de $R_0$), SuRGe introduce módulos de mezcla aprendibles ($F_0$ y $F_1$). Estos módulos realizan una combinación convexa de características de diferentes profundidades de la red utilizando pesos aprendibles restringidos por una activación Softmax. Esto permite a la red seleccionar adaptativamente las características más útiles para la reconstrucción.
• Conexiones de Salto (Skip Connections): La arquitectura utiliza conexiones de salto para propagar características de bajo nivel (por ejemplo, colores, texturas) a través de la red, asegurando que los detalles diminutos se recuperen tras los pasos de escalado.
• Mecanismo de Escalado: En lugar de utilizar PixelShuffle o convoluciones transpuestas, que pueden introducir artefactos de tablero de ajedrez, SuRGe emplea interpolación de vecino más cercano para el escalado, seguida de convoluciones de estabilización.

2. Arquitectura del Discriminador ($D$)

El discriminador sigue una estructura similar a la del generador para asegurar incrustaciones cercanas en el espacio de características aprendido, pero incluye modificaciones específicas:

• Bloques Residuales Repetitivos: Utiliza bloques residuales con conexiones de salto inter-subbloque.
• Activación y Normalización: Emplea LeakyReLU para prevenir gradientes dispersos y Normalización de Píxel (en lugar de Normalización por Lote) para evitar problemas de calidad y adherirse a las restricciones de WGAN-GP.
• Tamaños de Núcleo Progresivos: El número de filtros y los tamaños de núcleo aumentan gradualmente a través de los bloques para equilibrar la captura de información de bajo y alto nivel y prevenir el sobreajuste.

3. Funciones de Pérdida

SuRGe introduce una combinación novedosa de funciones de pérdida para guiar al generador y al discriminador:

• Pérdida del Generador ($L_G$):
  • Pérdida Adversaria ($L_a$): Pérdida GAN estándar para distinguir la HR real de la SR generada.
  • Divergencia de Jensen-Shannon (JS) ($L_{JS}$): Minimiza explícitamente la disimilitud entre las distribuciones de la SR generada y la verdad de campo HR ($p_{G(x)}$ y $p_y$).
  • Pérdida de Gromov-Wasserstein (GW) ($L_{GW}$): Una medida de divergencia entre espacios métricos de dimensiones potencialmente diferentes. Se utiliza para minimizar la discrepancia entre la distribución de la entrada LR ($p_x$) y la distribución de la salida SR ($p_{G(x)}$), forzando la similitud estructural incluso cuando las dimensiones difieren.
  • Ponderación Dinámica: En lugar de pesos estáticos, los tres componentes de la pérdida se combinan mediante una combinación convexa calculada dinámicamente basada en Softmax. Esto permite al modelo ajustar adaptativamente el enfoque de cada pérdida durante el entrenamiento.
• Pérdida del Discriminador ($L_D$):
  • Pérdida de Wasserstein con Penalización de Gradiente (WGAN-GP): Se utiliza para entrenar al discriminador para prevenir el colapso de modo y mejorar la calidad de la generación sin la complejidad del recorte de pesos (weight clipping).

Contribuciones Clave

El artículo afirma las siguientes contribuciones primarias:

1. Primera Aplicación de GW en GAN-SR: SuRGe se presenta como el primer modelo de superresolución que utiliza la divergencia de Gromov-Wasserstein (GW) para alimentar el aprendizaje del generador, modelando directamente la relación entre las distribuciones LR y SR.
2. Entrenamiento Basado en Divergencia: Alejándose de la similitud perceptual sesgada por modelos preentrenados, el generador se entrena utilizando la divergencia JS (entre SR y HR) y la divergencia GW (entre LR y SR), junto con la pérdida adversaria.
3. Mezcla de Características Adaptativa: La introducción de un generador que emplea eficientemente conexiones de salto y módulos de mezcla aprendibles ($F_0, F_1$) para obtener y combinar adaptativamente la información semántica de diferentes niveles de representación de características.
4. Arquitectura Robusta: El uso de escalado por vecino más cercano y estrategias de normalización específicas para reducir artefactos y el colapso de modo.

Resultados Experimentales

La eficacia de SuRGe fue evaluada en 10 conjuntos de datos de referencia frente a 28 contendientes del estado del arte (incluyendo métodos basados en CNN, GAN y Transformers).

• Benchmarks Estándar: En Set5, Set14, BSD100 y Urban100, SuRGe demostró un rendimiento superior. En promedio, mejoró el PSNR y el SSIM en un 4.26% y 5.72% respectivamente en los conjuntos de datos Set14, BSD100 y Urban100 en comparación con los mejores métodos existentes.
• Benchmarks Complejos: En seis conjuntos de datos complejos adicionales (Kitti2012, Kitti2015, Middlebury, PIRM, OST300, MANGA109), SuRGe superó al estado del arte con un promedio de 17.59% en PSNR.
• Estudios de Ablación: Los experimentos confirmaron que la adición progresiva de componentes (discriminador basado en ResNet, tamaños de núcleo incrementales, pérdidas JS/GW y ponderación dinámica) conduce a ganancias de rendimiento consistentes.
• Análisis Cualitativo: Las comparaciones visuales muestran que SuRGe produce imágenes con texturas más finas, mejor fidelidad de color y detalles más intrincados en comparación con SRGAN, BSRGAN, SWIN-IR y LTE, evitando al mismo tiempo el ruido excesivo o la distorsión observada en las variantes de ESRGAN.

Significación y Reivindicaciones

El artículo afirma que SuRGe ofrece un avance significativo en el campo de la superresolución de imágenes al:

• Capacidades de SR Auténticas: La incorporación de la relación LR-SR mediante la divergencia GW dota al modelo de "capacidades de superresolución auténticas", yendo más allá del simple mapeo de píxeles hacia la alineación de distribuciones.
• Eficiencia: A pesar de su complejo paisaje de pérdida y mezcla de características, SuR la mantiene un bajo tiempo de inferencia y un tamaño de modelo menor en comparación con los métodos típicos de SR basados en GAN.
• Novedad Teórica: Representa la primera exploración de medidas de divergencia explícitas (específicamente GW) en el contexto de la superresolución basada en GAN, proporcionando un nuevo marco teórico para alinear las distribuciones LR y SR.
• Rendimiento: El modelo logra resultados de estado del arte en diversos conjuntos de datos, demostando que un enfoque totalmente convolucional con medidas de divergencia cuidadosamente diseñadas puede superar tanto a las CNN tradicionales como a las arquitecturas complejas basadas en Transformers en términos de métricas cuantitativas y calidad visual.