The re-identification generative adversarial network for image super-resolution

Resumen Técnico: La Red Neuronal Antagónica de Re-identificación para la Superresolución de Imágenes (SOAGAN)

Planteamiento del Problema
La Superresolución de Imagen Única (SISR) tiene como objetivo reconstruir una imagen de alta resolución (HR) a partir de una entrada de baja resolución (LR) dada. Aunque los métodos basados en aprendizaje profundo han logrado avances significativos, persiste un desafío constante: las imágenes reconstruidas por los modelos existentes suelen divergir de los hábitos de la percepción visual humana. Los métodos tradicionales basados en interpolación o en priors específicos suelen resultar en una pérdida de información de alta frecuencia y una pobre calidad subjetiva. Por el contrario, aunque las Redes Neuronales Antagónicas (GAN) como SRGAN y ESRGAN mejoran la naturalidad visual, sus discriminadores típicamente identifican la autenticidad de una imagen global. Esta limitación impide la identificación efectiva de detalles locales a nivel de píxel y no tiene en cuenta la correlación de las características intermedias dentro de la red, lo que conduce a imágenes reconstruidas que pueden seguir careciendo de texturas realistas o contener artefactos.

Metodología
Los autores proponen una Red Neuronal Antagónica de Atención de Segundo Orden (SOAGAN) diseñada para abordar estas limitaciones mediante un mecanismo de "re-identificación". El marco consta de dos componentes primarios:

1. Generador: El generador sigue la arquitectura de ESRGAN, utilizando una estructura similar a U-Net compuesta por Bloques Densos Residuales-en-Residual (RRDB) en cascada. Extrae características superficiales, procesa características profundas a través de la cascada RRDB y emplea convolución de subpíxel para el sobremuestreo (upsampling) con el fin de producir la imagen superresuelta.
2. Discriminador: La innovación central reside en el discriminador, que utiliza una arquitectura U-Net con conexiones de salto (skip connections). A diferencia de los discriminadores estándar que emiten una única probabilidad global, este discriminador U-Net realiza una evaluación de dos etapas:
   • Nivel Global: La ruta de codificación (submuestreo) evalúa la autenticidad relativa global de la imagen.
   • Nivel de Píxel: La ruta de decodificación (sobremuestreo) re-identifica la autenticidad relativa a nivel de píxel.
   • Atención de Segundo Orden: Integrado en las conexiones de salto se encuentra un módulo de Atención de Canal de Segundo Orden basado en Covarianza (SOCA). En lugar de utilizar el promedio global (como en RCAN), este módulo emplea el agrupamiento de covarianza global para calcular la covarianza de las características. Esto permite a la red investigar las distribuciones de características y capturar las correlaciones entre características intermedias, mejorando la capacidad del discriminador para identificar características profundas y la autenticidad.

Funciones de Pérdida
Para optimizar la red, SOAGAN emplea una función de pérdida compuesta:

• Pérdida de Contenido $L_1$: Asegura la similitud a nivel de píxel entre las imágenes generadas y las de destino.
• Pérdida Perceptual ($L_{perc}$): Calculada utilizando características de una red VGG pre-entrenada para restringir la imagen en el espacio de características.
• Pérdida Antagónica Relativa: Basada en RaGAN, esta pérdida se aplica tanto en las etapas de codificación como de decodificación. Evalúa la autenticidad relativa de una imagen real ($x_r$) comparada con una imagen falsa generada ($x_f$). La pérdida total para el generador ($L_{Gt}$) combina estos componentes, permitiendo la retroalimentación a nivel de píxel para refinar los parámetros del generador.

Contribuciones Clave

• Discriminador de Atención de Segundo Orden: La propuesta de un discriminador basado en U-Net que incorpora un mecanismo de atención de segundo orden basado en covarianza. Este diseño extrae las características profundas de manera más efectiva al analizar las correlaciones de características, mejorando así la capacidad del discriminador para distinguir la autenticidad.
• Mecanismo de Re-identificación: El marco introduce un bucle de retroalimentación de dos etapas donde el discriminador proporciona no solo retroalimentación de realismo relativo a nivel de imagen global, sino también retroalimentación de realismo relativo a nivel de píxel. Esta "re-identificación" de detalles locales guía al generador para restaurar texturas más realistas.
• Retroalimentación a Nivel de Píxel: Al utilizar la etapa de decodificación de la U-Net para la discriminación por píxel, el modelo actualiza los parámetros basándose en la autenticidad relativa local, abordando la incapacidad de las GAN estándar para identificar eficazmente los detalles locales a nivel de píxel.

Resultados Experimentales
Los autores evaluaron SOAGAN en conjuntos de datos estándar (Set5, Set14, BSD100, Urban100, Manga109) utilizando un factor de escala de 4.

• Métricas Objetivas: El método demostró puntuaciones competitivas de PSNR y SSIM. Aunque los algoritmos basados en PSNR (como EDSR y SRResNet) lograron puntuaciones numéricas más altas, SOAGAN superó a sus competidores basados en GAN (SRGAN, ESRGAN, BSRGAN) en varias métricas, indicando una capacidad para reconstruir imágenes precisas.
• Calidad Subjetiva: El estudio enfatiza el Índice Perceptual (PI), el cual se alinea más estrechamente con la calidad visual humana. SOAGAN logró puntuaciones de PI más bajas (mejores) en comparación con ESRGAN y otras líneas base, lo que sugiere una superioridad en el realismo visual.
• Comparaciones Visuales: El análisis cualitativo mostró que SOAGAN recuperó más textura y detalles sin el suavizado excesivo visto en los métodos impulsados por PSNR o la introducción de artefactos extraños (por ejemplo, texturas de barba falsa o ruido) observados en ESRGAN y FASRGAN.
• Estudios de Ablación: Los experimentos comparando el discriminador propuesto SOCA+UNet contra una UNet estándar y una UNet con atención de canal de primer orden (CAL) confirmaron que el mecanismo de atención de segundo orden basado en covarianza mejora significamente la reconstrucción de detalles de textura precisos y reduce la introducción de texturas extrañas.

Significancia
El artículo afirma que SOAGSOAGAN cierra eficazmente la brecha entre las métricas objetivas y la percepción humana subjetiva en la superresolución de imágenes. Al integrar un mecanismo de re-identificación con atención de segundo orden, el método mejora significativamente la calidad visual de las imágenes reconstruidas, haciéndolas más naturales, con matices texturales y más realistas. Los autores concluyen que, si bien los resultados actuales son prometedores, la exploración de modelos de atención aún más efectivos sigue siendo una dirección viable para mejorar tanto la calidad visual como la precisión de la reconstrucción.