Degradation-Aware and Structure-Preserving Diffusion for Real-World Image Super-Resolution

1. El Problema

La super-resolución de imágenes individuales (SISR) en escenarios del mundo real presenta desafíos significativos para los modelos de difusión actuales. A diferencia de los benchmarks clásicos que asumen una submuestreo bicúbico fijo, las imágenes reales sufren degradaciones complejas, heterogéneas y desconocidas (desenfoque, ruido, artefactos de compresión JPEG, variaciones de iluminación, etc.).

Los enfoques existentes basados en difusión tienen dos limitaciones principales:

1. Tratamiento implícito de la degradación: La mayoría de los métodos condicionan el proceso de eliminación de ruido simplemente concatenando la imagen de baja resolución (LR) o usando embeddings latentes. Esto no desacopla explícitamente el patrón de degradación del contenido de la imagen, lo que lleva a ambigüedades en la restauración (el modelo puede confundir texturas reales con artefactos o generar "alucinaciones" no naturales).
2. Ruido espacialmente uniforme: Los entrenamientos estándar aplican ruido gaussiano uniforme en todo el espacio latente. Esto ignora la heterocedasticidad espacial de la información de la imagen: las regiones estructurales de alta frecuencia (bordes, contornos) son más sensibles al ruido que las áreas planas. El ruido uniforme tiende a eliminar prematuramente las señales estructurales críticas, obligando al modelo a "reinventar" la geometría en lugar de refinar los restos estructurales existentes.

2. Metodología Propuesta

Los autores proponen un marco de difusión ligero que introduce dos módulos aditivos para mejorar la guía de restauración y la preservación estructural sin modificar fundamentalmente la formulación de la difusión:

A. Inyección de Tokens Conscientes de la Degradación (DTI - Degradation-aware Token Injection)

Este módulo busca proporcionar al modelo información explícita sobre el tipo y la severidad de la degradación.

• Extracción de descriptor: Se calcula un descriptor de degradación compacto de 6 dimensiones ($\mathbf{d} \in \mathbb{R}^6$) directamente de la imagen LR (sin aprendizaje previo). Las componentes incluyen:
  • Severidad del desenfoque (varianza del Laplaciano).
  • Nivel de ruido (residuos locales).
  • Artefactos de bloqueo JPEG (discontinuidades de bordes 8x8).
  • Densidad de bordes (magnitud del gradiente de Sobel).
  • Estadísticas de luminancia (brillo y contraste).
• Proyección e Inyección: Este descriptor se proyecta mediante una red MLP ligera a un token de degradación ($\mathbf{t}_{deg}$). Este token se fusiona con las representaciones semánticas e inyecta en la rama de atención cruzada de imagen (en ControlNet y UNet).
• Ventaja: Permite que la red de eliminación de ruido tenga "conciencia" explícita de la degradación, facilitando una restauración más dirigida y robusta.

B. Inyección de Ruido Asimétrico Espacialmente (SANI - Spatially Asymmetric Noise Injection)

Esta es una estrategia de entrenamiento diseñada para preservar la geometría de la imagen.

• Mecanismo: Se calcula un mapa de fuerza de bordes ($\mathbf{E}$) a partir de la imagen LR. Durante el entrenamiento, la magnitud del ruido gaussiano se modula espacialmente:
  $$\boldsymbol{\epsilon}' = \boldsymbol{\epsilon} \odot (1 - \lambda \mathbf{E})$$
  Donde $\lambda$ controla la fuerza de modulación.
• Efecto: Las regiones ricas en bordes (estructuras) reciben menos ruido (reducción de varianza), mientras que las áreas suaves mantienen el ruido estándar.
• Objetivo: Esto protege el "esqueleto geométrico" de la imagen durante el proceso de difusión, anclando el proceso generativo a la topología estructural original y evitando la pérdida de detalles finos.

3. Contribuciones Clave

1. DTI: Un mecanismo de inyección de tokens que codifica explícitamente características de degradación en tokens de condición, permitiendo al modelo manejar diversas corrupciones del mundo real de manera más dirigida.
2. SANI: Una estrategia de entrenamiento consciente de la estructura que modula los niveles de ruido basándose en la geometría local de la imagen, mejorando la preservación de bordes y texturas finas.
3. Eficiencia y Rendimiento: Ambos módulos son aditivos y ligeros. No requieren cambios arquitectónicos masivos ni etiquetas auxiliares complejas, manteniendo una sobrecarga de parámetros y tiempo de inferencia mínima.

4. Resultados Experimentales

Los métodos se evaluaron en los conjuntos de datos DIV2K y RealSR (x4), comparando con el estado del arte (Real-ESRGAN, SeeSR, StableSR, DiffBIR, etc.).

• Calidad Perceptual: El método propuesto logra resultados competitivos o superiores en métricas no referenciadas (NIQE, NRQM, PI, CLIP-IQA, MUSIQ), que miden la calidad visual percibida por humanos. En particular, obtuvo los mejores resultados en NIQE y MUSIQ en ambos conjuntos de datos.
• Compensación Percepción-Distorsión: Como es típico en métodos generativos, el método tiene puntuaciones ligeramente inferiores en PSNR y SSIM (métricas de fidelidad de píxeles) en comparación con métodos basados en regresión pura. Sin embargo, ofrece una compensación favorable, priorizando la realismo visual y la textura natural sobre la precisión de píxel estricta.
• Estudios de Ablación:
  • DTI solo: Mejora la calidad perceptual (texturas más realistas) pero no siempre es suficiente para preservar la estructura en degradaciones complejas.
  • SANI solo: Mejora consistentemente la preservación de bordes y detalles locales.
  • Combinación (DTI + SANI): Logra el mejor rendimiento global, demostrando que la guía de degradación explícita y la preservación estructural son complementarias.

5. Significado e Impacto

Este trabajo es significativo porque aborda la brecha entre los modelos de difusión teóricos y las aplicaciones prácticas de super-resolución en el mundo real.

• Interpretabilidad: Al utilizar descriptores de degradación explícitos y calculables (en lugar de aprenderlos ciegamente), el modelo se vuelve más robusto y predecible ante diferentes tipos de corrupción.
• Preservación Estructural: La estrategia SANI ofrece una solución elegante al problema de la pérdida de bordes en la difusión, sin necesidad de pérdidas adicionales o arquitecturas complejas.
• Eficiencia: Demuestra que se pueden obtener mejoras sustanciales en la calidad de restauración realista con una sobrecarga computacional casi nula (solo ~0.01% más de parámetros y ~0.1s de latencia por imagen).

Limitaciones: El método hereda el alto costo de inferencia de los modelos de difusión multi-paso. Además, el descriptor de degradación manual podría no ser suficiente para degradaciones mixtas extremadamente complejas o nunca vistas, y en casos difíciles podría generar bordes sobre-enfocados o texturas alucinadas.

En resumen, el artículo presenta un enfoque pragmático y efectivo que combina la conciencia de la degradación y la preservación estructural para elevar el estado del arte en la super-resolución de imágenes reales.