Resumen Técnico: RASR: Super Resolución Aumentada por Recuperación para Restauración de Imágenes Basada en Referencia Práctica

1. Declaración del Problema

La Super Resolución de Imagen Única (SISR) tiene como objetivo reconstruir imágenes de alta resolución (HR) a partir de entradas de baja resolución (LR). Aunque los avances recientes en CNNs, Transformers y modelos de difusión han mejorado la calidad perceptual, la SISR sigue siendo un problema mal planteado. A menudo lucha por alucinar texturas de grano fino, particularmente en regiones con contenido complejo o ambiguo.

La Super Resolución Basada en Referencia (RefSR) aborda esto aprovechando imágenes de referencia auxiliares de alta calidad que comparten similitud semántica o estructural con la entrada LR para transferir texturas realistas. Sin embargo, los enfoques de RefSR existentes sufren una limitación crítica: dependen de pares de imágenes objetivo-referencia curados manualmente. Esta suposición restringe severamente la escalabilidad y la aplicabilidad en el mundo real, ya que los usuarios rara vez poseen referencias perfectamente emparejadas en el momento de la inferencia. El desafío de adquirir eficientemente imágenes de referencia adecuadas en escenarios de mundo abierto sigue poco explorado.

2. Metodología: RASR y RASRNet

Para cerrar la brecha entre la investigación académica y el despliegue práctico, los autores proponen Super Resolución Aumentada por Recuperación (RASR), un paradigma que recupera automáticamente imágenes HR semánticamente relevantes de una base de datos de referencia dada únicamente una entrada LR.

A. Formulación de la Tarea

La tarea RASR se define como $RASR(I_{LR}) = G(I_{LR}, I_{REF}) = G(I_{LR}, R(DB, I_{LR}))$, donde:

• $DB$ es una base de datos pre-curada de imágenes de referencia de alta calidad.
• $R$ es un recuperador que selecciona la $I_{REF}$ semánticamente más relevante basada en $I_{LR}$.
• $G$ es una función de generación que reconstruye la salida HR condicionada a ambas entradas.

B. Arquitectura de la Red (RASRNet)

La línea base propuesta, RASRNet, integra dos módulos principales:

1. Recuperador de Referencia de Imágenes del Mundo Real (RIRR):

   • A diferencia de los métodos basados en textura que fallan en imágenes LR degradadas, RIRR utiliza recuperación basada en semántica.
   • Emplea codificadores visuales DINOv2 para extraer incrustaciones de las imágenes de referencia.
   • La recuperación se realiza mediante coincidencia de similitud coseno para identificar la referencia más similar para una entrada LR dada.

2. Super Resolución Difusiva Basada en Referencia (RefDSR):

   • Este es un generador plug-and-play ($G_\theta$) construido sobre una columna vertebral de difusión SISR preentrenada (por ejemplo, StableSR).
   • Estrategia de Congelamiento: Los parámetros del codificador VAE original ($E$), el decodificador ($D$) y la UNet ($F$) se congelan para preservar las capacidades generativas.
   • Integración de ControlNet: Se introduce una rama de ControlNet entrenable ($F^{REF}_\theta$). Utiliza módulos LoRA y capas de convolución cero en los DownBlocks.
   • Inyección de Características: La imagen de referencia $I_{REF}$ es codificada por un codificador VAE congelado ($E^{REF}$) en una representación latente $z_{REF}$. Esto se alimenta a la rama de ControlNet.
   • Fusión Condicional: Las características de referencia se inyectan solo en los primeros tres bloques de decodificación de la UNet. La atención cruzada basada en texto se aplica exclusivamente en el último bloque de decodificación. Este diseño asegura que las etapas tempranas se centren en la reconstrucción estructural bajo guía semántica, mientras que la etapa final refina la fidelidad global y el estilo mediante la condición de texto.
   • Objetivos de Entrenamiento: El modelo se entrena utilizando una suma ponderada de la pérdida MSE, la pérdida perceptual LPIPS, la pérdida GAN (con un discriminador de columna vertebral DINO fijo) y una pérdida Gram ($L_{Gram}$) para mejorar el realismo de la textura.

C. Conjunto de Datos: RASR-Flickr30

Los autores introducen RASR-Flickr30, el primer conjunto de datos diseñado para RASR.

• Fuente: Imágenes recopiladas de Flickr.com.
• Enfoque: 30 especies de animales, elegidas por su diversidad y consistencia intra-especie.
• Estructura: Para cada especie, el conjunto de datos proporciona 40 imágenes de entrenamiento, 5 imágenes de prueba y aproximadamente 100 imágenes de referencia para apoyar la recuperación dinámica en mundo abierto. Esto contrasta con conjuntos de datos anteriores que dependen de pares objetivo-referencia fijos.

3. Resultados Experimentales

Se realizaron experimentos en el conjunto de prueba RASR-Flickr30 y en el conjunto de datos WR-SR, comparando RASRNet con métodos SISR basados en GAN, RefSR y basados en difusión del estado del arte.

Rendimiento Cuantitativo

RASRNet supera consistentemente a las líneas base SISR y otros métodos RefSR en el conjunto de prueba RASR-Flickr30:

• Fidelidad: Logró una mejora de +0.38 dB PSNR y +0.0063 SSIM sobre la línea base OSEDiff.
• Calidad Perceptual: Demostró reducciones significativas en las métricas de error perceptual: -0.0131 LPIPS, -0.0172 DISTS y -8.76 FID.
• Métricas Sin Referencia: Mejoró NIQE en -0.0870 y logró ganancias en MUSIQ (+0.98) y CLIPIQA (+0.0134).
• Comparación con RefSR: Los métodos RefSR anteriores (por ejemplo, C2-Matching, DATSR) mostraron un rendimiento inferior en imágenes con degradaciones realistas en comparación con los modelos SISR basados en GAN. RASRNet, aprovechando una arquitectura de difusión, demostró ser más robusto frente a degradaciones complejas donde las redes de correspondencia de coincidencia de parches suelen fallar.

Observaciones Cualitativas

Las comparaciones visuales (por ejemplo, ejemplos de nutria y pavo real) indican que, mientras otros métodos basados en difusión (StableSR, DiffBIR, PASD) luchan con la eliminación de ruido, la precisión estructural o la suavidad de la textura, RASRNet reconstruye con éxito texturas más ricas (por ejemplo, pelaje, plumas) y rasgos faciales más realistas, resultando en restauraciones fieles y visualmente convincentes.

4. Significado y Contribuciones

El artículo afirma tres contribuciones principales que avanzan el campo de la restauración de imágenes:

1. Nuevo Paradigma (RASR): La propuesta de Super Resolución Aumentada por Recuperación, que elimina la necesidad de emparejamiento manual de referencias. Esto permite un despliegue flexible en escenarios del mundo real (por ejemplo, museos, zoológicos) donde los datos de referencia específicos de categoría pueden pre-curarse.
2. Conjunto de Datos de Referencia (RASR-Flickr30): La creación del primer conjunto de datos de SR aumentado por recuperación con galerías de referencia por categoría, facilitando la investigación sobre recuperación dinámica en mundo abierto.
3. Línea Base Efectiva (RASRNet): La introducción de una línea base sólida que combina recuperación semántica con un generador basado en difusión. Los resultados demuestran que la augmentación por recuperación puede cerrar efectivamente la brecha entre la investigación académica de RefSR y la aplicabilidad en el mundo real, ofreciendo una dirección prometedora para trabajos futuros.

Los autores mantienen un tono modesto, posicionando a RASRNet como una línea base que valida el potencial del paradigma aumentado por recuperación en lugar de afirmarlo como una solución final a todos los desafíos de super resolución.