Quaternion Wavelet-Conditioned Diffusion Models for Image Super-Resolution

Resumen Técnico: ResQu – Modelos de Difusión Condicionados por Ondículas Cuaterniónicas para Super-Resolución de Imágenes

Enunciado del Problema
La Super-Resolución (SR) de imágenes tiene como objetivo reconstruir imágenes de alta resolución (HR) a partir de entradas de baja resolución (LR), una tarea crítica para aplicaciones posteriores de visión por computadora, como la detección y segmentación de objetos. Si bien el aprendizaje profundo ha avanzado significativamente en la SR, lograr reconstrucciones que equilibren la calidad perceptiva con la fidelidad estructural, particularmente en factores de ampliación altos, sigue siendo un desafío. Los métodos de SR basados en difusión existentes a menudo luchan por preservar detalles finos y texturas realistas sin introducir artefactos o desenfoque. Además, muchos enfoques dependen de modelos de degradación predefinidos que limitan la generalización a escenarios del mundo real.

Metodología: El Marco ResQu
Los autores proponen ResQu, un nuevo marco de SR que integra una tubería de preprocesamiento de ondículas cuaterniónicas con modelos de difusión latente (LDM). La arquitectura aprovecha los priores generativos de modelos fundacionales preentrenados, específicamente Stable Diffusion (SD), mientras introduce un mecanismo de condicionamiento especializado.

1. Transformada de Ondículas Cuaterniónicas (QWT) y QUAVE:
   A diferencia de las Transformadas Discretas de Ondículas (DWT) estándar, que carecen de invariancia traslacional e información de fase, ResQu utiliza la Transformada de Ondículas Cuaterniónicas. La QWT descompone las imágenes en cuatro sub-bandas (escalado y tres ondículas direccionales), generando 16 sub-bandas reales que capturan representaciones multidimensionales ricas tanto de aproximaciones de baja frecuencia como de detalles de alta frecuencia. Para evitar la redundancia, el marco emplea QUAVE, un enfoque basado en aprendizaje que extrae características de las sub-bandas QWT más informativas.

2. Codificador Consciente de Ondículas Cuaterniónicas y Tiempo:
   La innovación central es un nuevo codificador que procesa las entradas LR para generar incrustaciones de ondículas cuaterniónicas. Estas incrustaciones se integran dinámicamente en el proceso de difusión junto con las incrustaciones de paso de tiempo.

   • Condicionamiento Multiescala: El codificador inyecta estas características en los mapas de características intermedios del núcleo U-Net mediante Transformaciones de Características Espaciales (SFT).
   • Guía Adaptativa: El codificador es "consciente del tiempo", lo que significa que ajusta su fuerza de condicionamiento en función del paso de difusión. En las etapas tempranas de eliminación de ruido (baja relación señal-ruido), proporciona una guía estructural fuerte para preservar la integridad. A medida que la representación latente se refina (mayor relación señal-ruido), el codificador reduce su influencia, permitiendo que el modelo de difusión se centre en generar texturas finas.

3. Estrategia de Entrenamiento:
   ResQu ajusta finamente un modelo Stable Diffusion preentrenado en lugar de entrenar desde cero. El codificador y decodificador VAE se mantienen congelados, y el núcleo U-Net se adapta con el nuevo codificador consciente de ondículas cuaterniónicas y tiempo. Este enfoque reduce significativamente los requisitos computacionales mientras aprovecha los extensos priores generativos aprendidos de vastos conjuntos de datos.

Contribuciones Clave

1. Integración Novel: La introducción de un modelo de difusión latente para SR de imágenes que integra de manera única características de ondículas cuaterniónicas con priores generativos.
2. Codificador Especializado: La propuesta de un codificador consciente de ondículas cuaterniónicas y tiempo que mejora el proceso de condicionamiento a múltiples escalas durante la eliminación de ruido, mejorando el rendimiento de modelos fundacionales preentrenados como Stable Diffusion.
3. Validación de Rendimiento: Extensos experimentos que demuestran que ResQu supera a los métodos existentes tanto en calidad perceptiva (LPIPS, FID) como en métricas cuantitativas (PSNR, SSIM).
4. Análisis de Ablación y Dominio: Estudios rigurosos de ablación sobre el diseño de la arquitectura (por ejemplo, Envoltura de Características Controlable) y evaluaciones sin entrenamiento previo en conjuntos de datos específicos de dominio (ShipSpotting), demostrando la robustez y versatilidad del método.

Resultados Experimentales
Los autores evaluaron ResQu en conjuntos de datos sintéticos (DIV2K) y del mundo real (RealSR, DRealSR), así como en un conjunto de datos marítimo específico de dominio (ShipSpotting).

• Rendimiento Cuantitativo: En el conjunto de validación DIV2K, ResQu logró un PSNR de 25.21 y un SSIM de 0.645, superando a líneas base como StableSR y LDM. En RealSR y DRealSR, el modelo demostró una fuerte generalización, logrando el PSNR más alto (26.45 y 29.69, respectivamente) y puntuaciones SSIM competitivas.
• Análisis Cualitativo: Las comparaciones visuales destacan la capacidad de ResQu para reconstruir detalles estructurales intrincados (por ejemplo, arrugas faciales, texturas de pelaje) y elementos de texto sin los artefactos de desenfoque o aliasing comunes en otros métodos. El condicionamiento basado en cuaterniones preserva eficazmente los bordes nítidos y los patrones estocásticos naturales.
• Capacidad Sin Entrenamiento Previo: En una evaluación sin entrenamiento previo en el conjunto de datos ShipSpotting (sin reentrenamiento), ResQu logró un rendimiento comparable al de modelos especializados completamente entrenados, demostrando su capacidad para generalizar a dominios no vistos y manejar texturas marítimas complejas.
• Hallazgos de Ablación: Los estudios sobre los pasos de muestreo revelaron una compensación donde menos pasos mejoraron la eficiencia y las métricas a nivel de píxel (PSNR/SSIM) pero redujeron ligeramente la calidad perceptiva (LPIPS). Además, un módulo de Envoltura de Características Controlable (CFW) entrenado a medida superó a la versión preentrenada de StableSR en la preservación de la fidelidad estructural.

Significado y Afirmaciones
El artículo afirma que ResQu establece un nuevo referente en la super-resolución de imágenes al sintetizar eficazmente priores generativos con técnicas avanzadas de procesamiento de señales. Los autores afirman que su enfoque aborda con éxito el desafío de equilibrar la fidelidad estructural con el realismo perceptivo, una limitación común en los métodos actuales de SR basados en difusión. Al aprovechar las incrustaciones de ondículas cuaterniónicas, el marco captura relaciones de fase esenciales y características multidimensionales, permitiendo la recuperación de detalles finos y un rendimiento robusto en diversos tipos de contenido, desde retratos humanos hasta texturas naturales complejas y texto. El trabajo contribuye con un paradigma arquitectónico novel que integra características de ondículas cuaterniónicas con modelos de difusión, ofreciendo una solución versátil para tareas de mejora de imágenes en el mundo real.