Simon-SR: Spatially Adaptive Modulation and Visual Prompt Adaptation for Text-Reinforced Super-Resolution

Resumen Técnico: Simon-SR: Modulación Espacialmente Adaptativa y Adaptación de Prompts Visuales para la Superresolución Reforzada por Texto

Planteamiento del Problema
La Superresolución de Imagen Única (SISR, por sus siglas en inglés) tiene como objetivo reconstruir imágenes de alta calidad a partir de entradas de baja resolución. Aunque el aprendizaje profundo ha avanzado en este campo, la naturaleza mal definida del problema suele resultar en salidas excesivamente suaves, particularmente en tasas de submuestreo extremas (por ejemplo, ×16). Los métodos unimodales existentes, que a menudo dependen de arquitecturas adversarias, luchan contra la distorsión estructural y los artefactos debido a la falta de supervisión externa. Por el contrario, los enfoques multimodales recientes que aprovechan las semánticas textuales como priors enfrentan desafíos significativos: son sensibles a los priors de texto erróneos, requieren anotaciones humanas costosas y a menudo sufren de sesgos semánticos durante la fusión de texto e imagen, lo que conduce a una atención insuficiente en detalles críticos o a la alucinación de características implausibles.

Metodología
Los autores proponen Simon-SR, un marco de trabajo de SISR multimodal que trata el texto no como un prior fijo de verdad fundamental (ground-truth), sino como una variable semántica latente y aprendible optimizada conjuntamente con la restauración de la imagen. El marco opera en dos etapas secuenciales:

1. Aprendizaje de Prompts Contrastivos (CPL):
   En lugar de depender de anotaciones de texto predefinidas, Simon-SR extrae semántica visual a nivel de instancia de imágenes no anotadas utilizando codificadores CLIP congelados. El modelo aprende un conjunto de prompts (formulados como "[X] [X]...") asociados con cada instancia de imagen. Estos prompts se optimizan minimizando una pérdida contrastiva ($L_{con}$) que alinea las características textuales aprendidas con las características visuales extraídas por el codificador de imagen de CLIP. Este proceso permite que el modelo derive anclajes semánticos directamente de los datos de la imagen, evitando los sesgos semánticos inherentes a las anotaciones humanas o a los modelos de lenguaje de gran escala preentrenados.

2. Refinamiento Espacialmente Adaptativo Guiado por Prompts (PSAR):
   Los prompts aprendidos se inyectan en el flujo de restauración de imagen a través de Bloques de Refinamiento Progresivo Conscientes del Texto (PTRBlock). Dentro de estos bloques, se emplea un novedoso mecanismo de Refinamiento Espacialmente Adaptativo Guiado por Prompts. Este módulo utiliza un modulador de atención cruzada para computar correlaciones espaciales entre el contenido visual y los prompts textuales.

   • Las características visuales se proyectan en un espacio de consulta (query), mientras que las características textuales se proyectan en un espacio de clave (key).
   • El mapa de atención espacial resultante codifica la relevancia de regiones específicas de la imagen con respecto al texto.
   • Se aplica una transformación afín a las características de la imagen, donde los parámetros de escalado ($\Delta\Gamma$) y desplazamiento ($\Delta B$) están controlados por este mapa de atención.
   • Esto permite al modelo amplificar o suprimir selectivamente las respuestas en regiones semánticamente relevantes mientras deja las áreas irrelevantes sin cambios, asegurando una mejora de grano fino consciente de la semántica sin distorsionar la estructura de la imagen.

La red se entrena utilizando una combinación de pérdida de reconstrucción ($L_{sr}$), pérdida perceptual ($L_{percep}$) y una pérdida adversaria ($L_{adv}$) que incorpora las características textuales aprendidas para guiar al discriminador.

Contribuciones Clave
El artículo describe tres contribuciones principales:

1. Enfoque basado en Prompts Aprendibles: Un método que extrae semántica textual de imágenes no anotadas, eliminando efectivamente la necesidad de anotaciones humanas y mitigando los sesgos de los modelos multimodales de gran escala preentrenados.
2. Mecanismo de Fusión Espacialmente Adaptativa: Una novedosa estrategia de fusión de texto e imagen mediante transformaciones afines basadas en atención que mejora tanto la relevancia semántica como la utilización eficiente de las pistas textuales.
3. Desempeño de Vanguardia (State-of-the-Art): Experimentos extensos que demuestran un rendimiento superior en múltiples bancos de pruebas (CUB, DIV2K, COCO2017) y tasas de submuestreo (×4, ×8, ×16).

Resultados Experimentales
Los autores evaluaron Simon-SR frente a líneas base de vanguardia, incluyendo métodos unimodales (EDSR, RCAN) y métodos multimodales (XPSR, CLIP-SR).

• Mejoras Cuantitativas: En el conjunto de datos CUB a escala ×16, Simon-SR logró una mejora máxima de 0.50 dB en PSNR y 0.0133 en SSIM comparado con CLIP-SR. En el conjunto de datos DIV2K a ×16, logró una reducción de 0.0695 en LPIPS, lo que indica un realismo perceptual superior.
• Estudios de Ablación: Los experimentos confirmaron que tanto el Aprendizaje de Prompts Contrastivos (CPL) como el Refinamiento Espacialmente Adaptativo Guiado por Prompts (PSAR) son componentes esenciales, con el modelo completo superando a las configuraciones donde cualquiera de los dos componentes es eliminado.
• Análisis Cualitativo: Las comparaciones visuales muestran que, mientras los métodos convencionales producen imágenes excesivamente suaves y los modelos basados en difusión sufren de artefactos inducidos por el texto, Simon-SR logra un compromiso equilibrado, recuperando detalles abundantes mientras mantiene la fidelidad estructural.

Significancia
El artículo afirma que Simon-SR demuestra la efectividad de los prompts aprendibles en la superresolución multimodal. Al tratar el texto como una variable aprendible en lugar de un prior fijo, el marco logra una fusión de texto e imagen robusta sin la sobrecarga computacional y los costos de anotación asociados con los métodos existentes. El trabajo destaca cómo la minería semántica eficiente y la modulación espacialmente adaptativa pueden mejorar significativamente la recuperación de detalles y la calidad perceptual, incluso en tasas de submuestreo extremas.