💻 computer science

TDiR: Transformer based Diffusion for Image Restoration Tasks

Este artículo presenta TDiR, un modelo de difusión basado en transformadores que supera a 18 técnicas de vanguardia en cinco evaluaciones comparativas en mejora, eliminación de ruido y eliminación de lluvia submarina, restaurando eficazmente la calidad de la imagen degradada para tareas posteriores.

Autores originales: Abbas Anwar, Ibrahim Radwan, Ali Arshad Nasir, Mudassir Masood, Saeed Anwar

Publicado 2026-07-27

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Abbas Anwar, Ibrahim Radwan, Ali Arshad Nasir, Mudassir Masood, Saeed Anwar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando contemplar una pintura hermosa, pero alguien la ha rociado con niebla, la ha salpicado con lodo o la ha cubierto con una espesa capa de lluvia. En el mundo de las computadoras, esto se llama "degradación de imagen". Cuando una cámara captura una foto en una cueva oscura, bajo el agua o durante una tormenta, la imagen resultante suele ser borrosa, ruidosa o tener el color incorrecto. Esto no es solo una molestia para los fotógrafos; es un gran problema para los robots, los coches autónomos y los médicos que necesitan ver con claridad para tomar decisiones. Durante años, las computadoras han intentado arreglar estas imágenes usando modelos "discriminativos". Piensa en estos como un profesor de arte estricto que mira una pintura embarrada e intenta adivinar exactamente qué era el arte original, siguiendo un único y rígido camino hacia la respuesta. Pero el desorden del mundo real rara vez es tan simple. A veces, una mancha borrosa podría arreglarse de muchas maneras diferentes, y una suposición única y rígida suele errar el tiro.

Entra en escena un enfoque más creativo llamado "modelos de difusión". Si la forma antigua es un profesor estricto, un modelo de difusión es como un escultor trabajando con arcilla. En lugar de adivinar la forma final inmediatamente, el escultor comienza con un trozo de ruido aleatorio (como una pila caótica de polvo de arcilla) y, paso a paso, va eliminando el ruido para revelar la imagen oculta debajo. Este artículo presenta una nueva herramienta llamada TDiR (Difusión basada en Transformers para la Restauración de Imágenes). Combina el poder de "escultura" paso a paso de los modelos de difusión con una arquitectura "Transformer", un tipo de cerebro informático que es muy bueno entendiendo cómo se relacionan las diferentes partes de una imagen, de forma muy similar a cómo entendemos una oración al observar cómo se conectan las palabras. Los autores quisieron ver si esta combinación podía arreglar tres tipos de fotos muy desordenadas: tomas submarinas (que suelen ser verdes y neblinosas), fotos cubiertas de lluvia y fotos llenas de estática o ruido.

Los investigadores construyeron el TDiR tomando una red inteligente existente llamada PromptIR y dándole una actualización "condicionada por el ruido". Añadieron una vía de decodificación especial que le dice a la computadora: "Oye, estamos en este paso específico del proceso de limpieza, y el nivel de ruido es este de alto". Esto permite que el modelo ajuste su estrategia mientras trabaja. Probaron este nuevo sistema en cinco bancos de pruebas estándar diferentes, comparándolo con otras 18 técnicas de alto nivel. Los resultados fueron impresionantes. En la categoría submarina, el TDiR logró una puntuación de 22.90 dB en PSNR (una medida de qué tan cerca está la imagen restaurada de la original) y 0.8724 en SSIM (una medida de similitud estructural), superando al competidor más cercano, MetaUE, por 0.89 dB y 0.011 puntos de SSIM. Para eliminar la lluvia, obtuvo 37.43 dB en el conjunto de datos Rain100L, superando por poco a un modelo que fue reentrenado específicamente para esa tarea (PromptIR*) por 0.40 dB.

Sin embargo, el artículo tiene cuidado de no llamar a esto un problema perfecto y resuelto. Los autores descubrieron que, aunque el TDiR es un "generalista" que puede manejar el ruido, la lluvia y los problemas submarinos a la vez, no siempre vence a los modelos "especialistas" que solo hacen un trabajo. De hecho, para la eliminación de ruido en niveles de ruido bajos, un modelo entrenado únicamente para esa tarea todavía funcionaba mejor. También notaron una peculiaridad específica: debido a que el modelo procesa las imágenes en pequeños parches (como un mosaico), a veces deja tenues artefactos de "bloqueo" en los bordes donde se encuentran los parches, lo que puede reducir ligeramente las puntuaciones técnicas incluso si la imagen se ve genial para el ojo humano. Además, el proceso es más lento y computacionalmente más costoso que los métodos antiguos porque tiene que dar muchos pasos para "esculpir" la imagen de vuelta a la vida.

En última instancia, el estudio sugiere que mezclar modelos de difusión con transformers es una forma poderosa de restaurar imágenes degradadas, produciendo a menudo resultados que se ven más naturales y manejan desordenes complejos y de múltiples capas mejor que los métodos antiguos. Sugiere que para tareas como la exploración submarina o la conducción autónoma, donde la respuesta "correcta" no siempre es obvia, este enfoque flexible y paso a paso ofrece una mejora significativa en la calidad visual, incluso si conlleva un mayor costo en potencia de cómputo y algunos compromisos técnicos menores.

Resumen Técnico: TDiR (Transformer-based Diffusion for Image Restoration)

Planteamiento del Problema

La restauración de imágenes es un desafío crítico en la visión por computadora, cuyo objetivo es recuperar imágenes limpias y originales a partir de versiones degradadas afectadas por ruido, desenfoque, dominantes de color y dispersión de luz. Estas degradaciones perjudican significamente la utilidad de las imágenes en tareas de visión de alto nivel como la detección de objetos, el mapeo y la clasificación. Si bien los métodos no generativos han mostrado éxito en tareas de visión de alto nivel, a menudo tienen dificultades con las distribuciones multimodales complejas que se encuentran en tareas de visión de bajo nivel como la reconstrucción submarina, la eliminación de ruido y la eliminación de lluvia. Específicamente, la imaginería submarina presenta desafíos únicos debido a la dispersión de la luz, la absorción y los cambios de color que varían con las condiciones ambientales, lo que a menudo requiere modelos capaces de navegar por múltiples estados de degradación potenciales en lugar de mapear una única entrada degradada a una única salida limpia.

Metodología

El artículo propone TDiR, un modelo de difusión condicional basado en Transformers diseñado para abordar múltiples tareas de restauración de imágenes dentro de un marco unificado.

Arquitectura: El núcleo de TDiR es una arquitectura U-Net basada en Transformer, adaptada del backbone PromptIR. PromptIR utiliza módulos de prompts para adaptarse a variaciones en los niveles de degradación sin requerir modelos distintos para cada tarea.
Proceso de Difusión: El modelo opera dentro de un marco de difusión que consta de un proceso de difusión hacia adelante (añadiendo progresivamente ruido gaussiano) y una etapa de eliminación de ruido hacia atrás.
- Proceso hacia adelante (Forward Process): Se añade ruido gaussiano a la imagen de entrada $y_0$ a lo largo de $T$ iteraciones hasta que se asemeja a ruido puro.
- Proceso hacia atrás (Backward Process): Una red de eliminación de ruido aprende a revertir este proceso, moviéndose desde la distribución gaussiana de vuelta a la distribución empírica del conjunto de datos.
Modificación Arquitectónica Clave: Los autores introducen una modificación ligera donde una vía de decodificador dedicada concatena la entrada degradada con un embedding del paso de tiempo de la difusión. Esto permite que la red condicione su proceso de restauración basándose en el nivel específico de ruido introducido durante el paso hacia adelante.
Estrategia de Entrenamiento: Para abordar la naturaleza ávida de datos de los transformers, los autores utilizan un codificador preentrenado (congelado) como backbone. Solo se optimizan los parámetros del decodificador durante el entrenamiento. El modelo se entrena en un conjunto de datos combinado que cubre tres tareas: mejora de imagen submarina, eliminación de ruido y eliminación de lluvia. La función objetivo minimiza la pérdida $L_1$ entre el ruido predicho y el ruido real añadido a la imagen.
Inferencia: El proceso de restauración implica un procedimiento de eliminación de ruido iterativo, lo que requiere múltiples pasadas hacia adelante por imagen.

Contribuciones Clave

Modelo de Difusión Condicional Unificado: La propuesta de TDiR, que convierte un backbone de PromptIR preentrenado en un eliminador de ruido condicionado por el ruido, permitiendo la aplicación en diversas tareas de restauración (submarina, eliminación de ruido, eliminación de lluvia) sin necesidad de cambiar de modelo según la tarea.
Condicionamiento de Paso de Tiempo Ligero: La introducción de una vía de decodificador que concatena la entrada degradada con embeddings del paso de tiempo de la difusión, permitiendo que el modelo adapte dinámicamente su estrategia de restauración basándose en el nivel de ruido.
Evaluación Exhaustiva: Una evaluación rigurosa de TDiR a través de tres tareas distintas utilizando cinco conjuntos de datos de referencia (UIEB, Test-60, BSD68, Rain100L, etc.) y cuatro métricas de evaluación (PSNR, SSIM, UCIQE, UIQM). El estudio compara TDiR contra 18 técnicas de vanguardia.
Análisis Cualitativo: Un examen del proceso de restauración basado en difusión comparado con redes puramente discriminativas, resaltando las ventajas en el manejo de degradaciones multimodales mientras se reconocen las limitaciones como los artefactos residuales basados en parches.

Resultados Experimentales

El artículo reporta que TDiR supera a los métodos actuales de vanguardia en las tareas evaluadas:

Mejora de Imagen Submarina: En el conjunto de datos UIEB, TDiR logró los puntajes más altos de referencia completa con 22.90 dB de PSNR y 0.8724 de SSIM, superando al competidor más cercano (MetaUE) por 0.89 dB y 0.011 de SSIM, respectivamente. En el subconjunto sin referencia Test-60, alcanzó una puntuación UIQM de 2.73, superando significativamente a otros métodos. Los resultados cualitativos muestran una fidelidad de color superior y una supresión de las dominantes de color verde en comparación con PromptIR y otros baselines.
Eliminación de Ruido (Denoising): En el conjunto de datos BSD68, TDiR superó a todos los métodos de referencia (incluyendo modelos especializados de una sola tarea) en niveles de ruido $\sigma=15, 25, 50$ . Notablemente, en $\sigma=50$ , TDiR superó al modelo especialista PromptIR. Aunque el SSIM disminuyó ligeramente en niveles de ruido altos debido a artefactos de parches, el modelo produjo resultados perceptualmente más limpios con menos artefactos de grano visibles en regiones uniformes.
Eliminación de Lluvia (Deraining): En el conjunto de datos Rain100L, TDiR logró un PSNR de 37.43, superando al baseline de PromptIR* reentrenado por 0.40 dB y excediendo significativamente a otros métodos como AirNet y MPRNet. El análisis cualitativo confirmó la eliminación completa de las rayas de lluvia en regiones uniformes (cielo, arena) y una mejor preservación de texturas finas en comparación con los competidores.

Significado y Reivindicaciones

El artículo afirma que la combinación de modelos de difusión y transformers ofrece una solución robusta para la restauración de imágenes, particularmente en escenarios que involucran degradaciones multimodales complejas. Los autores enfatizan que los modelos de difusión sobresalen al navegar por las diversas distribuciones de imágenes degradadas, permitiendo una restauración más matizada que refleja la variabilidad del mundo real, lo cual es particularmente beneficioso para la imaginería submarina donde la iluminación y la claridad varían significamente.

Sin embargo, el artículo mantiene un tono modesto respecto a sus limitaciones. Reconoce que:

Costo Computacional: La naturaleza iterativa de la difusión hace que TDiR sea significativamente más costoso de inferir que los modelos discriminativos de un solo paso, lo que podría limitar las aplicaciones en tiempo real.
Artefactos: El procesamiento por parches del denoiser basado en transformer puede generar artefactos de bloqueo en los límites de unión, lo que puede reducir marginalmente las puntuaciones de PSNR/SSIM en relación con la calidad perceptual.
Compromisos de Generalización: Aunque el modelo unificado es versátil, rinde consistentemente por debajo de los modelos especializados de una sola tarea en escenarios específicos (por ejemplo, escenas submarinas de baja profundidad con fondos planos), lo que sugiere un compromiso entre versatilidad y precisión máxima.
Dependencia de la Profundidad: El modelo depende de pistas relacionadas con la profundidad para una restauración submarina efectiva, las cuales pueden estar ausentes en ciertas escenas desafiantes.

Los autores concluyen que, si bien TDiR demuestra mejoras significativas en la calidad de la imagen a través de múltiples tareas, el trabajo futuro podría abordar sus limitaciones mediante técnicas como la inferencia de parches superpuestos, la destilación a menos pasos de difusión o el ajuste fino condicionado por la tarea.