Real-World Scene Recovery for Scattering-Degraded Images Using Spatial and Frequency Priors

Resumen Técnico: Recuperación de Escenas del Mundo Real para Imágenes Degradadas por Dispersión Mediante Priors Espaciales y de Frecuencia

Planteamiento del Problema
La recuperación de escenas a partir de imágenes degradadas por efectos de dispersión, como niebla, tormentas de arena, condiciones submarinas y entornos de teledetección, sigue siendo un desafío fundamental en visión por computadora. Estas degradaciones introducen componentes de velo aditivos y reducen la transmisión directa, lo que deriva en una disminución del contraste, distorsión de color y pérdida de detalles estructurales. Esto deteriora significativamente la percepción visual y el rendimiento de tareas posteriores como la detección y segmentación de objetos. Las soluciones existentes generalmente se dividen en dos categorías: métodos basados en priors y métodos basados en aprendizaje. Los enfoques basados en priors suelen depender de un único prior diseñado para escenarios específicos (por ejemplo, niebla diurna), fallando en generalizar a través de diversas degradaciones por dispersión heterogéneas. Por el contrario, los métodos basados en aprendizaje, aunque potentes, generalmente requieren grandes volúmenes de datos de entrenamiento sintéticos, sufren brechas de dominio al aplicarse a escenarios del mundo real y demandan recursos computacionales sustanciales.

Metodología: Priors Espaciales y de Frecuencia (SFP)
Los autores proponen un marco novedoso, Priors Espaciales y de Frecuencia (SFP), diseñado para recuperar escenas a partir de imágenes degradadas por dispersión del mundo real sin depender de grandes volúmenes de datos de entrenamiento. El marco opera a través de tres etapas principales:

1. Prior de Dominio Espacial (SDP):

   • Observación: Los autores observan que el inverso de una imagen degradada por dispersión ($1 - I(x)$) revela una proyección a lo largo de su dirección espectral que se correlaciona con la transmisión de la escena subyacente.
   • Mecanismo: La dirección espectral $S(x)$ se modela como los gradientes de los tres canales de color. El método proyecta la imagen degradada invertida sobre esta dirección espectral para estimar el mapa de transmisión de la escena $t(x)$.
   • Restauración: Una vez estimados $t(x)$ y la luz atmosférica global $A$, la radiancia de la escena $J(x)$ se recupera invirtiendo el Modelo de Dispersión Atmosférica (ASM).

2. Priors de Dominio de Frecuencia (FDP):

   • Observación 1 (Componentes DC): En imágenes claras, la intensidad media de las componentes de Corriente Continua (DC) a través de los canales aproxima el valor medio DC de la imagen degradada correspondiente.
   • Observación 2 (Bajas Frecuencias Radiales): En imágenes claras, las bajas frecuencias radiales (dentro de una banda estrecha, $\rho(x) < 0.001$) contribuyen solo con una pequeña proporción (aprox. 1%) del espectro general. Proporciones más altas indican una degradación severa.
   • Mecanismo: Basándose en estas observaciones, se construye una máscara adaptativa $M_C(x)$ para realizar una mejora en el dominio de la frecuencia. Los parámetros de la máscara se determinan adaptativamente para alinear las componentes DC y restaurar la proporción de baja frecuencia a la línea base esperada del 1%, compensando efectivamente la atenuación inducida por la dispersión.

3. Estrategia de Fusión Ponderada:

   • La imagen recuperada final se obtiene fusionando la imagen restaurada en el dominio espacial, la imagen mejorada en el dominio de frecuencia y la entrada original.
   • La fusión se realiza en el espacio de color Lab. Para los canales $a$ y $b$, se asignan pesos basados en la neutralidad del color (valores medios cercanos a cero). Para el canal $L$ (luminancia), se utiliza una transformada wavelet discreta (DWT), reteniendo componentes de baja frecuencia del resultado espacial y fusionando componentes de alta frecuencia mediante una estrategia de valor máximo.
   • Se aplica un postprocesamiento (corrección gamma y compresión HDR) para mejorar la consistencia visual.

Contribuciones Clave

• Marco Novedoso: La introducción de SFP, que explota conjuntamente priors complementarios en los dominios espacial y de frecuencia, superando las limitaciones de los enfoques de dominio único o prior único.
• Nuevos Priors:
  • Un prior espacial que aprovecha propiedades espectrales para proyectar la imagen degradada invertida sobre la dirección espectral, aproximando la transmisión de la escena.
  • Dos priors de frecuencia que utilizan las características estadísticas de las componentes DC y las bajas frecuencias radiales para construir una máscara adaptativa para una mejora consciente de la degradación.
• Generalización: El método logra un rendimiento superior en diversos escenarios del mundo real (niebla, tormenta de arena, submarino, teledetección) sin requerir grandes conjuntos de datos de entrenamiento sintéticos.
• Capacidad Plug-and-Play: El prior de dominio de frecuencia puede integrarse con priores de dominio espacial existentes para mejorar su rendimiento, demostrando flexibilidad.

Resultados Experimentales
Se realizaron experimentos extensos en diversos conjuntos de datos del mundo real, incluyendo FTD, DHQ, HSTS, Fattal (niebla); DID, DAWN (tormenta de arena); UIEB, U45, UCCS, UHTS (submarino); y UAV, RRSHID, RRSD (teledetección). Además, el método se probó en conjuntos de datos de degradación mixta (RUSH) y escenas hazy complejas nocturnas (NHRW, RealNightHaze).

• Rendimiento Cuantitativo: SFP superó consistentemente a más de 50 métodos del estado del arte (tanto basados en priors como basados en aprendizaje) en múltiples métricas (NIMA, FADE, NIQE, UCIQE). Por ejemplo, en conjuntos de datos hazy del mundo real, mejoró las puntuaciones promedio de NIMA en aproximadamente 0.66% y redujo FADE en 17.64%. En conjuntos de datos submarinos, mejoró las puntuaciones UCIQE en 6.70%.
• Calidad Visual: Las comparaciones visuales demostraron que SFP elimina efectivamente la niebla y el sesgo de color mientras preserva detalles estructurales finos y mantiene una apariencia natural de color, evitando los artefactos de halo o la sobre-enhancement comunes en otros métodos.
• Tareas Posteriores: El marco mejoró significativamente el rendimiento en tareas de visión de alto nivel. Cuando se utilizó como paso de preprocesamiento para la detección de objetos (YOLOv8), SFP logró la mayor precisión promedio en todas las categorías (Persona, Bicicleta, Coche, Motocicleta, Autobús) en comparación con otros métodos de eliminación de niebla. También mejoró los resultados en la detección de puntos clave y la segmentación de imágenes.

Significado y Afirmaciones
El artículo afirma que SFP aborda las limitaciones críticas de los métodos existentes: la falta de adaptabilidad en los priores de dominio único y la pobre generalización de los métodos basados en datos a escenarios del mundo real. Al modelar conjuntamente las características de degradación en los dominios espacial y de frecuencia, SFP proporciona una solución robusta y libre de parámetros que no depende de recursos computacionales pesados ni de datos sintéticos. Los autores enfatizan que el método es particularmente efectivo en escenarios complejos de degradación acoplada, como la niebla nocturna, y sirve como un paso de preprocesamiento confiable para mejorar la fiabilidad de los sistemas basados en visión en aplicaciones del mundo real.