Resumen Técnico: Aprendizaje de Incertidumbre Inducida por Perturbación Agnóstico al Backbone para la Desnebulización de Imágenes en el Mundo Real de Extremo a Extremo

Planteamiento del Problema

La desnebulización de imágenes en el mundo real sigue siendo un problema mal planteado y desafiante debido a la naturaleza espacialmente no uniforme, dependiente de la iluminación y físicamente ambigua de la degradación por neblina. Mientras que las redes de restauración de extremo a extremo existentes típicamente formulan la desnebulización como un mapeo determinista de una observación brumosa a un objetivo limpio, estas suelen fallar al no explorar explícitamente la incertidumbre oculta dentro de las características degradadas, los principios de la neblina y las muestras negativas de dominios cruzados. Incluso con conjuntos de datos emparejados del mundo real (p. ej., I-HAZE, O-HAZE, Dense-Haze), la reconstrucción píxel a píxel por sí sola puede resultar en estructuras excesivamente suavizadas o desviaciones de color porque el aprendizaje supervisado estándar no tiene en cuenta la sensibilidad variable de diferentes canales de características y ubicaciones espaciales ante la neblina. Además, los métodos existentes carecen de mecanismos para verificar si una imagen restaurada es físicamente consistente con el proceso de formación de la neblina observado o para separar eficazmente los objetivos limpios de los dominios de degradación reales y sintéticos en el espacio de características.

Metodología: Marco BPUL

Los autores proponen el Aprendizaje de Incertidumbre Inducida por Perturbación Agnóstico al Backbone (BPUL), un marco plug-and-play diseñado para modelar la incertidumbre de las características sensibles a la degradación sin requerir un rediseño del backbone de restauración subyacente. El BPUL consta de tres componentes complementarios:

1. Modulador de Incertidumbre Inducida por Perturbación Aprendible (LPUM)

El LPUM es el módulo central de inferencia insertado en las capas intermedias de un backbone de restauración (CNN, Transformer o híbrido). Opera mediante:

• Perturbación Estocástica: Inyección de perturbaciones estocásticas aprendibles en los mapas de características intermedios. Estima las distribuciones de perturbación por canal y por espacio utilizando muestreo reparametrizado (prediciendo la media y la desviación logarítmica estándar).
• Respuesta de Incertidumbre: Comparación de la respuesta de la característica original con la respuesta perturbada alineada inversamente para calcular un mapa de discrepancia. Esta discrepancia mide la sensibilidad de canales y ubicaciones espacíficas a las perturbaciones relacionadas con la neblina.
• Modulación de Características: Conversión de estas discrepancias en pesos de modulación (mediante mapeos con compuerta sigmoide) que escalan las características de forma adaptativa. Las respuestas estables indican contenido fiable, mientras que los cambios bruscos tras la perturbación resaltan las regiones sensibles a la degradación que requieren modulación.

2. Módulo de Reconstrucción Guiado por Incertidumbre e Información de Priors (PURM)

El PURM actúa como una restricción en tiempo de entrenamiento para imponer consistencia física. Reconstruye la observación brumosa original ($\hat{I}$) a partir de la imagen restaurada ($\hat{J}$) utilizando el modelo de dispersión atmosférica:
$$\hat{I}(x) = \hat{T}(x)\hat{J}(x) + (1 - \hat{T}(x))\hat{A}(x)$$

• Inyección de Priors: Utiliza estimaciones del Dark Channel Prior (DCP) para la transmisión ($T_d$) y la luz atmosférica ($A_d$), inyectándolas mediante concatenación y modulación afín latente.
• Acoplamiento de Incertidumbre: Crucialmente, el PURM hereda las pistas de perturbación ($N_c, N_s$) generadas por el bloque I-LPUM del backbone (a través de un bloque LPUM heredado) en lugar de aprender nuevas perturbaciones. Esto asegura que las regiones identificadas como sensibles durante la desnebulización hacia adelante también influyan en la reconstrucción inversa de la neblina.
• Pérdida: Una pérdida de reconstrucción ($L_{rec}$) que minimiza la diferencia entre la imagen brumosa reconstruida y la entrada original.

3. Pérdida Contrastiva de Distribución Diversificada de Doble Espacio (D3CL)

La D3CL regulariza las distribuciones de características tanto en el espacio de restauración limpio como en el espacio de reconstrucción de la neblina.

• Doble Espacio: Aplica aprendizaje contrastivo tanto a la salida desnebulizada ($\hat{J}$) como a la imagen brumosa reconstruida ($\hat{I}$).
• Negativos Diversificados: En lugar de usar solo la entrada brumosa emparejada como negativo, emplea:
  • Negativos del mundo real: Imágenes brumosas no correspondientes de otros pares de entrenamiento para modelar el dominio de degradación más amplio del mundo real.
  • Negativos sintéticos: Para cubrir las distribuciones de neblina sintética.
• Características Estocásticas: Para aproximar representaciones conscientes de la distribución de manera eficiente, las características perceptuales (extraídas mediante un VGG-19 congelado) se perturban basándose en su magnitud de activación, evitando inferencias de Monte Carlo costosas.
• Objetivo: La pérdida atrae al ancla hacia el positivo (limpio o brumoso original) y la aleja de los negativos reales y sintéticos en un espacio perceptual consciente de la perturbación.

Entrenamiento vs. Inferencia: El marco completo (LPUM + PURM + D3CL) se utiliza durante el entrenamiento. Durante la inferencia, solo se retiene el backbone mejorado con el ligero LPUM; el PURM y la D3CL se descartan, asegurando un sobrecoste computacional mínimo.

Contribuciones Clave

1. Marco BPUL: Introducción de un marco de aprendizaje de incertidumbre agnóstico al backbone que modela explícitamente la incertidumbre de las características sensibles a la degradación mediante perturbaciones estocásticas aprendibles.
2. LPUM: Un módulo que estima las respuestas de incertidumbre por canal y por espacio a partir de las discrepancias inducidas por la perturbación, permitiendo la modulación adaptativa de características sin alterar la arquitectura del backbone.
3. PURM: Un módulo de reconstrucción que impone una restricción de consistencia física bidireccional mediante la reconstrucción de la observación brumosa a partir del resultado restaurado, guiado por priors de transmisión/luz atmosférica y pistas de incertidumbre compartidas.
4. D3CL: Una pérdida contrastiva de doble espacio que regulariza tanto los espacios limpios como los brumosos utilizando negativos reales y sintéticos dentro de un espacio de características consciente de la perturbación.
5. Validación Empírica: Experimentos extensos que demuestran que BPUL mejora consistentemente múltiples backbones representativos (MIMOUNet, IRNeT, HOGformer-S, VIVNet) a través de cinco benchmarks de mundo real emparejados.

Resultados Experimentales

Los autores evaluaron BPCL en cinco benchmarks emparejados del mundo real: Dense-Haze, I-HAZE, O-HAZE, NH-HAZE y LMHaze.

• Rendimiento: BPCL mejoró consistentemente los cuatro backbones probados. En promedio, mejoró MIMOUNet en 1.13 dB / 0.031 SSIM, IRNeT en 0.96 dB / 0.021 SSIM, HOGformer-S en 1.48 dB / 0.061 SSIM y VIVNet en 1.09 dB / 0.038 SSIM.
• Generalidad: El método mostró robustez a través de diferentes tipos de degradación (interiores/exteriores, homogénea/no homogénea, intensidades variables) y diferentes arquitecturas de backbone (CNN, Transformer, híbrido).
• Eficiencia: Dado que PURM y D3CL son restricciones solo de entrenamiento, el coste de inferencia es marginal, limitado únicamente a las operaciones ligeras de LPUM.
• Estudios de Ablación:
  • Eliminar cualquiera de las ramas de canal o espacial en LPUM degradó el rendimiento, confirmando la necesidad de un modelado conjunto.
  • Eliminar la generación de perturbación aprendible redujo el PSNR, resaltando la importancia de las distribuciones aprendidas.
  • En PURM, eliminar los inputs de priors o la modulación de incertidumbre redujo significativamente el rendimiento, y compartir las perturbaciones entre los módulos de ida y vuelta resultó superior a la estimación independiente.
  • La ablación de D3CL mostró que el uso de negativos reales no correspondientes, negativos sintéticos y características VGG estocásticas mejoró progresivamente los resultados, siendo la formulación completa de doble espacio la que obtuvo las mayores ganancias.

Significado y Reivindicaciones

El artículo afirma que BPCL proporciona un enfoque general y eficiente para fortalecer las redes de desnebulización del mundo real. Al aprender explícitamente la incertidumbre sensible a la degradación e imponer una consistencia de degradación bidireccional, el marco aborda la ambigüedad inherente a la neblina del mundo real que los mapeos deterministas suelen omitir. Los autores enfatizan que BPCL es agnóstico al backbone, lo que significa que puede integrarse en las redes de restauración de vanguardia existentes con una intervención arquitectónica mínima, ofreciendo ganancias sustanciales en la restauración. El enfoque cambia el paradigma de la restauración puramente determinista al procesamiento consciente de la incertidumbre, ofreciendo una forma fundamentada de manejar las ambigüedades físicas de la neblina real sin incurrir en un sobrecoste de inferencia significativo.