Preventing Overfitting in Deep Image Prior for Hyperspectral Image Denoising

A continuación presento un resumen técnico detallado del artículo "Preventing Overfitting in Deep Image Prior for Hyperspectral Image Denoising" (Prevención del sobreajuste en el Prior de Imagen Profunda para la eliminación de ruido en imágenes hiperespectrales), traducido y estructurado en español.

---

Resumen Técnico: Prevención del Sobreajuste en DHIP para Denoising de Imágenes Hiperespectrales

1. El Problema

Las imágenes hiperespectrales (HSI) capturan información en múltiples canales espectrales y son fundamentales en aplicaciones como la agricultura de precisión y la monitorización ambiental. Sin embargo, estas imágenes suelen degradarse por ruido de sensores y efectos atmosféricos (ruido gaussiano, ruido disperso o "sparse", y ruido de rayas).

El marco de trabajo Deep Image Prior (DIP) y su extensión para HSI (DHIP) han demostrado ser efectivos para tareas de denoising sin necesidad de datos de entrenamiento etiquetados (aprendizaje no supervisado). No obstante, estos métodos sufren de un problema inherente: el sobreajuste (overfitting).

• Mecanismo: A medida que avanza el entrenamiento, la red neuronal (que es sobreparametrizada) comienza a memorizar el ruido en lugar de solo la estructura de la imagen limpia.
• Consecuencia: Esto provoca una degradación del rendimiento, obligando a utilizar una parada temprana (early stopping) manual y cuidadosa, cuyo momento óptimo es desconocido y varía según la tarea.
• Limitación de soluciones existentes:
  • Los métodos basados en SURE (Estimador de Riesgo Insesgado de Stein) y regularización de divergencia funcionan bien con ruido gaussiano (usando pérdida $\ell_2$), pero son poco robustos ante ruido no gaussiano o disperso.
  • Los métodos con fidelidad de datos robusta (pérdida $\ell_1$) manejan mejor el ruido disperso, pero por sí solos no previenen el sobreajuste y siguen requiriendo parada temprana.
  • La combinación de estos enfoques no es trivial, ya que las pérdidas robustas alteran la geometría de la optimización y pueden acelerar la memorización.

2. Metodología Propuesta

Los autores proponen un enfoque unificado que mitiga el sobreajuste mediante la combinación de tres componentes clave bajo una optimización conjunta de los parámetros de la red y la representación de la entrada.

A. Fidelidad de Datos Robusta (Smooth $\ell_1$)
En lugar de la pérdida cuadrática ($\ell_2$) tradicional, se utiliza una pérdida Smooth $\ell_1$ (también conocida como envolvente de Moreau).

• Función: Actúa como una transición suave entre la norma $\ell_2$ (para errores pequeños) y la norma $\ell_1$ (para errores grandes).
• Ventaja: Proporciona robustez frente a ruido disperso, de cola pesada y estructurado, manteniendo una dinámica de optimización estable.

B. Regularización de Sensibilidad Basada en Divergencia
Se incorpora un término de regularización inspirado en SURE, que penaliza la sensibilidad del estimador a las perturbaciones de la entrada.

• Fórmula: Se añade un término de divergencia ($\text{div}_z(f_\theta(z))$) a la función de pérdida.
• Propósito: Actúa como un regulador de los grados de libertad efectivos del estimador, penalizando las redes que reaccionan excesivamente a pequeñas variaciones en el ruido.
• Implementación: Se calcula mediante una aproximación de Monte Carlo, ya que el cálculo directo de la divergencia en redes profundas es inviable.

C. Optimización Conjunta de Parámetros y Entrada
Una innovación crítica del trabajo es la optimización simultánea de:

1. Los parámetros de la red ($\theta$).
2. La imagen de entrada optimizada ($z$).

• Sinergia: El término de divergencia es ineficaz si solo se optimizan los parámetros. Al optimizar también la entrada, el término de divergencia estabiliza el espacio de optimización expandido, evitando que el ruido se codifique tanto en los pesos de la red como en la representación aprendida de la entrada.

Función de Pérdida Unificada:
$$L(\theta, z) = L_{\text{Smooth-}\ell_1}(f_\theta(z), y) + \frac{2\sigma^2}{n} \text{div}_z(f_\theta(z))$$
Donde $y$ es la imagen ruidosa, $z$ es la entrada optimizada y $\sigma$ es la varianza del ruido estimada.

3. Contribuciones Clave

1. Unificación de Robustez y Control de Sensibilidad: Demuestran que la robustez ante el ruido (vía $\ell_1$) y la prevención del sobreajuste (vía divergencia) no son propiedades triviales de combinar, pero sí necesarias.
2. Eliminación de la Parada Temprana: El método propuesto logra una convergencia estable sin necesidad de detener el entrenamiento manualmente, ya que el término de regularización impide activamente la memorización del ruido.
3. Validación de la Optimización de Entrada: Proponen y validan que la optimización conjunta de la entrada es esencial para que la regularización de divergencia funcione correctamente en un contexto de pérdida robusta.

4. Resultados Experimentales

Los experimentos se realizaron en dos conjuntos de datos reales (Washington DC Mall y Salinas) bajo cuatro escenarios de ruido:

• Ruido Gaussiano puro.
• Ruido Gaussiano + Ruido disperso (sparse).
• Ruido Gaussiano + Ruido de rayas (stripe).
• Mezcla de los tres tipos de ruido.

Comparativa:
Se comparó el método propuesto contra SURE-DHIP (basado en SURE) y HLF-DHIP (basado en Smooth $\ell_1$).

• Rendimiento Cuantitativo (MPSNR y MSSIM): El método propuesto superó consistentemente a los métodos de referencia en todos los escenarios de ruido y niveles de SNR.
  • HLF-DHIP mostró mejor rendimiento que SURE-DHIP en ruido disperso, pero sufrió de sobreajuste evidente.
  • SURE-DHIP funcionó bien en ruido gaussiano puro, pero falló ante ruido disperso o de rayas.
  • Método Propuesto: Mantuvo el rendimiento óptimo sin degradación en las curvas de convergencia (NMSE estable).
• Rendimiento Cualitativo: Las reconstrucciones visuales mostraron menos ruido residual y menos artefactos. En el caso de ruido de rayas (muy común en HSI), el método propuesto eliminó eficazmente las rayas, mientras que los otros métodos dejaron artefactos visibles.
• Eficiencia: Los tiempos de ejecución fueron comparables a los métodos existentes, pero el método propuesto permite una terminación segura del entrenamiento sin necesidad de monitoreo manual.

5. Significado e Impacto

Este trabajo resuelve una de las limitaciones más críticas de los enfoques basados en Deep Image Prior para imágenes hiperespectrales. Al demostrar que es posible combinar fidelidad de datos robusta con regularización de sensibilidad bajo una optimización conjunta, los autores ofrecen una solución que:

• Elimina la dependencia de la "parada temprana", haciendo el método más automatizable y robusto para aplicaciones del mundo real.
• Funciona eficazmente bajo condiciones de ruido mixto y complejo (Gaussiano + Disperso + Rayas), que son típicos en sensores hiperespectrales reales.
• Establece un nuevo estándar para el denoising no supervisado en HSI, equilibrando la capacidad de modelar estructuras complejas con la necesidad de no memorizar el ruido.

En conclusión, el artículo presenta un marco teórico y práctico que permite utilizar la potencia de las redes neuronales profundas para la restauración de imágenes sin los riesgos de sobreajuste que tradicionalmente han limitado su aplicación en entornos no supervisados.