A Principled Self-Referenced Early Stopping Approach for Deep Image Prior

Resumen Técnico: Un Enfoque Principiado de Parada Temprana Auto-Referenciado para el Prior de Imagen Profunda

Enunciado del Problema
El Prior de Imagen Profunda (DIP) ha surgido como un método potente, libre de datos de entrenamiento, para resolver Problemas de Imagen Inversa (IIP), como la eliminación de ruido, la super-resolución y la reconstrucción de imágenes médicas. Al optimizar una red neuronal convolucional (CNN) inicializada aleatoriamente para ajustar mediciones ruidosas, el DIP captura eficazmente las estadísticas de baja frecuencia de la imagen. Sin embargo, debido a la sobre-parametrización de la red, el DIP es propenso al sobreajuste del ruido de medición o a artefactos del espacio nulo. En consecuencia, determinar el punto óptimo de parada (Parada Temprana, ES) es crítico.

Los métodos de ES existentes enfrentan limitaciones significativas:

1. Métodos basados en varianza (p. ej., WMV-ES): Estos rastrean las fluctuaciones en la varianza en ejecución de la salida de la red. Aunque son efectivos en algunos escenarios, a menudo detectan el sobreajuste prematuramente para imágenes de alta resolución o aquellas con estructuras finas (p. ej., imágenes naturales texturizadas o escaneos médicos), lo que conduce a reconstrucciones inestables muy alejadas del punto de parada óptimo "oráculo".
2. Métodos basados en riesgo (p. ej., SURE): El Estimador de Riesgo Insesgado de Stein proporciona una estimación de riesgo principista pero requiere un conocimiento preciso del nivel de ruido. En configuraciones de DIP por instancia, estas estimaciones pueden exhibir una alta varianza, lo que lleva a decisiones poco fiables.
3. Falta de datos de validación: La validación estándar requiere una imagen limpia de referencia (ground-truth), la cual no está disponible en los IIP. Si bien obtener dos copias ruidosas completamente independientes de la imagen degradada permitiría teóricamente una detección de sobreajuste casi óptima, esto generalmente es inviable en la práctica.

Metodología
Los autores proponen un marco que reduce la parada temprana del DIP a un problema de validación utilizando imágenes pseudo auto-referenciadas. La idea teórica central es que una pseudo-referencia no necesita ser perfectamente independiente de los datos de ajuste; es suficiente si el componente compartido entre las señales de ajuste y validación es pequeño o no se ajusta preferentemente antes que el ruido restante.

El artículo introduce tres algoritmos específicos basados en este principio, adaptados a diferentes tipos de imágenes y modelos de ruido:

1. ES de Referencia por Similitud de Canal (CSR-ES) para Imágenes RGB:

   • Mecanismo: Explota el hecho de que los canales RGB comparten información estructural pero contienen ruido parcialmente decorrelacionado.
   • Procedimiento: El método identifica el par de canales ruidosos $(i, j)$ con la distancia mínima (mayor similitud). Entrena el DIP en la imagen RGB completa, pero utiliza la consistencia entre canales (ajustar el canal $i$ contra el canal de referencia $j$) como criterio de parada.
   • Fundamento: Esto reduce el sesgo cruzado entre canales limpios mientras asegura que el ruido específico del canal permanezca menos correlacionado con el canal ajustado.

2. ES de Referencia por Máscara (MR-ES) para Imágenes en Escala de Grises:

   • Mecanismo: Construye una pseudo-referencia reteniendo un pequeño subconjunto de píxeles (p. ej., el 2% de los píxeles) mediante una máscara de alta retención $M$.
   • Procedimiento: El DIP se entrena utilizando una pérdida enmascarada $\|M \odot (f_\theta(z) - y)\|^2$, excluyendo explícitamente los píxeles retenidos de la optimización. El criterio de parada es el error en los píxeles retenidos: $\|H \odot (\hat{x}_t - y)\|^2$, donde $H = 1-M$.
   • Fundamento: Dado que los píxeles retenidos se excluyen de la pérdida de entrenamiento, el ruido en estas ubicaciones es independiente de la trayectoria ajustada, proporcionando una señal de validación válida.

3. ES de Referencia de Canal Aumentado (ACR-ES) para Ruido Flexible/Desafiante:

   • Mecanismo: Aumenta el espacio de salida de la red DIP para manejar casos donde las máscaras simples o las divisiones de canales son poco fiables (p. ej., ruido Poisson dependiente de la señal).
   • Procedimiento: Se generan dos pseudo-copias de la imagen ruidosa: $y^{(1)} = y + \zeta_1$ y $y^{(2)} = y + \zeta_2$, donde $\zeta_1, \zeta_2$ son perturbaciones auxiliares independientes. Una red DIP de 2C canales se entrena para ajustar $Y = \text{concat}(y, y^{(1)})$. Los canales principales reconstruyen la imagen, mientras que los canales auxiliares se monitorean contra la pseudo-copia independiente $y^{(2)}$.
   • Métrica de Parada: En lugar del MSE bruto, ACR-ES utiliza una puntuación de sesgo de frecuencia (el segundo momento del espectro residual). Esta puntuación alcanza su máximo cuando la red transita de recuperar detalles estructurales a ajustar ruido, haciéndola más sensible al sesgo espectral del DIP.

Contribuciones Teóricas
El artículo proporciona justificación teórica para estos enfoques:

• Validación de Referencia Única: Demuestra que si estuviera disponible una referencia ruidosa independiente, la pérdida de validación se concentraría alrededor del Error Cuadrático Medio (MSE) de la imagen limpia más una constante, permitiendo una parada casi oráculo.
• Análisis de Pseudo-Validación: Demuestra que incluso con un componente compartido $s$ entre el ajuste y la validación, si la energía compartida es una pequeña fracción de la varianza no compartida, el MSE excedente relativo al oráculo es cuadráticamente más ajustado que el límite del peor caso.
• Generalización: Extiende la teoría de validación a problemas inversos lineales generales ($y = A(x) + \eta$) y establece las condiciones bajo las cuales la validación en el dominio de la medición se transfiere al riesgo en el dominio de la imagen.

Resultados Experimentales
Los autores evaluaron sus métodos frente a líneas base (WMV-ES y SURE-ES) en restauración de imágenes naturales (Set14, CBSD68, Urban100, etc.) y reconstrucción de imágenes médicas (MRI, CT, PD, T2) bajo ruido Gaussiano, Poisson e Impulso.

• Rendimiento: Los métodos propuestos (CSR-ES, MR-ES, ACR-ES) lograron consistentemente puntos de parada mucho más cercanos al oráculo (la iteración que produce el PSNR máximo) que los métodos existentes.
  • Para imágenes naturales, CSR-ES y ACR-ES redujeron significativamente la brecha de PSNR con respecto al oráculo (p. ej., de ~1.0 dB a ~0.1–0.2 dB en muchos casos).
  • Para imágenes médicas, MR-ES y ACR-ES superaron a WMV-ES y SURE-ES, particularmente en escenarios desafiantes de ruido Poisson donde WMV-ES a menudo se detenía prematuramente.
• Robustez: Los métodos no requirieron estimaciones precisas del nivel de ruido. ACR-ES mostró robustez ante variaciones en la magnitud del ruido auxiliar y tipos de ruido no coincidentes.
• Generalización: El principio de parada se extendió con éxito a tareas de super-resolución y relleno (inpainting), donde los métodos basados en varianza no lograron alinearse con la región de parada óptima del oráculo.

Significado y Afirmaciones
El artículo afirma que la parada temprana para el DIP puede reducirse eficazmente a un problema de validación resoluble sin una referencia limpia de ground-truth ni estimaciones precisas de ruido. Al construir imágenes pseudo auto-referenciadas que decorrelacionan suficientemente la señal de validación del proceso de ajuste, los autores proporcionan una alternativa principista al seguimiento heurístico de la varianza.

El significado radica en:

1. Enfoque Principista: Superar el monitoreo heurístico de la varianza hacia un marco basado en validación respaldado por desigualdades de concentración.
2. Aplicabilidad Práctica: Ofrecer algoritmos específicos y adaptados a la tarea (CSR, MR, ACR) que funcionan en diversos IIP (eliminación de ruido, super-resolución, relleno) y tipos de ruido sin requerir datos de entrenamiento externos ni ajuste de niveles de ruido.
3. Fiabilidad: Demostrar que estos métodos seleccionan consistentemente iteraciones más cercanas a la calidad de reconstrucción óptima que las técnicas de ES actuales de última generación, mitigando así el problema de sobreajuste inherente a las redes DIP sobre-parametrizadas.