On the Global Photometric Alignment for Low-Level Vision

Resumen Técnico: Alineación Fotométrica Global para Visión de Bajo Nivel

1. El Problema: Inconsistencia Fotométrica por Pares

Los modelos de visión de bajo nivel (como restauración de imágenes, mejora de baja luminosidad, eliminación de lluvia, etc.) basados en aprendizaje supervisado dependen de pérdidas a nivel de píxel (ej. MSE) contra pares de imágenes de referencia (entrada degradada y "ground truth").

El artículo identifica un problema fundamental: la inconsistencia fotométrica por par.

• Definición: Dentro de un conjunto de entrenamiento, diferentes pares de imágenes requieren mapeos fotométricos globales distintos (brillo, color, balance de blancos) para alinearse correctamente.
• Origen: Esta inconsistencia surge de dos fuentes:
  1. Intrínseca a la tarea: En tareas de mejora (ej. baja luminosidad o bajo agua), el objetivo intencionalmente difiere en brillo y color de la entrada, pero la magnitud de este cambio varía según las condiciones de captura y la intención del fotógrafo.
  2. Inducida por la adquisición: En tareas de restauración (ej. deshumo, eliminación de lluvia), el objetivo no debería cambiar fotométricamente, pero las variaciones en la exposición, balance de blancos o temperatura de color durante la captura de los datos introducen desplazamientos no deseados.
• Consecuencia (Patología de Optimización): Las pérdidas estándar (como MSE) asignan una proporción desmedida del presupuesto de gradiente a estos desplazamientos fotométricos globales (que son espacialmente densos), en detrimento de la restauración del contenido estructural (texturas, bordes), que es espacialmente disperso. Esto hace que la red aprenda a igualar colores en lugar de restaurar detalles.

2. Metodología: Pérdida de Alineación Fotométrica (PAL)

Para abordar este problema, los autores proponen PAL (Photometric Alignment Loss), un objetivo de supervisión flexible que descuenta la discrepancia fotométrica "molesta" (nuisance) mediante una alineación afín de color de forma cerrada, preservando la supervisión relevante para la restauración.

Componentes Clave de PAL:

• Modelado Afín Global: Se modela la discrepancia entre la predicción ($\hat{I}$) y el objetivo ($I_{gt}$) como una transformación afín global: $I_{gt} \approx C\hat{I} + b$, donde $C$ es una matriz $3\times3$ (ganancias por canal y acoplamiento cruzado) y $b$ es un vector de sesgo $3\times1$.
• Solución de Forma Cerrada: Los parámetros óptimos $(C^*, b^*)$ se calculan mediante regresión de mínimos cuadrados regularizada (Ridge Regression) para garantizar estabilidad numérica, especialmente cuando la varianza de color de la predicción es baja.
  • $C^* = \text{Cov}(I_{gt}, \hat{I}) (\text{Cov}(\hat{I}, \hat{I}) + \epsilon E)^{-1}$
  • $b^* = \mu_{gt} - C^* \mu_{\hat{I}}$
• Cálculo de la Pérdida: La pérdida se calcula sobre el residuo alineado: $L_{PAL} = \|(C^*\hat{I} + b^*) - I_{gt}\|$.
• Integración: Se combina con la pérdida de píxeles original ($L_{total} = L_{pixel} + \alpha L_{PAL}$). Durante el entrenamiento, $C^*$ y $b^*$ se calculan en tiempo real pero se tratan como constantes (sin gradiente) en la retropropagación para evitar que la red minimice la pérdida trivialmente sin mejorar el contenido.
• Eficiencia: El costo computacional es insignificante (aprox. 0.0037 GFLOPs en una imagen de 256x256), representando menos del 0.1% de la carga del modelo base.

3. Contribuciones Clave

1. Identificación Teórica: Demostraron que bajo la descomposición de mínimos cuadrados, los componentes fotométricos y estructurales del residuo son ortogonales. Probaron que el componente fotométrico, al ser espacialmente denso, domina la energía del gradiente, ahogando la señal de restauración estructural.
2. Propuesta de PAL: Introdujeron un método de alineación de color de forma cerrada que elimina explícitamente la discrepancia fotométrica del gradiente sin necesidad de arquitecturas complejas ni espacios de color personalizados.
3. Validación Exhaustiva: Validaron el método en 6 tareas, 16 conjuntos de datos y 16 arquitecturas diferentes, demostrando mejoras consistentes tanto en métricas de fidelidad como en generalización.

4. Resultados Experimentales

Los experimentos abarcaron tareas de mejora intrínseca (baja luminosidad, bajo agua), restauración inducida por adquisición (deshumo, eliminación de lluvia) y casos híbridos (eliminación de sombras).

• Mejoras Cuantitativas:
  • En tareas de baja luminosidad (LOLv1, LOLv2), PAL mejoró consistentemente el PSNR, SSIM y métricas perceptuales (LPIPS, IQA) en arquitecturas como Retinexformer, Uformer y MIRNet. Por ejemplo, en Retinexformer sobre LOLv1, se obtuvo una mejora de +1.13 dB en PSNR.
  • En restauración todo-en-uno (nieve, lluvia, niebla), PAL mejoró el rendimiento en múltiples benchmarks, demostrando robustez ante la inconsistencia entre diferentes conjuntos de datos.
  • En eliminación de sombras, una versión enmascarada de PAL mejoró los resultados al manejar regiones con y sin sombra simultáneamente.
• Generalización: Los modelos entrenados con PAL mostraron una mejor generalización en conjuntos de datos no vistos (unpaired), logrando mejores puntuaciones en evaluación de calidad de imagen (IQA) y estética (IAA), lo que indica una reducción del sobreajuste a los perfiles fotométricos específicos del conjunto de entrenamiento.
• Comparación con GT-Mean: PAL superó a técnicas anteriores como GT-Mean (que solo ajusta un escalar de brillo global), demostrando que el modelo afín completo (que captura acoplamiento de canales y sesgos) es necesario para manejar variaciones complejas de temperatura de color y balance de blancos.

5. Significado e Impacto

Este trabajo es significativo porque:

• Cambia el Paradigma de Entrenamiento: Sugiere que la supervisión pixel a pixel estándar es subóptima en presencia de inconsistencias fotométricas globales, incluso si estas son pequeñas.
• Solución General y Ligera: Ofrece una solución "plug-and-play" que no requiere reentrenar arquitecturas complejas ni usar pérdidas adversarias costosas. Es aplicable a cualquier pipeline de visión de bajo nivel con datos emparejados.
• Fundamento Teórico: Proporciona una justificación matemática sólida sobre por qué las redes fallan en restaurar detalles cuando hay desfases de color globales, y cómo corregirlo matemáticamente antes de calcular el error.

En resumen, PAL es una herramienta fundamental para desbloquear el verdadero potencial de los modelos de visión de bajo nivel al asegurar que el gradiente de entrenamiento se centre en la estructura y el contenido de la imagen, en lugar de desperdiciarse en ajustar el brillo y el color global.