VSANet: View-aware Sparse Attention Network for Light Field Image Denoising

Resumen Técnico de "VSANet: View-aware Sparse Attention Network for Light Field Image Denoising"

Planteamiento del Problema
La captura de imágenes de campo de luz (LF, por sus siglas en inglés) captura datos tetradimensionales (4D) que comprenden información espacial y angular, lo que permite aplicaciones como la estimación de profundidad y el desenfoque selectivo (refocusing). Sin embargo, los sistemas de adquisición de LF son susceptibles al ruido limitado por fotones, particularmente en condiciones de baja iluminación o alta velocidad, lo que degrada la calidad de la imagen y dificulta el procesamiento posterior. A diferencia de la eliminación de ruido en imágenes individuales, la eliminación de ruido en LF debe aprovechar el hecho de que, si bien el ruido es generalmente independiente entre las diferentes vistas (imágenes de sub-apertura), el contenido de la escena subyacente exhibe fuertes correlaciones espaciales-angulares. Los métodos existentes enfrentan limitaciones: los enfoques tradicionales que dependen de prioris diseñados manualmente (por ejemplo, LFBM5D) carecen de adaptabilidad a las estructuras complejas de LF, mientras que los métodos recientes de aprendizaje profundo a menudo dependen de descomposiciones geométricas predefinidas o particionan los datos en subespacios 2D aislados. Estas restricciones impiden el modelado efectivo de dependencias de largo alcance a través del espacio completo de 4D de la LF.

Metodología
Los autores proponen VSANet (Red de Atención Dispersa con Conciencia de Vista), un marco de aprendizaje profundo diseñado para realizar una agregación no local eficiente sobre la representación 4D de la LF completa. La arquitectura de la red consta de los siguientes componentes clave:

1. Arquitectura de la Red: VSANet procesa la imagen LF 4D con ruido a través de una cascada de $G$ módulos SEAR (Sequential Extraction Attention Refinement) apilados, conectados por una conexión residual global. La entrada y la salida se procesan en el subespacio espacial (SS), mientras que el procesamiento intermedio explota cuatro subespacios complementarios: espacial (SS), angular (AS), epipolar horizontal (EHS) y epipolar vertical (EVS).
2. Extracción de Características Secuenciales (SFE): Dentro de cada módulo SEAR, la etapa SFE utiliza $F$ bloques de extracción de características (FE) residuales. Cada bloque FE emplea una estructura de doble rama: una rama espacial-angular que opera en los dominios SS y AS para capturar correlaciones, y una rama epipolar que opera en los dominios EHS y EVS para capturar la consistencia geométrica.
3. Bloque de Atención Dispersa con Conciencia de Vista (VSA): Esta es la innovación central. A diferencia de los métodos anteriores que restringen la atención a subespacios específicos, el bloque VSA representa el mapa de características 4D de la LF completa como una secuencia de tokens unificada de longitud $N = S \cdot T \cdot H \cdot W$. Esto permite la interacción espacial-angular global dentro de un único espacio de atención. Para abordar la complejidad prohibitiva de $O(N^2)$ de la atención completa, los autores emplean Hashing de Sensibilidad Local (LSH). Los tokens similares se agrupan en cubetas de atención dispersa mediante múltiples rondas de hashing independientes. Esto facilita la agregación no local implícita a través de las vistas con una complejidad lineal de $O(N \cdot s)$, donde $s$ es el tamaño del fragmento (chunk size).
4. Bloque de Refinamiento de Características (FR): Tras el bloque VSA, el bloque FR utiliza Módulos de Atención de Bloque Convolucional (CBAMs) a través de los cuatro subespacios (SS, AS, EHS, EVS). Este paso aplica atención de canal y espacial secuencial para enfatizar las características discriminativas antes de fusionarlas para la siguiente etapa.

Contribuciones Clave

• Espacio de Atención 4D Unificado: VSANet se presenta como el primer marco de LF que realiza atención sobre la representación 4D de la LF completa como una secuencia de tokens unificada, en lugar de aislar las dimensiones espaciales o angulares.
• Agregación Eficiente entre Vistas: Al combinar la atención dispersa con conciencia de vista con LSH, la red logra interacciones de características globales con una complejidad computacional lineal, explotando eficazmente las correlaciones a través de ubicaciones espaciales y angulares distantes.
• Refinamiento de Características Multisubespacio: La integración del bloque FR asegura que las características informativas sean mejoradas a través de los subespacios espacial, angular y epipolar, abordando las limitaciones de los métodos que ignoran estructuras geométricas específicas.

Resultados Experimentales
Los autores evaluaron VSANet en dos conjuntos de datos de referencia (STFLytro y EPFL) bajo tres niveles de ruido ($\sigma = 10, 20, 50$).

• Desempeño Cuantitativo: VSANet logró los mejores puntajes de media PSNR y SSIM en todos los niveles de ruido y conjuntos de datos en comparación con los métodos de estado del arte (SOTA), incluyendo LFBM5D, DRLF, MSP, PFE y HLFRN. Por ejemplo, en el conjunto de datos STFLytro con $\sigma=50$, VSANet alcanzó un PSNR de 37.34 dB, superando al segundo mejor método (HLFRN con 36.97 dB).
• Eficiencia: A pesar de su desempeño, VSANet mantiene una eficiencia computacional favorable. Requiere menos parámetros (1,142K) y un tiempo de ejecución menor (10.79s) en comparación con varios métodos de aprendizaje profundo competidores, como HLFRN (1,676K parámetros, 15.26s de tiempo de ejecución).
• Estudios de Ablación: Los experimentos confirmaron la necesidad de cada componente. Eliminar el bloque VSA, restringir la atención a vistas individuales, reducir las rondas de hashing o eliminar el bloque FR resultó en una degradación del desempeño. Además, el estudio determinó que $G=5$ módulos SEAR y $F=5$ bloques SFE ofrecían el equilibrio óptimo entre desempeño y costo computacional.

Significancia y Reclamaciones
El artículo afirma que VSANet aborda eficazmente el desafío de la eliminación de ruido en LF al superar las limitaciones de las descomposiciones geométricas predefinidas y el procesamiento de subespacios aislados. Al tratar los datos 4D de la LF como un espacio unificado y utilizar la atención dispersa, el método explota con éxito la asimetría entre el ruido independiente y el contenido de la escena correlacionado. Los autores afirman que VSANet supera a los métodos SOTA existentes manteniendo la eficiencia computacional, estableciendo una nueva base para la restauración de imágenes de campo de luz. Sugieren que el marco VSA propuesto podría extenderse a otras tareas de restauración de LF en trabajos futuros.