VSANet: View-aware Sparse Attention Network for Light Field Image Denoising

Resumo Técnico de "VSANet: View-aware Sparse Attention Network for Light Field Image Denoising"

Problema
A imagem de campo de luz (LF - Light Field) captura dados quadridimensionais (4D) compostos por informações espaciais e angulares, permitindo aplicações como estimativa de profundidade e refocalização. No entanto, os sistemas de aquisição de LF são suscetíveis ao ruído limitado por fótons, particularmente em condições de baixa luminosidade ou alta velocidade, o que degrada a qualidade da imagem e dificulta o processamento subsequente. Diferente da redução de ruído em imagens únicas, a redução de ruído em LF deve aproveitar o fato de que, embora o ruído seja geralmente independente entre diferentes vistas (imagens de sub-abertura), o conteúdo da cena subjacente exibe fortes correlações espaço-angulares. Os métodos existentes enfrentam limitações: abordagens tradicionais baseadas em priors manuais (ex: LFBM5D) carecem de adaptabilidade a estruturas complexas de LF, enquanto métodos recentes de aprendizado profundo frequentemente dependem de decomposições geométricas predefinidas ou particionam os dados em subespaços 2D isolados. Essas restrições impedem a modelagem eficaz de dependências de longo alcance através de todo o espaço 4D do LF.

Metodologia
Os autores propõem a VSANet (View-aware Sparse Attention Network), um framework de aprendizado profundo projetado para realizar uma agregação não local eficiente sobre toda a representação 4D do LF. A arquitetura da rede consiste nos seguintes componentes principais:

1. Arquitetura da Rede: A VSANet processa a imagem 4D LF ruidosa através de uma cascata de $G$ módulos Sequential Extraction Attention Refinement (SEAR) empilhados, conectados por uma conexão residual global. A entrada e a saída são processadas no subespaço espacial (SS), enquanto o processamento intermediário explora quatro subespaços complementares: espacial (SS), angular (AS), epipolar horizontal (EHS) e epipolar vertical (EVS).
2. Extração Sequencial de Características (SFE): Dentro de cada módulo SEAR, o estágio SFE utiliza $F$ blocos de Extração de Características (FE) residuais. Cada bloco FE emprega uma estrutura de dois ramos: um ramo espacial-angular operando nos domínios SS e AS para capturar correlações, e um ramo epipolar operando nos domínios EHS e EVS para capturar consistência geométrica.
3. Bloco de Atenção Esparsa Sensível à Vista (VSA Block): Esta é a inovação central. Ao contrário de métodos anteriores que restringem a atenção a subespaços específicos, o bloco VSA representa todo o mapa de características 4D do LF como uma sequência de tokens unificada de comprimento $N = S \cdot T \cdot H \cdot W$. Isso permite a interação espacial-angular global dentro de um único espaço de atenção. Para lidar com a complexidade proibitiva $O(N^2)$ da atenção total, os autores utilizam Locality-Sensitive Hashing (LSH). Tokens semelhantes são agrupados em baldes (buckets) de atenção esparsa via múltiplas rodadas de hashing independentes. Isso facilita a agregação não local implícita entre as vistas com complexidade linear $O(N \cdot s)$, onde $s$ é o tamanho do fragmento (chunk size).
4. Bloco de Refinamento de Características (FR Block): Seguindo o bloco VSA, o bloco FR utiliza Módulos de Atenção de Bloco Convolucional (CBAMs) através de todos os quatro subespaços (SS, AS, EHS, EVS). Este passo aplica atenção espacial e de canal sequencial para enfatizar características discriminativas antes de fundi-las para a próxima etapa.

Principais Contribuições

• Espaço de Atenção 4D Unificado: A VSANet é apresentada como o primeiro framework de LF a realizar atenção sobre toda a representação 4D do LF como uma sequência de tokens unificada, em vez de isolar dimensões espaciais ou angulares.
• Agregação entre Vistas Eficiente: Ao combinar a atenção esparsa sensível à vista com LSH, a rede alcança interações globais de características com complexidade computacional linear, explorando efetivamente as correlações entre localizações espaciais e angulares distantes.
• Refinamento de Características Multi-Subespaço: A integração do bloco FR garante que as características informativas sejam realçadas através dos subespaços espacial, angular e epipolar, abordando as limitações de métodos que ignoram estruturas geométricas específicas.

Resultados Experimentais
Os autores avaliaram a VSANet em dois conjuntos de dados de referência (STFLytro e EPFL) sob três níveis de ruído ($\sigma = 10, 20, 50$).

• Desempenho Quantitativo: A VSANet alcançou os melhores escores médios de PSNR e SSIM em todos os níveis de ruído e conjuntos de dados em comparação com os métodos de estado da arte (SOTA), incluindo LFBM5D, DRLF, MSP, PFE e HLFRN. Por exemplo, no conjunto de dados STFLytro em $\sigma=50$, a VSANet alcançou um PSNR de 37,34 dB, superando o segundo melhor método (HLFRN com 36,97 dB).
• Eficiência: Apesar de seu desempenho, a VSANet mantém uma eficiência computacional favorável. Ela requer menos parâmetros (1.142K) e menor tempo de execução (10,79s) em comparação com vários métodos de aprendizado profundo concorrentes, como o HLFRN (1.676K parâmetros, 15,26s de tempo de execução).
• Estudos de Ablação: Experimentos confirmaram a necessidade de cada componente. Remover o bloco VSA, restringir a atenção a vistas únicas, reduzir as rodadas de hashing ou remover o bloco FR resultou em degradação do desempenho. Além disso, o estudo determinou que $G=5$ módulos SEAR e $F=5$ blocos SFE oferecem o equilíbrio ideal entre desempenho e custo computacional.

Significância e Alegações
O artigo afirma que a VSANet aborda efetivamente o desafio da redução de ruído em LF ao superar as limitações de decomposições geométricas predefinidas e do processamento de subespaços isolados. Ao tratar os dados 4D do LF como um espaço unificado e utilizar atenção esparsa, o método explora com sucesso a assimetria entre o ruído independente e o conteúdo da cena correlacionado. Os autores afirmam que a VSANet supera os métodos SOTA existentes enquanto mantém a eficiência computacional, estabelecendo um novo patamar para a restauração de imagens LF. Eles sugerem que o framework VSA proposto poderia ser estendido para outras tarefas de restauração de LF em trabalhos futuros.