Single Image Reflection Removal with Patch Reflectance Prior

Resumo Técnico: Remoção de Reflexão de Imagem Única com Prior de Reflectância de Patch

Declaração do Problema
A Remoção de Reflexão de Imagem Única (SIRR) visa recuperar uma imagem de transmissão limpa ($T$) a partir de uma única imagem de entrada ($I$) onde a cena está sobreposta a uma reflexão ($R$). Isso é formulado como $I = g(T) + f(R)$, onde $g(\cdot)$ e $f(\cdot)$ representam diversas degradações, como desfoque, absorção de luz, refração e efeitos de profundidade de campo. A tarefa é mal-posta devido a variáveis desconhecidas e à falta de verdade fundamental em cenários do mundo real.

Métodos existentes frequentemente dependem de suposições prévias específicas (por exemplo, esparsidade de gradiente de imagem, pistas de fantasmas ou suavidade relativa) para separar as camadas. No entanto, essas suposições falham com frequência em ambientes complexos do mundo real, onde as características da reflexão variam significativamente (por exemplo, reflexões nítidas versus desfocadas, distâncias variáveis de objetos e iluminação natural). Além disso, a escassez de dados do mundo real levou a uma dependência excessiva de conjuntos de dados sintéticos, fazendo com que os modelos careçam de robustez ao serem aplicados a cenas do mundo real diversas e não estruturadas.

Metodologia
Os autores propõem um framework que evita suposições prévias rígidas e específicas em favor de um Prior de Intensidade de Reflexão geral. Este prior define a força do fenômeno de reflexão em uma região local, em vez de assumir um tipo específico de degradação (como desfoque ou fantasmas). O framework consiste em dois componentes principais:

1. Definição do Prior de Intensidade de Reflexão:
   Em vez da razão padrão de reflexão para transmissão (que pode produzir valores infinitos para reflexões fortes), os autores redefinem a intensidade de reflexão como uma pontuação normalizada entre 0 e 1:
   $$\text{IntensidadeReflexão} = \frac{\text{Média}(R)}{\text{Média}(R) + \text{Média}(T)}$$
   Esta métrica é calculada por patch regional para levar em conta a natureza não uniforme das reflexões em imagens sobrepostas.

2. Rede de Extração de Prior de Reflexão (RPEN):
   A RPEN é projetada para estimar o prior de intensidade de reflexão para cada patch de uma imagem de entrada.

   • Arquitetura: Utiliza uma espinha dorsal ResNext101 pré-treinada no ImageNet para entender imagens regulares, não refletidas.
   • Treinamento: A rede é ajustada finamente em um conjunto de dados composto por imagens sintéticas (criadas sobrepondo reflexões do CEILNet sobre imagens do PASCAL VOC) e imagens do mundo real do conjunto de dados CDR.
   • Refinamento: Uma abordagem em cascata usando Pooling de Pirâmide Espacial Atrous (ASPP) é empregada em características de alto nível para capturar relacionamentos globais entre patches e refinar a estimativa de intensidade para cada um dos 49 ($7 \times 7$) patches.

3. Rede de Remoção de Reflexão Baseada em Prior (PRRN):
   A PRRN utiliza o prior de intensidade de reflexão estimado para remover reflexões de forma adaptativa.

   • Arquitetura: Emprega uma estrutura simples Transformer U-Net, conhecida pelo sucesso em tarefas de restauração de imagem.
   • Incorporação de Prior: O prior de intensidade de reflexão para cada patch é codificado em características usando um mecanismo de incorporação sinusoidal (semelhante à codificação posicional em transformadores).
   • Processamento Adaptativo: As características de prior codificadas são injetadas na rede por meio de camadas Afins Específicas de Características (FWA) dentro dos ResBlocks. Isso guia a rede a focar nas regiões de reflexão e remover ruído de forma adaptativa à região durante os processos de amostragem para cima e para baixo.

Principais Contribuições

• Prior Geral de Intensidade de Reflexão: O artigo introduz uma definição de prior livre de suposições específicas sobre tipos de reflexão (por exemplo, desfoque ou fantasmas), focando, em vez disso, na força local do fenômeno de reflexão.
• Framework RPEN e PRRN: Os autores propõem um pipeline de duas etapas onde a RPEN extrai priores regionais de intensidade de reflexão, e a PRRN utiliza esses priores dentro de uma arquitetura Transformer U-Net para realizar a remoção.
• Análise Baseada em Patch: O estudo demonstra que segmentar imagens em patches permite a aprendizagem de priores de reflexão não uniformes, o que é crucial para lidar com diversos cenários do mundo real.
• Criação de Conjunto de Dados: Um conjunto de dados de prior de intensidade de reflexão foi criado para treinar o módulo RPEN.

Resultados Experimentais
O método foi avaliado no conjunto de dados CDR (Categorizado, Diverso e do Mundo Real), bem como nos benchmarks Real20, SIR2 e Nature.

• Desempenho: A proposta PRRN+RPEN alcançou precisão State-of-the-Art (SOTA) na maioria dos benchmarks. No conjunto de teste CDR, alcançou um PSNR de 24,31 (vs. 22,04 para o anterior melhor YTMT-UCS) e um SSIM de 0,815.
• Robustez: O método mostrou desempenho excepcional na categoria SRST (Reflexão Nítida, Transmissão Nítida), onde muitos métodos baseados em prior falham devido à falta de pistas específicas como fantasmas. Também performou bem em BRST (Reflexão Desfocada) e cenários de reflexão forte.
• Estudos de Ablação:
  • Resolução de Patch: Experimentos mostraram que, embora treinar a RPEN com patches menores (maior resolução) seja mais desafiador, o uso de verdade de prior mais fina como entrada para a PRRN melhora significativamente a precisão da remoção.
  • Impacto da RPEN: Adicionar o módulo RPEN à PRRN resultou em um aumento de 0,87 dB no PSNR. A análise visual usando LayerCAM confirmou que a RPEN guia a rede a focar a atenção nas regiões de reflexão reais, enquanto a PRRN sem RPEN tende a focar em áreas não refletidas.

Significado e Alegações
O artigo alega que seu significado principal reside em abordar as limitações dos métodos SIRR existentes que dependem de suposições prévias específicas, muitas vezes frágeis. Ao definir um prior geral de intensidade de reflexão e aprendê-lo via RPEN, a abordagem proposta alcança robustez em diversos cenários do mundo real onde as características da reflexão são imprevisíveis. Os autores notam que, embora sua abordagem alcance precisão SOTA, a precisão de previsão do prior de intensidade de reflexão em certos casos poderia potencialmente ser melhorada no futuro através de designs de RPEN multirresolução. O trabalho enfatiza que a remoção de reflexão adaptativa à região, guiada por priores de intensidade aprendidos em vez de suposições fixas, é um passo crítico para a frente para a restauração de imagens do mundo real.