ReflexSplit: Single Image Reflection Separation via Layer Fusion-Separation

1. O Problema: Separação de Reflexão em Imagem Única (SIRS)

A Separação de Reflexão em Imagem Única (SIRS) visa decompor uma imagem capturada através de um meio transparente (como vidro ou água) em duas camadas distintas: a camada de transmissão (o objeto real atrás do vidro) e a camada de reflexão (o reflexo indesejado na superfície).

• Desafios Atuais: Métodos existentes frequentemente sofrem de confusão entre transmissão e reflexão, especialmente em cenários com mistura não linear forte (ex: luz intensa, reflexos especulares) ou em camadas profundas de redes neurais.
• Causas Raiz:
  1. Mecanismos de Fusão Implícitos: Muitas abordagens fundem características de forma não adaptativa, levando à perda de distinção entre as camadas.
  2. Coordenação Multi-escala Inadequada: A falta de coordenação entre diferentes níveis hierárquicos da rede causa degradação de características e instabilidade de gradiente.
  3. Entrelaçamento de Características: À medida que a rede se aprofunda, as características das camadas de transmissão e reflexão tornam-se inseparáveis, resultando em artefatos visuais e distorções.

2. Metodologia: O Framework ReflexSplit

O ReflexSplit propõe um framework de dois fluxos (dual-stream) que alterna explicitamente entre fusão e separação de camadas. A arquitetura é composta por três inovações principais:

A. Extração de Características em Duplo Ramo

• GFEB (Global Feature Extractor Block): Utiliza um Swin Transformer pré-treinado para extrair priores semânticos globais em múltiplas escalas.
• LFEB (Local Feature Extractor Block): Utiliza uma CNN baseada em MuGI para capturar detalhes de textura local em resoluções hierárquicas.
• Objetivo: Criar representações complementares para evitar o entrelaçamento inicial de características.

B. Fusão Gated Multi-escala (CrGF - Cross-scale Gated Fusion)

• Função: Agrega adaptativamente características de fontes heterogêneas (priores semânticos, detalhes de textura e contexto do decodificador) através de diferentes profundidades hierárquicas.
• Mecanismo: Utiliza portas (gates) bidirecionais para equilibrar o contexto do decodificador com as características atuais. Isso estabiliza o fluxo de gradiente e previne a degradação progressiva de características que leva à confusão entre camadas.
• Diferencial: Ao contrário de métodos que apenas concatenam ou trocam características em uma única escala, o CrGF coordena ativamente múltiplas escalas.

C. Blocos de Fusão-Separção de Camada (LFSB - Layer Fusion-Separation Blocks)

Este é o núcleo da separação explícita, operando em duas fases dentro de cada bloco:

1. Fusão Precoce (Early Fusion): Projeta bidirecionalmente as características de transmissão e reflexão para alinhar seus espaços semânticos, permitindo a troca de informações complementares antes da separação.
2. Separação Diferencial (Differential Separation): Inspirado no Differential Transformer, o método aplica uma subtração cruzada entre os fluxos:
   • Calcula mapas de atenção espacial (SA) e entre camadas (CA).
   • Aplica o operador diferencial: $A_t^{diff} = (A_t^{SA} + A_t^{CA}) - \sigma(\lambda) \cdot (A_r^{SA} + A_r^{CA})$.
   • Isso suprime ativamente a interferência cruzada, forçando a rede a aprender características específicas de cada camada.

D. Treinamento Curricular (Curriculum Training)

Para evitar que a separação diferencial seja muito agressiva no início (o que desestabilizaria características mal estruturadas), o método utiliza:

• Inicialização Dependente de Profundidade: Camadas mais profundas recebem pesos de separação mais fortes ($\lambda \to 0.8$), enquanto camadas rasas mantêm pesos mais fracos para preservar detalhes.
• Aquecimento por Época (Warmup): A força da separação diferencial aumenta gradualmente ao longo das épocas de treinamento, permitindo que a rede aprenda primeiro a reconstrução holística e depois refine a separação específica das camadas.

3. Contribuições Principais

1. Framework Explícito de Fusão-Separção: Uma nova paradigm que alterna entre fusão para extração de estrutura compartilhada e separação diferencial para desentrelaçamento específico da camada, prevenindo a confusão em toda a hierarquia da rede.
2. CrGF e Atenção Diferencial: Combinação de agregação adaptativa multi-escala (CrGF) para consistência hierárquica e subtração de atenção cruzada (LFSB) para desentrelaçamento explícito.
3. Treinamento Curricular: Uma estratégia que estabiliza o aprendizado da separação diferencial através de inicialização dependente de profundidade e aquecimento temporal.
4. Desempenho SOTA: Resultados superiores em benchmarks sintéticos e do mundo real, com qualidade perceptual superior e generalização robusta.

4. Resultados Experimentais

O ReflexSplit foi avaliado em diversos benchmarks, incluindo conjuntos sintéticos (Real20, Nature, SIR2) e do mundo real (OpenRR-1K).

• Métricas Quantitativas:
  • Alcançou o estado da arte (SOTA) em métricas de similaridade estrutural (SSIM) e qualidade perceptual (LPIPS) na maioria dos conjuntos de dados.
  • No OpenRR-1K, obteve o maior SSIM (0.9372) e o menor LPIPS (0.1087), superando métodos concorrentes como DSIT, RDNet e DSRNet.
  • Demonstrou uma melhor preservação de detalhes finos e texturas naturais sem suavização excessiva.
• Eficiência: Com 174M de parâmetros, oferece um equilíbrio eficaz entre desempenho e eficiência, sendo significativamente mais leve que o RDNet (266M) e competitivo com o DSIT (136M).
• Análise Qualitativa: Em comparação visual, o ReflexSplit remove reflexos de forma mais limpa, preserva bordas nítidas e evita distorções de cor e vazamento de características (transmissão vazando na reflexão e vice-versa), problemas comuns em outros métodos.
• Estudo de Ablação: Confirma que a remoção do CrGF ou do LFSB leva a quedas drásticas no desempenho (ex: queda de PSNR para ~19.9 sem LFSB), validando a necessidade de ambas as componentes.

5. Significado e Impacto

O ReflexSplit representa um avanço significativo na área de visão computacional para a separação de reflexos. Ao abordar o problema fundamental da confusão entre camadas em redes profundas através de mecanismos explícitos de fusão e separação diferencial, o trabalho oferece:

• Solução para Mistura Não Linear: Capacidade superior de lidar com cenários complexos do mundo real onde modelos lineares ou de fusão implícita falham.
• Generalização Robusta: O treinamento curricular permite que o modelo generalize bem para dados não vistos, superando limitações de métodos que dependem excessivamente de dados sintéticos.
• Novo Paradigma Arquitetural: A introdução de blocos que alternam intencionalmente entre fusão e separação, combinada com atenção diferencial, abre novas direções para tarefas de decomposição de imagens além da separação de reflexos.

Em resumo, o ReflexSplit estabelece um novo padrão de qualidade para a separação de reflexos em imagem única, superando métodos anteriores tanto em métricas objetivas quanto na qualidade visual percebida.