Cross-Scenario Deraining Adaptation with Unpaired Data: Superpixel Structural Priors and Multi-Stage Pseudo-Rain Synthesis

Resumo Técnico: Adaptação de Remoção de Chuva entre Cenários com Dados Não Pareados

1. O Problema

A remoção de chuva (image deraining) é uma tarefa fundamental na visão computacional de baixo nível, essencial para sistemas de vigilância e condução autônoma. Embora os métodos baseados em aprendizado profundo tenham alcançado sucesso em cenários controlados (domínio fonte), eles sofrem de degradação severa de desempenho quando generalizados para cenários não vistos (Out-of-Distribution ou OOD).

• Causa Raiz: A discrepância de domínio significativa entre os conjuntos de dados sintéticos usados no treinamento e a dinâmica física complexa da chuva no mundo real (iluminação variável, oclusões, neblina).
• Desafio Específico: A maioria dos modelos exige pares de imagens "chuvosa-limpa" no domínio alvo para adaptação, o que é impraticável devido ao custo de anotação e à dificuldade de capturar dados reais pareados.
• Evidência Empírica: Modelos de ponta (como NeRD-Rain, DRSformer, FADformer) treinados em Rain200L perdem entre 30% a 60% de desempenho (PSNR) quando testados em domínios OOD como Rain200H, DID-Data e DDN-Data, resultando em artefatos visuais e perda de fidelidade do fundo.

2. Metodologia Proposta

O artigo propõe um framework de adaptação cross-scenario pioneiro que opera sem a necessidade de imagens alvo pareadas com chuva. O método utiliza exclusivamente imagens de fundo livres de chuva do domínio alvo e sintetiza dados pseudo-pareados através de três módulos principais:

A. Geração de Superpixels (Sup-Gen)

• Objetivo: Extrair priores estruturais estáveis do domínio fonte.
• Técnica: Utiliza o algoritmo SLIC (Simple Linear Iterative Clustering) no espaço de cor CIELAB.
• Funcionamento: A imagem fonte é segmentada em "superpixels" (blocos ricos em informação estrutural e textural). O algoritmo minimiza uma métrica de distância normalizada que combina distâncias de cor e espacial, garantindo consistência estrutural com complexidade computacional linear $O(N)$.

B. Fusão Adaptativa à Resolução (Resolution-adaptive Fusion)

• Objetivo: Alinhar os priores estruturais do domínio fonte com o fundo do domínio alvo.
• Mecanismo:
  1. Realiza uma correspondência local (local matching) entre os superpixels da fonte e a imagem alvo (livre de chuva) baseada em similaridade de textura e consistência semântica.
  2. Utiliza uma janela deslizante para minimizar o Erro Quadrático Médio (MSE) e encontrar a melhor região de integração.
  3. Aplica uma estratégia de fusão $\alpha$-blending com uma máscara aleatória (random mask) para sintetizar uma imagem alvo enriquecida com informações estruturais da fonte, preservando a distribuição intrínseca do alvo.

C. Re-síntese de Pseudo-rótulo (Pseudo-label Re-Synthesis)

• Objetivo: Gerar camadas de raios de chuva realistas para criar pares de treinamento sintéticos de alta fidelidade.
• Processo Multi-estágio:
  1. Transformação para espaço YUV e extração do canal de luminância.
  2. Geração de Ruído: Criação de uma base de ruído pontual (sal e pimenta).
  3. Transformação Morfológica: Aplicação de desfoque Gaussiano para criar manchas com gradientes ópticos.
  4. Desfoque de Movimento: Conversão das manchas em raios de chuva lineares.
  5. Fusão: Sobreposição da camada de chuva sintetizada no canal de luminância da imagem alvo fundida, convertida de volta para RGB.

3. Principais Contribuições

1. Framework sem Pareamento no Alvo: É a primeira abordagem de adaptação cross-scenario que elimina a necessidade de observações alvo com chuva, utilizando apenas imagens de fundo limpas, aumentando a viabilidade de implantação no mundo real.
2. Mecanismo de Extração e Augmentação: Combina priores estruturais de superpixels (via SLIC) com correspondência de textura para fundir estruturas da fonte no alvo, garantindo diversidade e realismo nos dados pseudo.
3. Flexibilidade Plug-and-Play: O método funciona como um módulo independente que pode ser integrado a qualquer arquitetura de remoção de chuva existente sem modificações na estrutura do modelo base.
4. Síntese Física Realista: A re-síntese de pseudo-rótulos simula a física da chuva (gradientes, movimento) em vez de usar ruído aleatório simples, melhorando a generalização.

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks de estado da arte (NeRD-Rain, DRSformer, FADformer, DFSSM) com foco em cenários OOD.

• Ganhos de Desempenho:
  • Aumento de PSNR de 32% a 59% em domínios OOD comparado aos modelos base sem a adaptação.
  • Melhoria significativa em métricas de similaridade estrutural (SSIM) e percepção (LPIPS, FSIM).
  • Redução de artefatos e melhoria na naturalidade da imagem (NIQE e PI).
• Eficiência de Treinamento:
  • O método acelera drasticamente a convergência. Por exemplo, o modelo NeRD-Rain alcançou seu melhor desempenho em apenas 15 épocas (vs. 84 épocas no baseline aleatório), uma melhoria de 5.6x na eficiência.
• Ablação:
  • A substituição do SLIC por outros algoritmos (NC05) resultou em queda de desempenho, validando a escolha do SLIC para priores estruturais.
  • A taxa de fusão ($\alpha$) ótima foi encontrada em 0.2, indicando que uma mistura leve de estrutura da fonte com o fundo do alvo é mais eficaz.

5. Significado e Impacto

Este trabalho aborda uma lacuna crítica na visão computacional: a generalização de modelos de restauração de imagens para cenários não vistos sem dados de treinamento pareados.

• Aplicabilidade Prática: Oferece uma solução viável para sistemas de segurança e veículos autônomos que operam em ambientes dinâmicos onde a coleta de dados pareados é impossível.
• Avanço Científico: Demonstra que a combinação de priores estruturais robustos (superpixels) com síntese de dados física (pseudo-rain) pode superar a discrepância de domínio, reduzindo a dependência de grandes conjuntos de dados anotados e permitindo a adaptação contínua a novos cenários climáticos.

Em resumo, a proposta transforma o problema de adaptação de domínio em um processo de síntese de dados guiada por estrutura, permitindo que modelos treinados em um cenário se adaptem eficazmente a outros, mantendo alta fidelidade e robustez.