CLIP-Guided Data Augmentation for Night-Time Image Dehazing

1. Problema Abordado

A remoção de neblina em imagens noturnas apresenta desafios significativamente mais complexos do que em cenários diurnos. Enquanto a remoção de neblina diurna lida principalmente com espalhamento atmosférico e estimativa de transmitância, a degradação noturna é resultante do acoplamento de múltiplos fatores:

• Baixa iluminação (redução da relação sinal-ruído).
• Iluminação não uniforme e fontes de luz locais fortes (causando halos e distorções).
• Espalhamento da neblina (atenuação de contraste e perda de detalhes).

O principal obstáculo para o aprendizado profundo neste domínio é a escassez de dados de treinamento pareados (imagem com neblina vs. imagem limpa) no domínio-alvo (noturno). A introdução de dados externos (como conjuntos de dados diurnos) sem controle adequado pode levar a uma má adaptação de domínio (domain shift), onde a distribuição dos dados de treinamento não corresponde à do teste, resultando em instabilidade no treinamento e piora no desempenho.

2. Metodologia Proposta

O artigo propõe uma solução unificada para o NTIRE 2026 Night Time Image Dehazing Challenge, focada em um pipeline de co-design orientado à tarefa, em vez de redesenhar arquiteturas de rede complexas. A metodologia divide-se em três componentes principais:

A. Curadoria de Dados Auxiliares Alinhada ao Domínio (Guiada por CLIP)

Para superar a escassez de dados, os autores utilizam dados externos de conjuntos de desneblinamento reais (I-HAZE, Dense-Haze, HAZE1K), mas aplicam um filtro rigoroso:

• Mecanismo: Utiliza-se um codificador visual pré-treinado do CLIP (ViT-B/32) para extrair representações de características.
• Filtragem: Calcula-se a similaridade semântica entre as imagens noturnas do domínio-alvo (NTHazy) e os candidatos externos.
• Seleção: Apenas amostras com alta similaridade visual, de iluminação e morfologia de degradação são retidas.
• Resultado: O conjunto de treinamento expandido consiste em 59 pares (25 originais de NTHazy + 34 selecionados dos conjuntos externos), garantindo consistência de distribuição.

B. Treinamento de Restauração em Duas Etapas

Para evitar que o modelo seja enviesado pelos dados externos antes de aprender as características noturnas, o treinamento ocorre em duas fases sequenciais:

1. Fase 1 (Adaptação ao Domínio-Alvo): O backbone de restauração (NAFNet) é treinado exclusivamente com os 25 pares do domínio noturno (NTHazy). Isso estabelece uma prioridade básica para degradação noturna, baixa luz e estatísticas de textura.
2. Fase 2 (Expansão com Dados Filtrados): O modelo da Fase 1 é refinado (fine-tuning) com o conjunto expandido (59 pares). Como o modelo já internalizou as características noturnas, ele pode absorver os dados externos filtrados para generalizar melhor os padrões de degradação sem perder a adaptação ao domínio alvo.

C. Melhoria no Momento da Inferência (Inference-Time Enhancement)

Para aumentar a robustez e a estabilidade da saída sem modificar os parâmetros aprendidos, três estratégias são combinadas:

• NAFNetLocal com TLC: Ativação de conversão local estilo TLC (Local Information Aggregation) para reconciliar estatísticas locais com contexto global.
• Auto-ensemble ×8: Geração de 8 previsões através de combinações de flip vertical, horizontal e transposição, que são mapeadas de volta e médias.
• Fusão de Snapshots Ponderada: Combinação linear de três checkpoints de treinamento (80k, 100k e 200k iterações) com pesos 0.04, 0.01 e 0.95, respectivamente. O checkpoint final (200k) recebe o peso dominante por melhor ajuste ao domínio.

3. Principais Contribuições

• Estratégia de Filtragem de Dados Consistente com o Domínio: Uso de representações visuais pré-treinadas (CLIP) para mitigar a escassez de dados e o domain shift em tarefas de desneblinamento noturno, selecionando apenas dados externos semanticamente relevantes.
• Framework de Restauração em Duas Etapas: Demonstração de que o co-design do pipeline de treinamento (filtragem de dados + treinamento em etapas) é uma rota eficaz para lidar com a complexidade da degradação noturna, superando a simples tentativa de aumentar a complexidade da rede.
• Pipeline de Inferência Robusto: Integração de técnicas de ensemble e fusão de checkpoints para melhorar a estabilidade da reconstrução em condições de iluminação heterogêneas.

4. Resultados

Os resultados foram avaliados no conjunto de dados público NHM-20 e no teste oculto do NTIRE 2026:

• Métricas de Luminância (Y-Channel): O método demonstrou melhoria consistente e estável no PSNR-Y e SSIM-Y em relação à entrada com neblina, confirmando a eficácia na recuperação da estrutura de brilho.
• Métricas de Cor e Perceptuais: As métricas RGB e LPIPS não superaram a linha de base de entrada. Isso indica que, embora a estrutura e o brilho sejam restaurados com sucesso, a fidelidade de cor e a qualidade perceptual ainda apresentam desafios e dependem da cena.
• Análise Visual: As comparações qualitativas mostram recuperação estável de brilho e estrutura, embora melhorias perceptuais ainda variem conforme a cena.
• Eficiência: O método alcança bons resultados sem a necessidade de redesenhar arquiteturas pesadas, utilizando NAFNet (uma rede leve) com otimizações de fluxo de trabalho.

5. Significado e Conclusão

O trabalho destaca que, em cenários de dados limitados e degradação complexa (como a noite), a organização dos dados e a estratégia de otimização são tão críticas quanto a arquitetura da rede.

• A abordagem demonstra que a seleção inteligente de dados externos (via CLIP) e o treinamento escalonado podem mitigar os efeitos negativos da falta de dados pareados.
• O framework oferece um pipeline prático e reprodutível para o desneblinamento noturno, focando na estabilidade da recuperação de brilho e estrutura.
• O trabalho aponta para futuras pesquisas focadas em filtragem de amostras cruzadas mais refinada e modelagem de degradação mais próxima da realidade da imagem noturna, especialmente para melhorar a fidelidade de cor e a qualidade perceptual.