Resumo Técnico: Aprendizado de Incerteza Induzido por Perturbação Agnóstico à Arquitetura para Desembaçamento de Imagens em Tempo Real de Ponta a Ponta

Declaração do Problema

O desembaçamento de imagens no mundo real continua sendo um problema mal posto e desafiador devido à natureza espacialmente não uniforme, dependente da iluminação e fisicamente ambígua da degradação por névoa. Embora as redes de restauração de ponta a ponta existentes tipicamente formulem o desembaçamento como um mapeamento determinístico de uma observação nebulosa para um alvo limpo, elas frequentemente falham em explorar explicitamente a incerteza oculta dentro de características degradadas, priors de névoa e amostras negativas de domínios cruzados. Mesmo com conjuntos de dados pareados do mundo real (ex: I-HAZE, O-HAZE, Dense-Haze), a reconstrução apenas por pixel pode resultar em estruturas excessivamente suavizadas ou desvios de cor, porque o aprendizado supervisionado padrão não considera a sensibilidade variável de diferentes canais de características e localizações espaciais à névoa. Além disso, os métodos existentes muitas vezes carecem de mecanismos para verificar se uma imagem restaurada é fisicamente consistente com o processo de formação da névoa observado ou para separar efetivamente os alvos limpos das degradações reais e sintéticas no espaço de características.

Metodologia: Estrutura BPUL

Os autores propõem o Aprendizado de Incerteza Induzido por Perturbação Agnóstico à Arquitetura (BPUL), uma estrutura plug-and-play projetada para modelar a incerteza de características sensíveis à degradação sem exigir o redesenho da arquitetura de restauração subjacente. O BPUL consiste em três componentes complementares:

1. Modulador de Incerteza Induzido por Perturbação Aprendível (LPUM)

O LPUM é o módulo central de inferência inserido nas camadas intermediárias de uma arquitetura de restauração (CNN, Transformer ou híbrida). Ele opera através de:

• Perturbação Estocástica: Injeção de perturbações estocásticas aprendíveis nos mapas de características intermediários. Ele estima distribuições de perturbação por canal e por espaço usando amostragem reparametrizada (prevendo a média e o logaritmo do desvio padrão).
• Resposta de Incerteza: Comparação da resposta de característica original com a resposta perturbada alinhada inversamente para calcular um mapa de discrepância. Esta discrepância mede a sensibilidade de canais e localizações espaciais específicas às perturbações relacionadas à névoa.
• Modulação de Características: Conversão dessas discrepâncias em pesos de modulação (via mapeamentos com portão sigmoide) que escalam as características de forma adaptativa. Respostas estáveis indicam conteúdo confiável, enquanto mudanças bruscas após a perturbação destacam regiões sensíveis à degradação que requerem modulação.

2. Módulo de Reconstrução Guiado por Incerteza e Informado por Prior (PURM)

O PURM atua como uma restrição durante o treinamento para impor consistência física. Ele reconstrói a observação nebulosa original ($\hat{I}$) a partir da imagem restaurada ($\hat{J}$) usando o modelo de espalhamento atmosférico:
$$\hat{I}(x) = \hat{T}(x)\hat{J}(x) + (1 - \hat{T}(x))\hat{A}(x)$$

• Injeção de Prior: Utiliza estimativas de Dark Channel Prior (DCP) para transmissão ($T_d$) e luz atmosférica ($A_d$), injetando-as via concatenação e modulação afim latente.
• Acoplamento de Incerteza: Crucialmente, o PURM herda as pistas de perturbação ($N_c, N_s$) geradas pelo LPUM da rede principal (através de um bloco I-LPUM herdado) em vez de aprender novas perturbações. Isso garante que as regiões identificadas como sensíveis durante o desembaçamento direto também influenciem a reconstrução reversa da névoa.
• Perda: Uma perda de reconstrução ($L_{rec}$) minimiza a diferença entre a imagem nebulosa reconstruída e a entrada original.

3. Perda Contrastiva de Distribuição Diversificada de Domínio de Espaço Duplo (D3CL)

A D3CL regulariza as distribuições de características tanto no espaço de restauração limpa quanto no espaço de reconstrução de névoa.

• Espaço Duplo: Aplica aprendizado contrastivo tanto para a saída desembaçada ($\hat{J}$) quanto para a imagem nebulosa reconstruída ($\hat{I}$).
• Negativos Diversificados: Em vez de usar apenas a entrada nebulosa pareada como um negativo, ela utiliza:
  • Negativos do mundo real: Imagens nebulosas não correspondentes de outros pares de treinamento para modelar o domínio de degradação real mais amplo.
  • Negativos sintéticos: Para cobrir distribuições de névoa sintética.
• Características Estocásticas: Para aproximar representações de distribuição de forma eficiente, as características perceptuais (extraídas via VGG-19 congelada) são perturbadas com base em sua magnitude de ativação, evitando inferências de Monte Carlo dispendiosas.
• Objetivo: A perda puxa o âncora em direção ao positivo (limpo ou nebuloso original) e o empurra para longe dos negativos reais e sintéticos em um espaço perceptual consciente de perturbação.

Treinamento vs. Inferência: A estrutura completa (LPUM + PURM + D3CL) é usada durante o treinamento. Durante a inferência, apenas a arquitetura aprimorada com o leve LPUM é retida; PURM e D3CL são descartados, garantindo um custo computacional adicional mínimo.

Principais Contribuições

1. Estrutura BPUL: Introdução de uma estrutura de aprendizado de incerteza agnóstica à arquitetura que modela explicitamente a incerteza de características sensíveis à degradação através de perturbações estocásticas aprendíveis.
2. LPUM: Um módulo que estima respostas de incerteza por canal e por espaço a partir de discrepâncias induzidas por perturbação, permitindo a modulação adaptativa de características sem alterar a arquitetura da rede principal.
3. PURM: Um módulo de reconstrução que impõe uma restrição de consistência física bidirecional ao reconstruir a observação nebulosa a partir do resultado restaurado, guiado por priors de transmissão/atmosféricos e pistas de incerteza compartilhadas.
4. D3CL: Uma perda contrastiva de espaço duplo que regulariza tanto os espaços limpos quanto os nebulosos usando negativos reais e sintéticos dentro de um espaço de características consciente de perturbação.
5. Validação Empírica: Experimentos extensos demonstrando que o BPUL melhora consistentemente múltiplas arquiteturas representativas (MIMOUNet, IRNeXt, HOGformer-S, VIVNet) em cinco benchmarks pareados do mundo real.

Resultados Experimentais

Os autores avaliaram o BPUL em cinco benchmarks pareados do mundo real: Dense-Haze, I-HAZE, O-HAZE, NH-HAZE e LMHaze.

• Desempenho: O BPUL melhorou consistentemente todas as quatro arquitetias testadas. Em média, melhorou o MIMOUNet em 1.13 dB / 0.031 SSIM, o IRNeXt em 0.96 dB / 0.021 SSIM, o HOGformer-S em 1.48 dB / 0.061 SSIM e o VIVNet em 1.09 dB / 0.038 SSIM.
• Generalidade: O método mostrou robustez através de diferentes tipos de degradação (interior/exterior, homogênea/não-homogênea, intensidades variadas) e diferentes arquiteturas de rede (CNN, Transformer, híbrida).
• Eficiência: Como o PURM e a D3CL são restrições apenas de treinamento, o custo de inferência é marginal, limitado apenas às operações leves do LPUM.
• Estudos de Ablação:
  • Remover qualquer um dos ramos (por canal ou por espaço) no LPUM degradou o desempenho, confirmando a necessidade de modelagem conjunta.
  • Remover a geração de perturbação aprendível reduziu o PSNR, destacando a importância das distribuições aprendidas.
  • No PURM, remover as entradas de prior ou a modulação de incerteza reduziu significamente o desempenho, e compartilhar perturbações entre módulos de ida e volta provou ser superior à estimativa independente.
  • A ablação da D3CL mostrou que o uso de negativos reais não correspondentes, negativos sintéticos e características VGG estocásticas melhorou progressivamente os resultados, com a formulação completa de espaço duplo entregando os maiores ganhos.

Significância e Alegações

O artigo afirma que o BPUL fornece uma abordagem geral e eficiente para fortalecer redes de desembaçamento do mundo real. Ao aprender explicitamente a incerteza sensível à degradação e impor consistência de degradação bidirecional, a estrutura aborda a ambiguidade inerente à névoa do mundo real que mapeamentos determinísticos frequentemente perdem. Os autores enfatizam que o BPUL é agnóstico à arquitetura, o que significa que pode ser integrado em redes de restauração de estado da arte existentes com intervenção arquitetônica mínima, entregando ganhos substanciais de restauração. A abordagem muda o paradigma de uma restauração puramente determinística para um processamento consciente da incerteza, ofereando uma maneira fundamentada de lidar com as ambiguidades físicas da névoa real sem incorrer em um custo de inferência significativo.