Preventing Overfitting in Deep Image Prior for Hyperspectral Image Denoising

Título: Prevenção de Overfitting em Deep Image Prior para Remoção de Ruído em Imagens Hiperespectrais

1. Problema Abordado

A remoção de ruído em Imagens Hiperespectrais (HSI) é um pré-processamento crítico para diversas aplicações (monitoramento ambiental, agricultura de precisão, medicina, etc.). As HSIs são frequentemente degradadas por ruídos complexos, incluindo ruído gaussiano, ruído esparsos (impulsivos) e artefatos de listras (striping).

O Deep Image Prior (DIP) e sua variante para dados hiperespectrais (DHIP) são frameworks de aprendizado não supervisionado que utilizam a arquitetura de uma Rede Neural Convolucional (CNN) inicializada aleatoriamente como um "prior" implícito para a estrutura natural da imagem. Embora eficazes, esses métodos sofrem de um problema fundamental: overfitting (sobreajuste).

• À medida que o treinamento avança, a rede começa a memorizar o ruído em vez de apenas a estrutura da imagem limpa.
• Isso exige o uso de early stopping (parada antecipada), que é difícil de determinar automaticamente e varia entre tarefas.
• Métodos existentes tentam mitigar isso, mas enfrentam trade-offs:
  • Métodos baseados em SURE (Stein's Unbiased Risk Estimator) funcionam bem com ruído gaussiano (usando fidelidade de dados $\ell_2$), mas falham com ruídos esparsos ou não gaussianos.
  • Métodos com fidelidade de dados robusta (ex: $\ell_1$) lidam melhor com ruídos mistos, mas ainda sofrem de overfitting se usados sozinhos no DIP.

2. Metodologia Proposta

Os autores propõem uma abordagem unificada que combina três elementos chave para mitigar o overfitting sem depender de early stopping:

1. Fidelidade de Dados Robusta (Smooth $\ell_1$):

   • Em vez da perda quadrática ($\ell_2$) padrão, utiliza-se a perda Smooth $\ell_1$ (também conhecida como envoltória de Moreau).
   • Esta função de perda alterna entre comportamento quadrático para erros pequenos e linear para erros grandes, proporcionando robustez contra ruídos esparsos e de cauda pesada, mantendo a estabilidade da otimização.

2. Regularização Explícita de Sensibilidade (Baseada em SURE):

   • Incorpora um termo de regularização baseado na divergência, inspirado no estimador SURE.
   • O termo de divergência penaliza a sensibilidade do estimador a pequenas perturbações na entrada, atuando como um regulador dos graus de liberdade efetivos do modelo.
   • Calculado via aproximação de Monte Carlo, pois o cálculo direto da divergência em redes profundas é inviável.

3. Otimização Conjunta de Parâmetros e Entrada:

   • Diferente do DIP padrão (onde a entrada é fixa como o ruído ou uma distribuição gaussiana), o método otimiza simultaneamente os parâmetros da rede ($\theta$) e a imagem de entrada ($z$).
   • A otimização conjunta expande o espaço de busca, o que poderia aumentar o risco de overfitting. No entanto, os autores demonstram que a regularização de divergência é crucial neste contexto: ela estabiliza o espaço de otimização expandido e impede que o ruído seja codificado tanto nos pesos da rede quanto na representação aprendida da entrada.

Função de Perda Unificada:
O objetivo de otimização é definido como:
$$L(\theta, z) = L_{Smooth-\ell_1}(f_\theta(z), y) + \frac{2\sigma^2}{n} \text{div}_z(f_\theta(z))$$
Onde o primeiro termo garante robustez aos dados e o segundo termo atua como regularizador de sensibilidade.

3. Contribuições Principais

• Solução Unificada para Overfitting: Demonstra que a mitigação eficaz do overfitting em DIP para HSI requer o design conjunto de aprendizado de representação (otimização de entrada) e regularização de sensibilidade.
• Compatibilidade de Termos de Perda: Resolve a incompatibilidade não trivial entre funções de perda robustas (como $\ell_1$) e regularização baseada em divergência (geralmente estudada sob $\ell_2$), mostrando que a combinação é eficaz apenas quando a entrada é otimizada.
• Eliminação da Dependência de Early Stopping: O método proposto atinge convergência estável e performance superior sem a necessidade de parar o treinamento manualmente ou automaticamente em um ponto de inflexão de erro.
• Robustez a Ruídos Misto: O framework lida simultaneamente com ruído gaussiano, esparsos e de listras, superando as limitações de métodos anteriores que eram especializados em apenas um tipo de ruído.

4. Resultados Experimentais

Os experimentos foram realizados em conjuntos de dados reais (Washington DC Mall e Salinas) com diversos cenários de ruído (Gaussiano, Gaussiano + Esparsos, Gaussiano + Listras e Mistura Total).

• Comparação: O método proposto foi comparado com SURE-DHIP (focado em ruído gaussiano) e HLF-DHIP (focado em robustez $\ell_1$).
• Desempenho Quantitativo:
  • O método proposto alcançou consistentemente os melhores valores de MPSNR (Peak Signal-to-Noise Ratio) e MSSIM (Structural Similarity Index) em todos os cenários de ruído.
  • Enquanto o HLF-DHIP mostrava sinais claros de overfitting (degradação da performance após certo número de iterações) e o SURE-DHIP falhava em cenários com ruído esparsos/listras, a proposta manteve a performance estável.
• Desempenho Qualitativo:
  • Visualizações mostram reconstruções mais limpas, com menos ruído residual e artefatos, especialmente na eliminação eficaz de ruído de listras (striping), onde os métodos concorrentes falharam.
• Eficiência: Os tempos de execução são comparáveis aos métodos existentes, mas a proposta permite uma terminação segura do treinamento devido à sua robustez intrínseca.

5. Significado e Conclusão

Este trabalho avança significativamente o estado da arte em remoção de ruído não supervisionada para imagens hiperespectrais. Ao demonstrar que a combinação de fidelidade de dados robusta, regularização de sensibilidade e otimização de entrada é sinérgica, os autores oferecem uma solução prática e robusta para um problema persistente (overfitting) em redes neurais profundas aplicadas a dados inversos.

A principal implicação é que é possível realizar denoising de alta qualidade em condições de ruído realistas e variadas sem a necessidade de grandes conjuntos de dados de treinamento ou de parâmetros de parada manuais, tornando a técnica mais viável para aplicações do mundo real em sensoriamento remoto e imageamento médico.