A Principled Self-Referenced Early Stopping Approach for Deep Image Prior

Resumo Técnico: Uma Abordagem de Parada Antecipada Auto-Referenciada e Principiada para Prior de Imagem Profunda

Enunciação do Problema
O Prior de Imagem Profunda (DIP) emergiu como um método poderoso e livre de dados de treinamento para resolver Problemas de Imageamento Inverso (IIPs), como remoção de ruído, super-resolução e reconstrução de imagens médicas. Ao otimizar uma rede neural convolucional (CNN) inicializada aleatoriamente para ajustar medições ruidosas, o DIP captura efetivamente estatísticas de imagem de baixa frequência. No entanto, devido à superparametrização da rede, o DIP é propenso ao sobreajuste ao ruído de medição ou a artefatos do espaço nulo. Consequentemente, determinar o ponto ótimo de parada (Parada Antecipada, ES) é crítico.

Os métodos existentes de ES enfrentam limitações significativas:

1. Métodos baseados em variância (e.g., WMV-ES): Estes rastreiam flutuações na variância em execução da saída da rede. Embora eficazes em alguns cenários, frequentemente detectam o sobreajuste prematuramente para imagens de alta resolução ou aquelas com estruturas finas (e.g., imagens naturais texturizadas ou exames médicos), levando a reconstruções instáveis, distantes do ponto de parada "oráculo" ótimo.
2. Métodos baseados em risco (e.g., SURE): O Estimador de Risco Não Viciado de Stein fornece uma estimativa de risco principiada, mas requer conhecimento preciso do nível de ruído. Em configurações de DIP por instância, essas estimativas podem exibir alta variância, levando a decisões não confiáveis.
3. Falta de Dados de Validação: A validação padrão requer uma imagem limpa de verdade fundamental (ground-truth), indisponível em IIPs. Embora obter duas cópias ruidosas totalmente independentes da imagem degradada permitiria teoricamente uma detecção de sobreajuste quase ótima, isso é geralmente inviável na prática.

Metodologia
Os autores propõem um framework que reduz a parada antecipada do DIP a um problema de validação usando imagens pseudo auto-referenciadas. A percepção teórica central é que uma pseudo-referência não precisa ser perfeitamente independente dos dados de ajuste; é suficiente se o componente compartilhado entre os sinais de ajuste e validação for pequeno ou não for ajustado preferencialmente antes do ruído restante.

O artigo introduz três algoritmos específicos baseados nesse princípio, adaptados a diferentes tipos de imagem e modelos de ruído:

1. ES de Referência por Similaridade de Canal (CSR-ES) para Imagens RGB:

   • Mecanismo: Explora o fato de que os canais RGB compartilham informações estruturais, mas contêm ruído parcialmente decorrelacionado.
   • Procedimento: O método identifica o par de canais ruidosos $(i, j)$ com a menor distância (maior similaridade). Treina-se o DIP na imagem RGB completa, mas utiliza-se a consistência entre canais (ajustando o canal $i$ contra o canal de referência $j$) como critério de parada.
   • Racional: Isso reduz o viés cruzado entre canais limpos, enquanto garante que o ruído específico do canal permaneça menos correlacionado com o canal ajustado.

2. ES de Referência por Máscara (MR-ES) para Imagens em Escala de Cinza:

   • Mecanismo: Constrói uma pseudo-referência mantendo de fora um pequeno subconjunto de pixels (e.g., 2% dos pixels) via uma máscara de alta retenção $M$.
   • Procedimento: O DIP é treinado usando uma perda mascarada $\|M \odot (f_\theta(z) - y)\|^2$, excluindo explicitamente os pixels mantidos de fora da otimização. O critério de parada é o erro nos pixels mantidos de fora: $\|H \odot (\hat{x}_t - y)\|^2$, onde $H = 1-M$.
   • Racional: Como os pixels mantidos de fora são excluídos da função de perda de treinamento, o ruído nessas localizações é independente da trajetória ajustada, fornecendo um sinal de validação válido.

3. ES de Referência por Canal Aumentado (ACR-ES) para Ruído Flexível/Desafiador:

   • Mecanismo: Aumenta o espaço de saída da rede DIP para lidar com casos onde máscaras simples ou divisões de canais são não confiáveis (e.g., ruído Poisson dependente do sinal).
   • Procedimento: Duas pseudo-cópias da imagem ruidosa são geradas: $y^{(1)} = y + \zeta_1$ e $y^{(2)} = y + \zeta_2$, onde $\zeta_1, \zeta_2$ são perturbações auxiliares independentes. Uma rede DIP de 2C canais é treinada para ajustar $Y = \text{concat}(y, y^{(1)})$. Os canais primários reconstroem a imagem, enquanto os canais auxiliares são monitorados contra a pseudo-cópia independente $y^{(2)}$.
   • Métrica de Parada: Em vez do MSE bruto, o ACR-ES utiliza uma pontuação de viés de frequência (o segundo momento do espectro residual). Essa pontuação atinge o pico quando a rede transita da recuperação de detalhes estruturais para o ajuste ao ruído, tornando-a mais sensível ao viés espectral do DIP.

Contribuições Teóricas
O artigo fornece justificativa teórica para essas abordagens:

• Validação de Referência Única: Prova que, se uma referência ruidosa independente estivesse disponível, a perda de validação se concentraria em torno do Erro Quadrático Médio (MSE) da imagem limpa mais uma constante, permitindo uma parada quase oráculo.
• Análise de Pseudo-Validação: Demonstra que, mesmo com um componente compartilhado $s$ entre ajuste e validação, se a energia compartilhada for uma pequena fração da variância não compartilhada, o MSE excedente em relação ao oráculo é quadraticamente mais apertado do que o limite do pior caso.
• Generalização: Estende a teoria de validação para problemas inversos lineares gerais ($y = A(x) + \eta$) e estabelece condições sob as quais a validação no domínio da medição transfere-se para o risco no domínio da imagem.

Resultados Experimentais
Os autores avaliaram seus métodos contra baselines (WMV-ES e SURE-ES) em restauração de imagens naturais (Set14, CBSD68, Urban100, etc.) e reconstrução de imagens médicas (MRI, CT, PD, T2) sob ruído Gaussiano, Poisson e de Impulso.

• Desempenho: Os métodos propostos (CSR-ES, MR-ES, ACR-ES) alcançaram consistentemente pontos de parada muito mais próximos do oráculo (a iteração que produz o PSNR máximo) do que os métodos existentes.
  • Para imagens naturais, o CSR-ES e o ACR-ES reduziram significativamente a lacuna de PSNR em relação ao oráculo (e.g., de ~1,0 dB para ~0,1–0,2 dB em muitos casos).
  • Para imagens médicas, o MR-ES e o ACR-ES superaram o WMV-ES e o SURE-ES, particularmente em cenários desafiadores de ruído Poisson, onde o WMV-ES frequentemente parava prematuramente.
• Robustez: Os métodos não exigiram estimativas precisas do nível de ruído. O ACR-ES mostrou robustez a variações na magnitude do ruído auxiliar e a tipos de ruído incompatíveis.
• Generalização: O princípio de parada foi estendido com sucesso para tarefas de super-resolução e inpainting, onde métodos baseados em variância falharam em alinhar-se com a região de parada do oráculo.

Significância e Alegações
O artigo alega que a parada antecipada para o DIP pode ser efetivamente reduzida a um problema de validação solucionável sem verdade fundamental limpa ou estimativas precisas de ruído. Ao construir imagens pseudo auto-referenciadas que decorrelacionam suficientemente o sinal de validação do processo de ajuste, os autores fornecem uma alternativa principiada ao rastreamento heurístico de variância.

A significância reside em:

1. Abordagem Principiada: Ir além do monitoramento heurístico de variância para um framework baseado em validação apoiado por desigualdades de concentração.
2. Aplicabilidade Prática: Oferecer algoritmos específicos e adaptados à tarefa (CSR, MR, ACR) que funcionam em diversos IIPs (remoção de ruído, super-resolução, inpainting) e tipos de ruído sem exigir dados de treinamento externos ou ajuste de nível de ruído.
3. Confiabilidade: Demonstrar que esses métodos selecionam consistentemente iterações mais próximas da qualidade ótima de reconstrução do que as técnicas atuais de ES de última geração, mitigando assim o problema de sobreajuste inerente às redes DIP superparametrizadas.