BluRef: Unsupervised Image Deblurring with Dense-Matching References

1. O Problema

A desfocagem (deblurring) de imagens é crucial para melhorar a qualidade visual e o desempenho de aplicações de visão computacional. No entanto, os métodos atuais enfrentam desafios significativos:

• Métodos Supervisionados: Requerem pares de dados "borrado-nítido" perfeitamente alinhados. A coleta desses dados exige setups complexos (divisores de feixe, câmeras sincronizadas, calibração), o que é impraticável para muitas situações do mundo real (ex: dashcams em movimento, bodycams).
• Métodos Não Supervisionados Atuais: Muitas abordagens existentes dependem de mapeamentos indiretos (reblurring) ou aumentação de dados sintéticos, que frequentemente falham em generalizar para degradações reais devido à lacuna de domínio (domain gap).
• Limitação Central: A dificuldade de treinar modelos eficazes sem dados pareados no domínio alvo, mantendo a adaptabilidade a diferentes tipos de borrão.

2. Metodologia (BluRef)

O BluRef propõe uma abordagem totalmente não supervisionada que opera inteiramente dentro do domínio alvo, utilizando imagens de referência nítidas não pareadas para gerar "pseudo-ground truth" (pseudo-verdade de referência).

Fluxo de Trabalho Principal:

1. Coleta de Dados Não Pareada: O método utiliza uma imagem borrada de entrada ($I_{blur}$) e um conjunto de imagens de referência nítidas ($\{I_{ref}\}$) da mesma cena, mas capturadas em momentos ou perspectivas diferentes. Não é necessário alinhamento geométrico perfeito ou captura simultânea.
2. Modelo de Correspondência Densa (Dense Matching - DM):
   • Um modelo de correspondência densa (baseado em PDC-Net+ e GLU-Net) é pré-treinado de forma auto-supervisionada usando dados sintéticos (imagens nítidas com deformações geométricas e adição de borrão).
   • Este modelo aprende a encontrar correspondências semânticas entre a imagem borrada (ou a estimativa desfocada) e as imagens de referência nítidas.
3. Geração Iterativa de Pseudo-Verdade:
   • O processo é iterativo. Em cada época $k$:
     • A rede de desfocagem $D$ produz uma estimativa $I^{(k)}_{deblur}$.
     • O modelo DM mapeia essa estimativa para as imagens de referência, gerando uma imagem pseudo-nítida ($I^{(k)}_{pseudo}$) e uma máscara de confiança ($M^{(k)}_{pseudo}$).
     • A máscara de confiança suprime regiões onde a correspondência é incerta.
   • A rede de desfocagem é então otimizada para minimizar a perda de reconstrução entre sua saída e a pseudo-verdade, ponderada pela máscara de confiança.
4. Estratégias de Agregação: O paper propõe três formas de combinar múltiplas referências:
   • Média Ponderada: Média simples dos resultados de cada referência.
   • Acumulação Sequencial: Refina iterativamente a imagem usando a saída anterior como entrada.
   • Média Progressiva de Referência (Progressive Reference Averaging): A melhor estratégia, que integra novos detalhes correspondidos sem descartar a nitidez já alcançada em iterações anteriores.
5. Inferência: Após o treinamento, o módulo de correspondência densa e a geração de pseudo-verdade são descartados. O modelo final realiza a desfocagem diretamente com uma única passagem forward, mantendo o custo computacional de uma rede padrão.

3. Principais Contribuições

1. Primeiro Framework Guiado por Referência Não Pareada: O BluRef é a primeira abordagem para desfocagem não supervisionada que utiliza imagens de referência não pareadas para gerar supervisão, eliminando a necessidade de dados pareados ou redes pré-treinadas supervisionadas.
2. Geração de Pseudo-Pares Reutilizáveis: O processo iterativo gera pares "borrado-nítido" de alta qualidade que podem ser reutilizados para treinar redes de diferentes capacidades (incluindo modelos leves para dispositivos móveis), estendendo a utilidade do método.
3. Desempenho de Estado da Arte: Demonstra que é possível alcançar desempenho comparável ou superior a métodos supervisionados em cenários reais, superando as limitações de métodos anteriores que dependiam de domínios intermediários complexos.

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados GoPro (sintético), RB2V (borrão real de rua) e PhoneCraft (vídeos de smartphone não pareados).

• Desempenho Quantitativo:
  • No dataset GoPro, o BluRef com backbone NAFNet e estratégia de "Média Progressiva" atingiu 31.94 dB de PSNR (para $\Delta=1$ frame), aproximando-se significativamente do limite superior supervisionado (33.32 dB).
  • No dataset RB2V, o método superou o limite superior supervisionado do Restormer (27.43 dB), alcançando 27.87 dB e 27.72 dB para separações temporais de 1 e 10 frames, respectivamente.
  • O método mostrou robustez mesmo com grandes separações temporais ($\Delta=20$ frames), onde a diferença de conteúdo entre a imagem borrada e a referência é grande.
• Desempenho Qualitativo:
  • Comparado a métodos não supervisionados anteriores (DualGAN, UID-GAN, UAUD), o BluRef recuperou detalhes estruturais críticos (como formas de corpos, rostos e galhos de árvores) que os outros métodos falharam em reconstruir, eliminando artefatos de borrão de movimento.
• Ablação:
  • O método é robusto ao número de imagens de referência ($N$), performando bem com 4 a 10 referências.
  • A estratégia de "Média Progressiva" superou consistentemente as outras estratégias de agregação.

5. Significado e Impacto

O BluRef representa um avanço significativo na área de restauração de imagens ao:

• Eliminar a dependência de dados pareados: Torna viável o treinamento de modelos de alta performance em cenários onde a coleta de dados supervisionados é impossível (ex: câmeras corporais, veículos autônomos em operação).
• Simplificar o pipeline: Remove a necessidade de pipelines multi-estágio complexos ou a identificação de domínios intermediários, oferecendo uma solução direta e escalável.
• Facilitar a implantação em dispositivos limitados: Ao gerar seus próprios pares de treinamento de alta qualidade, permite o treinamento eficiente de modelos leves para dispositivos móveis, sem depender de grandes conjuntos de dados sintéticos que não generalizam bem para o mundo real.

Em resumo, o BluRef redefine o estado da arte em desfocagem não supervisionada, provando que a combinação inteligente de correspondência densa e imagens de referência não pareadas pode superar as limitações tradicionais de dados.