BluRef: Unsupervised Image Deblurring with Dense-Matching References

1. Il Problema: Deblurring Supervisionato e Limiti Attuali

La rimozione della sfocatura (deblurring) è cruciale per migliorare la qualità visiva e le prestazioni delle applicazioni di visione artificiale. Tuttavia, l'approccio dominante, basato sull'apprendimento supervisionato, richiede dati appaiati (coppie immagine sfocata/immagine nitida corrispondente).

• Sfide nella raccolta dati: Ottenere tali dati è estremamente costoso e complesso, richiedendo setup con beam splitter, sincronizzazione temporale e allineamento geometrico. Spesso è impossibile in scenari reali (es. dashcam in movimento, bodycam).
• Limiti dei metodi non supervisionati esistenti:
  • I metodi basati sulla reblurring (ricreazione della sfocatura) richiedono mappature complesse verso domini intermedi, spesso difficili da identificare e computazionalmente onerosi.
  • I metodi puramente non supervisionati soffrono di un "gap di dominio" tra i dati di addestramento e quelli reali, portando a una scarsa generalizzazione.

2. Metodologia: Il Framework BluRef

BluRef introduce un approccio non supervisionato che opera interamente all'interno del dominio target, eliminando la necessità di dati appaiati o modelli pre-addestrati supervisionati.

Concetto Chiave

L'idea centrale è sfruttare immagini di riferimento nitide non appaiate (provenienti dallo stesso dominio o scene simili) per generare pseudo-ground truth (pseudo-immagini nitide) da utilizzare come target di addestramento.

Fasi del Processo

1. Raccolta Dati: Non servono coppie. È sufficiente avere un'immagine sfocata ($I_{blur}$) e un set di immagini nitide di riferimento ($\{I_{ref}\}$) che non devono essere allineate geometricamente né catturate simultaneamente.
2. Modulo Dense Matching (DM):
   • Viene utilizzato un modello di Dense Matching (pre-addestrato in modo self-supervised su dati sintetici deformati) per trovare corrispondenze dense tra l'immagine deblurrata corrente e le immagini di riferimento nitide.
   • Questo modulo genera una mappa di corrispondenza e una mappa di confidenza ($M_{pseudo}$) che indica quali regioni sono affidabili.
3. Generazione Iterativa del Pseudo-Ground Truth:
   • Il processo è iterativo (epoch per epoch).
   • In ogni iterazione $k$, la rete di deblurring produce un'immagine stimata $I^{(k)}_{deblur}$.
   • Il modello DM allinea $I^{(k)}_{deblur}$ con le immagini di riferimento per creare un'immagine pseudo-nitida aggiornata $I^{(k)}_{pseudo}$.
   • Vengono proposti tre strategie di aggregazione per combinare i risultati di più riferimenti:
     • Weighted Average: Media pesata delle corrispondenze.
     • Sequential Accumulation: Accumulo sequenziale dei dettagli nitidi.
     • Progressive Reference Averaging (Migliore): Mantiene i dettagli nitidi delle iterazioni precedenti e integra solo le nuove corrispondenze affidabili, massimizzando la qualità.
4. Ottimizzazione della Rete:
   • La rete di deblurring viene addestrata minimizzando una funzione di perdita di ricostruzione pesata dalla mappa di confidenza $M_{pseudo}$. Le regioni a bassa confidenza vengono ignorate o pesate meno.
5. Inferenza:
   • Una volta addestrata, la fase di matching e generazione pseudo-ground truth viene scartata.
   • Durante l'inferenza, BluRef funziona come un modello di deblurring diretto e veloce, richiedendo solo un input sfocato.

3. Contributi Chiave

1. Primo Framework Non Supervisionato Guidato da Riferimenti: BluRef è il primo metodo che utilizza immagini di riferimento non appaiate per generare supervisione pseudo-ground truth, eliminando la dipendenza da dataset appaiati o modelli supervisionati preesistenti.
2. Generazione di Dati Riutilizzabili: Il processo iterativo genera coppie pseudo-appaiate di alta qualità che possono essere riutilizzate per addestrare modelli di diverse capacità (inclusi modelli leggeri per dispositivi mobili), estendendo l'utilità pratica del framework.
3. Prestazioni State-of-the-Art: Il metodo dimostra di superare le tecniche non supervisionate esistenti e di avvicinarsi, o in alcuni casi superare, le prestazioni dei modelli supervisionati su dataset sintetici e reali.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dataset: GoPro (sintetico), RB2V (reale) e PhoneCraft (reale, video non allineati).

• Prestazioni Quantitative:
  • Su GoPro, BluRef con backbone NAFNet e strategia Progressive Averaging raggiunge un PSNR di 31.94 dB (con $\Delta=1$ frame), avvicinandosi notevolmente al limite superiore supervisionato (33.32 dB).
  • Su RB2V, il metodo supera il limite superiore supervisionato (Restormer) raggiungendo 27.87 dB (PSNR) contro i 27.43 dB del modello supervisionato, dimostrando la capacità di sfruttare informazioni dai frame circostanti.
  • Il metodo mantiene robustezza anche con grandi distanze temporali ($\Delta=20$ frame), con un calo minimo delle prestazioni.
• Prestazioni Qualitative:
  • Rispetto a metodi non supervisionati precedenti (DualGAN, UID-GAN), BluRef recupera dettagli complessi (es. volti, rami di alberi) con molta più chiarezza, riducendo gli artefatti di sfocatura residua.
• Ablation Study:
  • L'uso di un numero moderato di immagini di riferimento (6-8 frame) è sufficiente per ottenere ottimi risultati.
  • Il metodo è robusto anche quando le immagini di riferimento hanno contenuti significativamente diversi dall'input sfocato (bassa sovrapposizione di contenuto), grazie alle mappe di confidenza che filtrano le corrispondenze errate.

5. Significato e Impatto

BluRef rappresenta un avanzamento significativo nel campo del deblurring per diversi motivi:

• Scalabilità e Flessibilità: Rimuove il collo di bottiglia della raccolta dati appaiati, rendendo possibile l'addestramento di modelli di deblurring in scenari reali dove la raccolta di ground truth è impossibile (es. veicoli in movimento, telecamere indossabili).
• Efficienza Computazionale: Sebbene la fase di addestramento sia iterativa, l'inferenza è diretta e veloce, paragonabile a un modello standard, rendendolo adatto per il deployment su dispositivi con risorse limitate.
• Generalizzazione: La capacità di operare senza dipendere da domini di sfocatura specifici o modelli pre-addestrati lo rende una soluzione versatile per una vasta gamma di applicazioni pratiche.

In sintesi, BluRef risolve il problema del "gap di dominio" sfruttando la ricchezza dei dati video non appaiati già disponibili, trasformando immagini sfocate e frame nitidi non correlati in un potente segnale di supervisione per l'apprendimento automatico.