BluRef: Unsupervised Image Deblurring with Dense-Matching References

Probleemstelling

Beeldonscherpte (motion blur) is een veelvoorkomend probleem dat de visuele kwaliteit van afbeeldingen en video's vermindert en de prestaties van daaropvolgende computervisietaken beïnvloedt. De huidige toonaangevende aanpak voor het verwijderen van onscherpte is supervised learning, waarbij modellen worden getraind met gepaarde data (onscherpe afbeeldingen en de bijbehorende scherpe "ground truth").

Het verzamelen van dergelijke gepaarde data is echter extreem moeilijk en kostbaar. Het vereist complexe hardware-opstellingen (zoals beam-splitters, gesynchroniseerde camera's met verschillende snelheden) en is vaak onuitvoerbaar in realistische scenario's zoals dashcams of bodycams. Bestaande unsupervised methoden (zonder gepaarde data) kampen vaak met prestatieverlies of vereisen een "reblurring"-strategie waarbij een beeld eerst naar een tussenliggend domein wordt gemapt, wat computatief zwaar is en afhankelijk is van het vinden van een geschikt tussen-domein.

Methodologie: BluRef

De auteurs stellen BluRef voor, een nieuw raamwerk voor unsupervised image deblurring dat volledig binnen het doel-domein werkt zonder gepaarde trainingdata. De kern van de methode is het gebruik van ongepaarde referentie-afbeeldingen (scherpe beelden van vergelijkbare scènes) en Dense Matching (DM) om "pseudo-ground truth" te genereren.

Het proces verloopt als volgt:

1. Iteratief Trainingsproces:

   • Het systeem start met een onscherke inputafbeelding ($I_{blur}$).
   • Een deblurring-netwerk ($D$) probeert een schatting van het scherpe beeld te maken ($I_{deblur}$).
   • Een Dense Matching (DM) model (vooraf getraind op synthetisch vervormde data) zoekt correspondenties tussen deze deblurred schatting en een set van $N$ ongepaarde, scherpe referentie-afbeeldingen ($\{I_{ref}\}$).
   • Op basis van deze correspondenties wordt een pseudo-scherpe afbeelding ($I_{pseudo}$) gegenereerd, samen met een vertrouwensmasker ($M_{pseudo}$) dat onbetrouwbare gebieden (waar de matching faalt) onderdrukt.
   • Het deblurring-netwerk wordt vervolgens getraind om de output zo dicht mogelijk bij deze $I_{pseudo}$ te brengen, gewogen door het masker.
   • Dit proces is iteratief: na elke epoch wordt de deblurred output beter, waardoor de gegenereerde pseudo-ground truth ook verbetert.

2. Dense Matching (DM) Training:

   • Het DM-model wordt zelf-supervised getraind op scherpe afbeeldingen die kunstmatig vervormd zijn (via Homografie of Thin-Plate Spline) en vervolgens onscherp gemaakt met willekeurige blur en ruis. Dit zorgt ervoor dat het model patronen kan herkennen tussen scherpe en onscherpe domeinen zonder echte gepaarde data te nodig hebben.

3. Aggregatiestrategieën:
   De paper introduceert drie manieren om meerdere referentie-afbeeldingen te combineren tot één pseudo-ground truth:

   • Weighted Average: Gemiddelde van alle individuele matches.
   • Sequential Accumulation: Iteratief verfijnen waarbij de output van de vorige stap als input dient voor de volgende.
   • Progressive Reference Averaging (Beste prestatie): Combineert scherpe details uit eerdere iteraties met nieuwe details uit de huidige match, waardoor een hoogwaardig resultaat ontstaat zonder details te verliezen.

4. Inferentie:
   Tijdens het gebruik (inference) wordt het DM-model en de generatie van pseudo-ground truth niet gebruikt. Het getrainde deblurring-netwerk werkt als een standaard direct deblurring-model: het neemt één onscherke input en produceert direct een scherpe output. Dit maakt de methode zeer efficiënt in de praktijk.

Belangrijkste Bijdragen

1. Eerste Unsupervised Referentie-Gestuurde Framework: BluRef is de eerste methode die ongepaarde referentie-afbeeldingen gebruikt om direct een deblurring-netwerk te trainen zonder enige ground-truth supervisie of synthetische gepaarde data.
2. Herbruikbare Pseudo-Ground Truth: Het proces genereert tijdens het trainen hoogwaardige pseudo-paren. Deze kunnen worden hergebruikt om modellen van verschillende complexiteiten (inclusief lichtgewicht modellen voor mobiele apparaten) te trainen.
3. State-of-the-Art Prestaties: De methode overtreft bestaande unsupervised technieken en komt in prestatie dichtbij, of overtreft in sommige gevallen, volledig supervised modellen.

Experimentele Resultaten

De auteurs hebben BluRef getest op drie datasets: GoPro (synthetische blur), RB2V (echte blur) en PhoneCraft (unpaired real-world video).

• Kwantitatieve Resultaten:

  • Op de GoPro-dataset bereikte BluRef (met NAFNet backbone en Progressive Averaging) een PSNR van 31.94 dB, wat zeer dicht in de buurt komt van de supervised upper bound (33.32 dB).
  • Op de RB2V-dataset (echte blur) overtrof BluRef zelfs de supervised upper bound van Restormer (27.87 dB vs 27.43 dB) bij een tijdsverschil ($\Delta$) van 1 frame.
  • De methode is robuust: zelfs bij grote tijdsverschillen tussen de blur-afbeelding en de referentie ($\Delta = 20$ frames), blijft de prestatie stabiel.

• Kwalitatieve Resultaten:

  • In vergelijking met andere unsupervised methoden (zoals DualGAN en UID-GAN), die vaak artefacten behouden of structuren verkeerd reconstrueren, levert BluRef duidelijkere details op (bijv. gezichten, takken van bomen) die dicht bij de werkelijke scherpe grondwaarheid liggen.

• Ablatie Studies:

  • Het aantal referentie-afbeeldingen ($N$) heeft een groot effect; $N=6$ of $8$ levert de beste resultaten.
  • De methode werkt goed zelfs als de inhoud van de referentie-afbeelding aanzienlijk verschilt van de input (minder dan 40% overlap in gematchte gebieden), wat aantoont dat het model goed generaliseert.

Betekenis en Impact

BluRef is een doorbraak in het veld van beeldherstel omdat het de afhankelijkheid van kostbare, gepaarde datasets doorbreekt. Door te leren van onbeperkt beschikbare, ongepaarde videoframes binnen het doel-domein, maakt het deblurring-toepassingen schaalbaar naar scenario's waar gepaarde data onmogelijk te verzamelen is (zoals bewegende camera's in het wild). De eenvoudige inferentie-pijplijn (zonder extra modules tijdens gebruik) maakt het bovendien ideaal voor implementatie op resource-beperkte apparaten, zoals smartphones.