Technische Samenvatting: Herstel-gealigneerde Generatieve Flow-modellen voor Blinde Bewegingsontwarring

Probleemstelling

Blinde bewegingsontwarring heeft tot doel een schoon latente afbeelding te herstellen uit één enkele wazige waarneming. Hoewel op herstel gebaseerde deep learning-architecturen hoge fideliteit hebben bereikt (dicht overeenkomend met ground-truth-afbeeldingen via pixel-voor-pixel-verliezen), worstelen ze vaak met het produceren van perceptueel realistische details, wat resulteert in overgegladde uitvoer. Omgekeerd excelleren generatieve modellen (zoals diffusie- en flow-matching-modellen) getraind op grote schaal natuurlijke afbeeldingen in perceptuele kwaliteit, maar lijden ze onder ernstige degradatie van de fideliteit wanneer ze direct worden toegepast op hersteltaken. Deze "fideliteitsinstorting" treedt op omdat de trainingsdoelen van generatieve modellen (het transporteren van ruis naar schone data) inherent niet overeenkomen met hersteldoelen (het herstellen van specifieke inhoud uit een gedegradeerde invoer). Het naïef toepassen van generatieve modellen bovenop hoog-fideliteits herstelnetwerken leidt vaak tot een aanzienlijke daling van de PSNR, waardoor de initiële reconstructiekwaliteit niet behouden blijft.

Methodologie: DeblurFlow

De auteurs stellen DeblurFlow voor, een raamwerk dat de doelmatigheidsmismatch tussen generatie en herstel oplost door de generatieve flow-trajectorie te herformuleren. De methodologie bestaat uit drie kerncomponenten:

1. Herstel-gealigneerde Flow-formulering

Standaard flow-matching-modellen leren een vectorveld om een ruismonster ($\epsilon$) naar een schone afbeelding ($x$) te transporteren. DeblurFlow interpreteert deze trajectorie opnieuw door het ruisuiteinde te vervangen door de wazige waarneming ($y$).

• Trajectorie-herdefinitie: Het pad wordt gedefinieerd als $x^*_t = (1-t)x + ty$, waarbij $y$ de wazige invoer is en $x$ de schone ground truth.
• Vectorveld als Residu: De afgeleide van dit pad, $v^* = y - x$, vertegenwoordigt op natuurlijke wijze de residuele fout tussen de wazigheid en de schone afbeelding.
• Verlies-uitlijning: Onder deze formulering valt het standaard flow-matching-verlies samen met een residu-verlies ($L_{res} = \|v_\theta(x^*_t, t) - (y - x)\|^2$). Dit stelt vooringestelde flow-modellen in staat om te worden geoptimaliseerd onder herstel-georiënteerde doelen via Low-Rank Adaptation (LoRA), waardoor ze residuen kunnen voorspellen in plaats van afbeeldingen te genereren vanuit ruis.

2. Dubbele-expert Sampling-strategie

Om herstel-fideliteit en perceptueel realisme in evenwicht te brengen, splitst het raamwerk de taak op in twee complementaire rollen:

• Fideliteit-expert: Een vooringesteld herstelnetwerk (bijv. NAFNet) levert een schatting met hoge fideliteit ($x^*_t = f_\psi(y)$).
• Realisme-expert: DeblurFlow fungeert als een fideliteitsbehoudend realisme-expert. Het verfijnt de initiële schatting door de residuele fout te voorspellen binnen het flow-matching sampling-proces.
• Co-training: Om mogelijke distributie-kloven aan te pakken tussen training op ruwe wazige invoer versus initialisaties met hoge fideliteit, wordt het model getraind op zowel de directe wazig-naar-schone mapping ($y \to x$) als de expert-afhankelijke mapping ($f_\psi(y) \to x$).

3. r-ruimte Latente Representatie

Om rekenkundige efficiëntie te waarborgen, werkt het raamwerk in een gespecialiseerde latente ruimte genaamd r-ruimte, in plaats van standaard VAE-laten ruimtes.

• Ontwerp: r-ruimte is op maat gemaakt voor residu-decodering in plaats van reconstructie van schone afbeeldingen.
• Architectuur: Het maakt gebruik van een encoder-decoder-paar met residu-shortcuts die structurele aanwijzingen direct doorgeven vanuit de wazige invoer.
• Efficiëntie: Dit ontwerp verlaagt de rekenkosten van de encoder-decoder-componenten aanzienlijk in vergelijking met standaard VAE's, waardoor het iteratieve sampling-proces praktisch toepasbaar wordt voor real-world toepassingen.

Belangrijkste Bijdragen

1. Herstel-gealigneerde Formulering: Het paper stelt een nieuw raamwerk voor bewegingsontwarring voor dat de generatieve flow-trajectorie herformuleert om het vectorveld te behandelen als een taak-gealigneerde residuele fout. Dit vermindert fideliteitsinstorting en maakt generatieve flow-modellen compatibel met herstelmodellen met hoge fideliteit.
2. r-ruimte Latente Ruimte: De introductie van r-ruimte maakt fideliteitsbehoudende codering en decodering mogelijk met hoge rekenkundige efficiëntie, waardoor de kosten van de encoder-decoder met tot 9$\times$ worden verlaagd in vergelijking met standaard VAE-latenten.
3. Dubbele-expert Sampling: Een strategie die het probleem opsplitst in een fideliteit-expert en een fideliteitsbehoudend realisme-expert, waardoor hoge herstel-fideliteit wordt gewaarborgd terwijl het perceptueel realisme aanzienlijk wordt verbeterd.

Experimentele Resultaten

De auteurs hebben DeblurFlow geëvalueerd op vier datasets: GoPro, HIDE, RealBlur-J en RWBI.

• Fideliteit versus Realisme: Op de GoPro-dataset behaalde DeblurFlow een PSNR van 33,05 dB (in vergelijking met 33,69 dB voor de fideliteit-expert alleen en 27,60 dB voor een naïeve generatieve toepassing) en een MUSIQ-score van 50,81 (aanzienlijk hoger dan op herstel gebaseerde methoden zoals NAFNet bij 45,28). Dit demonstreert het vermogen om fideliteit te behouden terwijl de perceptuele kwaliteit wordt versterkt.
• Generalisatie: Op de real-world RWBI-dataset (die geen ground-truth heeft) presteerde DeblurFlow beter dan zowel op herstel gebaseerde als op diffusie gebaseerde methoden op alle no-reference-metrics (CLIPIQA, NIQE, MUSIQ, MANIQA).
• Rekenkundige Efficiëntie: DeblurFlow verwerkt afbeeldingen met 2K-resolutie in 0,41 seconden op een enkele GPU. Dit is ongeveer 3,4$\times$ sneller dan DiffIR en 6,5$\times$ sneller dan FFTFormer. Het gebruik van r-ruimte verlaagde de rekenkosten van de encoder-decoder van 422,7 GMACs naar 19,5 GMACs.
• Ablatiestudies: Experimenten bevestigden dat het standaard generatiedoel leidt tot fideliteitsinstorting (daling van PSNR van 33,69 naar 27,60). De voorgestelde formulering van residu-verlies verlichtte deze daling (herstel van PSNR naar 32,40), en de r-ruimte verbeterde zowel fideliteit als realisme verder terwijl de kosten werden verlaagd.

Betekenis en Claims

Het paper beweert dat DeblurFlow de kloof tussen herstel en generatie succesvol overbrugt. Door de generatieve flow-trajectorie te herformuleren om uit te lijnen met hersteldoelen (het voorspellen van residuen in plaats van het transporteren van ruis), stelt het raamwerk een enkel generatief model in staat om effectief te fungeren als een tool voor bewegingsontwarring zonder de fideliteit op te offeren die wordt geboden door traditionele herstelnetwerken.

De auteurs benadrukken dat hun bijdrage niet alleen ligt in het combineren van bestaande componenten, maar in de unificatie onder een herstel-gealigneerde generatieve formulering. Deze aanpak suggereert dat herstel en generatie niet als afzonderlijke, incompatibele taken hoeven te worden beschouwd, maar binnen één enkel generatief flow-model kunnen worden verkend. De methode wordt gepresenteerd als een praktische oplossing die sterke herstel-fideliteit en perceptueel realisme bereikt, terwijl deze rekenkundig efficiënt genoeg blijft voor real-world implementatie. De auteurs merken op dat dit raamwerk potentieel kan worden uitgebreid naar andere hersteltaken zoals afbeeldingsruisreductie en super-resolutie.