Bird-SR: Bidirectional Reward-Guided Diffusion for Real-World Image Super-Resolution

Probleemstelling

Bestaande super-resolutie (SR) methoden, met name die gebaseerd op diffusiemodellen, presteren uitstekend bij het synthetiseren van complexe details door gebruik te maken van multimodale tekst-naar-beeld priors. Echter, deze modellen worden doorgaans getraind op synthetische paren van laag- en hoogresolutie afbeeldingen (LR-HR). Wanneer ze worden toegepast op echt wereldse LR-afbeeldingen, treedt er een significante distributieverplaatsing (distribution shift) op.

De belangrijkste uitdagingen zijn:

1. Distributievverschil: Echte degradaties zijn veel diverser en moeilijker te modelleren dan synthetische degradaties. Modellen getraind op synthetische data genereren vaak vage details of onrealistische texturen bij echte invoer.
2. Reward Hacking: Bij het toepassen van beloningsgebaseerde optimalisatie (reward optimization) op echte data zonder paren, neigt het model ertoe om de beloningssignalen te "hacken". Dit leidt tot visueel onwaarschijnlijke artefacten in plaats van echte details.
3. Afweging Structuur vs. Perceptie: Diffusietrajecten hebben verschillende fasen. Vroege stappen bepalen de globale structuur, terwijl latere stappen texturen genereren. Een blind toepassen van beloningsoptimalisatie over alle stappen kan de perceptuele kwaliteit ten koste gaan van de structurele trouw.

Methodologie: Bird-SR

Bird-SR is een bidirectioneel, beloningsgeleid diffusieframework dat super-resolutie formuleert als trajectniveau-preferentieoptimalisatie via Reward Feedback Learning (ReFL). Het framework combineert synthetische LR-HR-paren en echte LR-afbeeldingen door zowel het voorwaartse (forward) als het achterwaartse (reverse) proces te optimaliseren.

De kerncomponenten zijn:

1. Voorwaartse Optimalisatie met Relatieve Beloning (voor Synthetische Data)

Voor synthetische paren wordt een strategie gebruikt waarbij ruis direct in schone HR-afbeeldingen wordt geïnjecteerd.

• Closed-form herstel: In plaats van volledige diffusie-sampling, wordt het beeld in één stap hersteld via een gesloten-formule interpolatie. Dit elimineert de noodzaak voor backpropagatie door lange ketens, wat de stabiliteit vergroot.
• Relatieve Beloning: De beloning wordt berekend als het verschil tussen de beloning van de ground-truth ($x_0$) en de modelvoorspelling ($\hat{x}_0$). Dit voorkomt reward hacking door het model te dwingen om relatief beter te presteren dan de grondwaarheid, in plaats van een absoluut maximum te zoeken.
• Dynamische Weegfactor: Er wordt een dynamische strategie ingevoerd die de weging tussen vervormingsverlies (structuur) en perceptuele beloning aanpast op basis van de tijdstap. Vroege stappen focussen op structuur, latere stappen op perceptie.

2. Beloningsfeedback met Semantische Alignering (voor Echte Data)

Voor echte, ongepaarde LR-afbeeldingen wordt het model geoptimaliseerd langs het achterwaartse diffusietraject.

• Trajectgericht: De beloningsfeedback wordt voornamelijk toegepast in de laatste stappen van het diffusieproces. Dit komt overeen met de fase waarin texturen worden gegenereerd, terwijl de vroege stappen de globale structuur behouden (die al goed aligneert met echte data).
• Semantische Alignering: Om reward hacking te voorkomen, wordt een semantische aligneringsconstraint toegevoegd. De output van het model wordt vergeleken met de output van een referentiemodel (gebaseerd op DINO-features). Dit zorgt voor hoge-level structurele consistentie terwijl pixel-level details vrij kunnen worden geoptimaliseerd.

3. Bidirectioneel Framework

Het framework combineert beide processen:

• Forward: Optimalisatie op synthetische data voor stabiele structuurlering en relatieve beloning.
• Reverse: Optimalisatie op echte data voor perceptuele verfijning, gereguleerd door semantische constraints.

Belangrijkste Bijdragen

1. Bidirectioneel Framework: Een uniek systeem dat zowel voorwaartse als achterwaartse diffusieprocessen gebruikt om synthetische en echte data te combineren, waardoor de distributievverschillen effectief worden aangepakt.
2. Stabiele Optimalisatie voor Synthetische Data: Een strategie met ruisinjectie en relatieve beloning die reward hacking minimaliseert en flexibele tijdstap-controle mogelijk maakt.
3. Semantisch Gereguleerde Feedback voor Echte Data: Een methode die perceptuele details verbetert via beloningsfeedback, maar structurele consistentie garandeert via semantische alignering met een referentiemodel.
4. Dynamische Weegstrategie: Een tijdstap-afhankelijke weging die de balans tussen structurele trouw en perceptuele realisme dynamisch reguleert tijdens het trainingsproces.

Resultaten

Bird-SR is uitgebreid getest op vier real-world SR-benchmarks: DrealSR, RealSR, RealLR200 en RealLQ250.

• Kwantitatieve Prestaties: Het model overtreft state-of-the-art methoden (zoals StableSR, DiffBIR, SUPIR, DreamClear, DiT4SR) consistent op perceptuele kwaliteitsmetrieken zoals MUSIQ, MANIQA, ClipIQA en LIQE.
• Kwalitatieve Resultaten: Visuele vergelijkingen tonen aan dat Bird-SR realistischere en gedetailleerdere resultaten levert, met name bij het behoud van fijne structuren en het herstellen van tekst, terwijl artefacten effectief worden onderdrukt.
• Ablatiestudies:
  • De combinatie van forward en reverse optimalisatie bleek superieur aan het gebruik van slechts één richting, wat de stabiliteit en aanpassing aan echte data verbetert.
  • De dynamische weegstrategie ($\lambda(t)$) bleek cruciaal; te weinig vroege structuurbeperking leidde tot reward hacking, terwijl te veel beperking de perceptuele winst beperkte.
  • De toevoeging van semantische alignering en structurele constraints was noodzakelijk om de structuur intact te houden terwijl de perceptuele kwaliteit werd verbeterd.

Significantie

Bird-SR vertegenwoordigt een belangrijke stap voorwaarts in het gebied van real-world beeldherstel. Door het probleem van distributievverschillen aan te pakken via een hybride, bidirectioneel beloningsgeleid framework, slaagt het erin om de voordelen van generatieve priors (rijke details) te combineren met de noodzakelijke structurele trouw.

De methode biedt een robuuste oplossing voor het "reward hacking"-probleem dat vaak optreedt bij het toepassen van reinforcement learning op diffusiemodellen voor beeldherstel. Dit maakt Bird-SR zeer relevant voor toepassingen waar hoge visuele kwaliteit en betrouwbaarheid essentieel zijn, zoals medische beeldvorming, satellietbeeldanalyse en verbetering van lage-bandbreedte transmissies, zonder dat er extra rekentijd nodig is tijdens de inferentie.