GDPO-SR: Group Direct Preference Optimization for One-Step Generative Image Super-Resolution

Probleemstelling

Bestaande methoden voor Real-World Image Super-Resolution (Real-ISR) proberen lage-resolutie (LR) afbeeldingen om te zetten naar hoge-resolutie (HR) afbeeldingen met complexe, onbekende degradaties.

• Eén-staps vs. Meerdere-staps: Traditionele diffusion-modellen gebruiken meerdere denoising-stappen, wat leidt tot hoge rekenkosten en hallucinaties (valse details). Eén-staps diffusion-modellen zijn sneller, maar vaak te deterministisch; ze genereren voor dezelfde invoer slechts één output, wat het toepassen van Reinforcement Learning (RL) en voorkeursoptimalisatie (zoals DPO) onmogelijk maakt, omdat deze methoden diversiteit in outputs vereisen.
• Beperkingen van bestaande RL-methoden:
  • Direct Preference Optimization (DPO): Vereist offline gegenereerde paren van positieve en negatieve samples, wat de diversiteit beperkt en de schaalbaarheid belemmert.
  • Group Relative Policy Optimization (GRPO): Genereert online groepen samples, maar berekent de waarschijnlijkheid over het hele beeld. Hierdoor worden lokale details (cruciaal voor super-resolutie) genegeerd, wat de visuele kwaliteit kan verminderen.

Methodologie

De auteurs stellen GDPO-SR (Group Direct Preference Optimization for Super-Resolution) voor, een nieuw RL-framework dat specifiek is ontworpen voor één-staps generatieve ISR. De methode bestaat uit twee hoofdcomponenten:

1. Noise-Aware One-Step Diffusion (NAOSD)

Om de deterministische aard van één-staps modellen te doorbreken en diversiteit te creëren zonder de kwaliteit te verliezen, introduceren de auteurs een NAOSD-architectuur:

• Controleerbare Noise Injectie: In plaats van puur deterministisch te werken, wordt gecontroleerde Gaussische ruis ($\epsilon$) geïnjecteerd in de latente ruimte van het LR-beeld. Door verschillende ruispatronen te samplingen, kan het model diverse HR-outputs genereren voor dezelfde invoer.
• Ongelijke Timestep Strategie (Unequal-Timestep Strategy): Om een compromis te vinden tussen diversiteit en trouw (fidelity), worden twee tijdstappen ontkoppeld:
  • $t_{add}$: De stap voor ruisinjectie (groot voor meer diversiteit).
  • $t_{diff}$: De stap voor denoising/reconstructie (kleiner om de structuur en details te behouden).
    Dit voorkomt dat het toevoegen van ruis de reconstructiekwaliteit te sterk verslechtert.

2. Group Direct Preference Optimization (GDPO)

GDPO combineert de voordelen van DPO en GRPO in een online leerproces:

• Attribution-Aware Reward Function (ARF): Om de kwaliteit van de gegenereerde samples te beoordelen, wordt een beloningsfunctie gebruikt die dynamisch past aan de inhoud van het beeld.
  • Het combineert Full-Reference (FR) metrics (zoals PSNR voor trouw) en No-Reference (NR) metrics (zoals MANIQA en MUSIQ voor perceptuele kwaliteit).
  • De weging wordt dynamisch aangepast op basis van de verhouding tussen gladde gebieden (waar trouw belangrijk is) en gedetailleerde/textuur gebieden (waar perceptuele kwaliteit belangrijk is).
• Groepsrelatieve Voordeelberekening: Voor elke invoer wordt een groep ($G$) van samples gegenereerd. De beloningen worden omgezet in een "group-relative advantage" ($A_i$), waarbij samples met een hogere beloning positiever worden gewaardeerd ten opzichte van de groepsgemiddelde.
• Policy Optimalisatie: Het model wordt getraind om de kans op het genereren van samples met een hoge "advantage" te maximaliseren. De loss-functie past de Diffusion-DPO loss aan om rekening te houden met deze groepsgewijze voordelen, waardoor het model leert lokale details te verbeteren zonder de globale waarschijnlijkheid te hoeven berekenen (zoals bij GRPO).

Belangrijkste Bijdragen

1. GDPO Framework: De eerste toepassing van een hybride RL-strategie (DPO + GRPO) op één-staps generatieve super-resolutie, wat het probleem van determinisme oplost.
2. NAOSD Model: Een nieuwe één-staps diffusion-architectuur met een ongelijke-timestep strategie die diversiteit mogelijk maakt zonder significante kwaliteitsverlies.
3. Attribution-Aware Reward: Een innovatieve beloningsfunctie die automatisch de balans tussen beeldtrouw en perceptuele kwaliteit aanpast op basis van de lokale complexiteit van het beeld.
4. Efficiëntie: Het behoudt de snelheid van één-staps inferentie terwijl het de prestaties van multi-staps modellen benadert.

Resultaten

Experimenten zijn uitgevoerd op real-world datasets (DRealSR, RealSR) en synthetische datasets (DIV2K-val).

• Kwaliteit: GDPO-SR overtreft zowel de basismodellen (NAOSD) als state-of-the-art methoden (zoals StableSR, SeeSR, OSEDiff, en het RL-basismodel DP2OSR).
  • Het behaalt de hoogste scores op PSNR (trouw) en LPIPS/DISTS (structuur) onder alle geteste methoden.
  • Het behoudt ook uitstekende perceptuele scores (MANIQA, MUSIQ, CLIPIQA).
• Visuele Kwaliteit: Visuele vergelijkingen tonen aan dat GDPO-SR scherpere texturen (bijv. bakstenen, bladeren) produceert met minder hallucinaties en oververzadiging dan concurrenten.
• Efficiëntie: GDPO-SR heeft een inferentietijd en FLOPs vergelijkbaar met de snelste één-staps methoden (zoals OSEDiff), wat aantoont dat de training met RL geen extra rekenlast tijdens het gebruik introduceert.
• Ablatie Studies:
  • De ongelijke timestep-strategie is cruciaal voor het balanceren van diversiteit en kwaliteit.
  • De attributie-aware reward presteert beter dan statische wegingen of het gebruik van alleen FR/NR metrics.
  • Een grotere groepsgrootte (G) verbetert de generatieve capaciteit, maar G=6 bleek een goede balans.

Significantie

Dit paper is significant omdat het een langdurig probleem oplost: hoe je Reinforcement Learning effectief kunt toepassen op snelle, één-staps generatieve modellen.

• Het bewijst dat één-staps modellen niet per se beperkt zijn tot lage kwaliteit of deterministische outputs.
• Het biedt een nieuwe richting voor Real-ISR waarbij snelheid, detailrijkdom en realisme gelijktijdig worden geoptimaliseerd.
• De methode is breed toepasbaar voor andere generatieve taken waar lokale details cruciaal zijn en waar offline datasets te beperkt zijn voor effectieve DPO-training.

Kortom, GDPO-SR stelt een nieuwe standaard voor in real-time, hoogwaardige beeldsuper-resolutie door slimme integratie van RL-principes in een efficiënt diffusion-framework.