Degradation-Aware and Structure-Preserving Diffusion for Real-World Image Super-Resolution

Probleemstelling

Real-world beeldsuperresolutie (SR) is een uitdaging voor diffusiemodellen omdat echte degradaties (zoals wazigheid, ruis en compressie-artefacten) complex, heterogeen en vaak ruimtelijk variërend zijn. Bestaande methoden hebben twee belangrijke beperkingen:

1. Gebrek aan expliciete degradatiekennis: De meeste diffusion-modellen behandelen de lage-resolutie (LR) invoer als een monolithisch signaal. Ze scheiden de onderliggende degradatiepatronen niet expliciet van de beeldinhoud, wat leidt tot restauratie-ambiguïteit. Het model kan moeite hebben om onderscheid te maken tussen echte texturen en artefacten, wat resulteert in onvoldoende restauratie of onnatuurlijke "hallucinaties".
2. Uniforme ruisinjectie: Standaard diffusietraining past uniforme Gaussische ruis toe over de gehele latente ruimte. Dit negeert de ruimtelijke heteroscedasticiteit van beeldinformatie: structurele gebieden (zoals randen) zijn gevoeliger voor ruis dan vlakke gebieden. Uniforme ruis kan kritieke structurele cues te vroeg uitwissen, waardoor het model geometrie moet "heruitvinden" in plaats van bestaande structuren te verfijnen.

Methodologie

De auteurs stellen een nieuw framework voor dat twee lichtgewicht modules introduceert binnen een bestaande diffusion-SR-architectuur (gebaseerd op SeeSR/ControlNet):

1. Degradation-aware Token Injection (DTI)

Deze module zorgt voor expliciete conditionering op basis van de degradatie.

• Extractie: Er wordt een compacte degradatie-descriptor ($\mathbf{d} \in \mathbb{R}^6$) berekend uit de LR-invoer. Deze omvat zes componenten: wazigheid (via Laplacian-variantie), ruisniveau, JPEG-blokkering, randdichtheid, helderheid en contrast.
• Projectie: Deze descriptor wordt via een lichtgewicht MLP (Multi-Layer Perceptron) omgezet in een "degradatie-token".
• Injectie: Dit token wordt aan de beeld-embedding toegevoegd en geïnjecteerd in de cross-attention-branches van zowel ControlNet als UNet. Hierdoor krijgt het denoising-netwerk expliciete aanwijzingen over het type en de ernst van de degradatie, wat leidt tot gerichter herstel.

2. Spatially Asymmetric Noise Injection (SANI)

Deze module is een trainingsstrategie om structurele integriteit te behouden.

• Principe: In plaats van uniforme ruis, wordt de ruissterkte gemoduleerd op basis van lokale randsterkte.
• Implementatie: Er wordt een randsterkte-kaart ($E$) berekend met Sobel-filtering. De getrokken ruis ($\epsilon$) wordt vermenigvuldigd met een factor $(1 - \lambda E)$, waarbij $\lambda$ de moduleringssterkte bepaalt.
• Effect: Gebieden met veel structuur (randen) ontvangen minder ruis (variatiereductie), waardoor de geometrische "skelet" van het beeld tijdens het trainingsproces behouden blijft. Vlakke gebieden ontvangen de standaard ruis, wat de generatie van stochastische texturen toelaat.
• Consistentie: SANI wordt alleen tijdens het trainen toegepast; tijdens de inferentie wordt de standaard reverse-diffusie gebruikt. De auteurs betogen dat de prestaties van het model robuust zijn tegen deze lichte afwijking in de trainingsverdeling.

Belangrijkste Bijdragen

1. DTI: Een mechanisme dat degradatiekenmerken expliciet encodeert in conditioneringstokens, waardoor het model beter om kan gaan met diverse real-world corrupties.
2. SANI: Een structuurbewuste trainingsstrategie die ruisniveaus aanpast op basis van lokale geometrie om randen en fijne texturen te behouden.
3. Efficiëntie: Beide modules zijn lichtgewicht toevoegingen die minimale parameter- en runtime-overhead veroorzaken, zonder de bestaande backbone-architectuur fundamenteel te wijzigen.

Resultaten

De methode is geëvalueerd op de DIV2K en RealSR benchmarks en vergeleken met state-of-the-art methoden (zoals Real-ESRGAN, SeeSR, StableSR, DiffBIR).

• Perceptuele Kwaliteit: De voorgestelde methode behaalt de beste of gelijk beste resultaten op no-reference perceptuele metrics (NIQE, NRQM, PI, CLIP-IQA, MUSIQ). Dit duidt op een superioriteit in het genereren van realistische texturen en scherpe details.
• Perceptie-Distorsie Trade-off: Er is een bekende trade-off zichtbaar: de methode heeft iets lagere PSNR- en SSIM-waarden dan regressie-based methoden (zoals Real-ESRGAN), maar levert visueel veel realistischere resultaten op. Dit is wenselijk voor toepassingen waar visuele kwaliteit belangrijker is dan strikte pixel-nauwkeurigheid.
• Ablatiestudies:
  • DTI alleen verbetert de textuurrealistiek.
  • SANI alleen verbetert de scherpte van randen en structurele coherentie.
  • De combinatie van beide modules levert de beste algehele perceptuele prestaties op, wat aantoont dat ze complementair werken.
• Complexiteit: DTI voegt slechts ~0.01% aan parameters toe en verhoogt de inferentiële latentie met slechts 0.10 seconden per afbeelding. SANI heeft geen extra inferentiekosten.

Betekenis en Conclusie

Dit werk benadrukt dat expliciete degradatiemodellering en structuurbewuste diffusie-ontwerpen cruciaal zijn voor het doorbreken van de grenzen van real-world superresolutie. Door de "blindheid" van bestaande diffusion-modellen voor degradatietypes te doorbreken en de gevoeligheid van structurele gebieden voor ruis te respecteren, biedt DASP-SR een robuustere en visueel overtuigender oplossing.

Beperkingen: De methode heeft nog steeds de hoge inferentiekosten van multi-step diffusion-modellen. Daarnaast kan de handgemaakte degradatiedeskriptor onvoldoende zijn voor uiterst complexe, gemengde degradaties die niet in de zes gedefinieerde componenten vallen, wat soms kan leiden tot over-scherpte randen of hallucinaties. Toekomstig werk richt zich op het leren van degradatierepresentaties en het verbeteren van de inferentie-efficiëntie.