Quaternion Wavelet-Conditioned Diffusion Models for Image Super-Resolution

Technische Samenvatting: ResQu – Diffusiemodellen gekonditioneerd op quaternion-golven voor beeldsuperresolutie

Probleemstelling
Beeldsuperresolutie (SR) heeft als doel hoogresolutie (HR) beelden te reconstrueren uit laagresolutie (LR) invoer, een taak die cruciaal is voor downstream computerzichttoepassingen zoals objectdetectie en segmentatie. Hoewel diep leren SR aanzienlijk heeft vooruitgebracht, blijft het bereiken van reconstructies die perceptuele kwaliteit in evenwicht brengen met structurele trouw – met name bij hoge opschalingsfactoren – een uitdaging. Bestaande op diffusie gebaseerde SR-methoden worstelen vaak met het behoud van fijnmazige details en realistische texturen zonder artefacten of vervaging in te brengen. Bovendien vertrouwen veel benaderingen op vooraf gedefinieerde degradatiemodellen die de generaliseerbaarheid naar realistische scenario's beperken.

Methodologie: Het ResQu-kader
De auteurs stellen ResQu voor, een nieuw SR-kader dat een voorverwerkingspijplijn op basis van quaternion-golven integreert met latente diffusiemodellen (LDM's). De architectuur maakt gebruik van de generatieve priors van vooraf getrainde fundamentele modellen, specifiek Stable Diffusion (SD), terwijl een gespecialiseerd konditioneringsmechanisme wordt geïntroduceerd.

1. Quaternion Golven-Transform (QWT) en QUAVE:
   In tegenstelling tot standaard Discrete Golven-Transformaties (DWT), die geen translatie-invariantie en fase-informatie bezitten, maakt ResQu gebruik van de Quaternion Golven-Transform. QWT decomposeert beelden in vier sub-banden (schaling en drie directionele golven), wat resulteert in 16 reële sub-banden die rijke multidimensionale representaties vastleggen van zowel laagfrequente benaderingen als hoogfrequente details. Om redundantie te vermijden, hanteert het kader QUAVE, een leer-gebaseerde aanpak die kenmerken extrahert uit de meest informatieve QWT-sub-banden.

2. Quaternion Golven- en Tijd-bewuste Encoder:
   De kerninnovatie is een nieuwe encoder die LR-invoer verwerkt om quaternion-golf-embeddings te genereren. Deze embeddings worden dynamisch geïntegreerd in het diffusieproces naast tijdstap-embeddings.

   • Multi-Schaal Konditionering: De encoder injecteert deze kenmerken in de intermediaire kenmerkkaarten van de U-Net-ruggengraat via Ruimtelijke Kenmerktransformaties (SFT).
   • Adaptieve Gids: De encoder is "tijd-bewust", wat betekent dat het zijn konditioneringssterkte aanpast op basis van de diffusietijdstap. In vroege denoiseringsstadia (lage Signaal-Ruisverhouding) biedt het sterke structurele gids om integriteit te behouden. Naarmate de latente representatie verfijnt (hogere SNR), vermindert de encoder zijn invloed, waardoor het diffusiemodel zich kan richten op het genereren van fijnmazige texturen.

3. Trainingsstrategie:
   ResQu fine-tunt een vooraf getraind Stable Diffusion-model in plaats van te trainen vanaf nul. De VAE-encoder en decoder blijven bevroren, en de U-Net-ruggengraat wordt aangepast met de nieuwe quaternion-golf- en tijd-bewuste encoder. Deze aanpak vermindert de rekenvereisten aanzienlijk terwijl het gebruik maakt van de uitgebreide generatieve priors die zijn geleerd uit enorme datasets.

Belangrijkste Bijdragen

1. Nieuwe Integratie: De introductie van een latent diffusiemodel voor beeld-SR dat uniek quaternion-golf-kenmerken integreert met generatieve priors.
2. Gespecialiseerde Encoder: Het voorstellen van een quaternion-golf- en tijd-bewuste encoder die het konditioneringsproces op meerdere schalen tijdens denoising verbetert, waardoor de prestaties van vooraf getrainde fundamentele modellen zoals Stable Diffusion worden versterkt.
3. Prestatievalidatie: Uitgebreide experimenten die aantonen dat ResQu bestaande methoden overtreft in zowel perceptuele kwaliteit (LPIPS, FID) als kwantitatieve metrics (PSNR, SSIM).
4. Ablatie- en Domeinanalyse: Rigoureuze ablatiestudies over architectuurontwerp (bijv. Controllable Feature Wrapping) en zero-shot evaluaties op domeinspecifieke datasets (ShipSpotting), wat de robuustheid en veelzijdigheid van de methode bewijst.

Experimentele Resultaten
De auteurs evalueerden ResQu op synthetische (DIV2K) en realistische (RealSR, DRealSR) benchmarks, evenals op een domeinspecifiek maritiem dataset (ShipSpotting).

• Kwantitatieve Prestaties: Op de DIV2K-validatieset bereikte ResQu een PSNR van 25,21 en een SSIM van 0,645, waarmee het baselines zoals StableSR en LDM overtrof. Op RealSR en DRealSR toonde het model sterke generalisatie, met de hoogste PSNR (respectievelijk 26,45 en 29,69) en concurrerende SSIM-scores.
• Kwalitatieve Analyse: Visuele vergelijkingen benadrukken het vermogen van ResQu om ingewikkelde structurele details (bijv. gezichtsrimpels, vachttexturen) en tekstelementen te reconstrueren zonder de vervaging of aliasing-artefacten die bij andere methoden gebruikelijk zijn. De op quaternion gebaseerde konditionering behoudt effectief scherpe randen en natuurlijke stochastische patronen.
• Zero-Shot Vermogen: Bij een zero-shot evaluatie op de ShipSpotting-dataset (zonder hertraining) behaalde ResQu prestaties die vergelijkbaar waren met volledig getrainde gespecialiseerde modellen, wat zijn vermogen aantoont om te generaliseren naar ongezette domeinen en complexe maritieme texturen te hanteren.
• Ablatiebevindingen: Studies over bemonsteringsstappen onthulden een afweging waarbij minder stappen de efficiëntie en pixel-voor-pixel metrics (PSNR/SSIM) verbeterden, maar de perceptuele kwaliteit (LPIPS) licht verminderden. Bovendien presteerde een zelfgetrainde Controllable Feature Wrapping (CFW)-module beter dan de vooraf getrainde StableSR-versie in het behoud van structurele trouw.

Betekenis en Claims
Het artikel beweert dat ResQu een nieuwe benchmark stelt in beeldsuperresolutie door effectief generatieve priors te synthetiseren met geavanceerde signaalverwerkingstechnieken. De auteurs stellen dat hun aanpak succesvol de uitdaging aanpakt om structurele trouw in evenwicht te brengen met perceptueel realisme, een veelvoorkomende beperking in huidige op diffusie gebaseerde SR-methoden. Door gebruik te maken van quaternion-golf-embeddings, vangt het kader essentiële fase-relaties en multidimensionale kenmerken, waardoor het herstel van fijnmazige details en robuuste prestaties over diverse contenttypes mogelijk wordt, van menselijke portretten tot complexe natuurlijke texturen en tekst. Het werk draagt bij aan een nieuw architecturaal paradigma dat quaternion-golf-kenmerken integreert met diffusiemodellen, en biedt een veelzijdige oplossing voor realistische beeldverbeteringstaken.