GramSR: Visual Feature Conditioning for Diffusion-Based Super-Resolution

1. Probleemstelling

Single-image super-resolution (SR) heeft als doel hoogresolutie (HR) afbeeldingen te reconstrueren uit laagresolutie (LR) invoer. Hoewel deep learning dit veld heeft vooruitgebracht, staan bestaande methoden voor aanzienlijke uitdagingen in real-world scenario's met complexe, onbekende degradaties.

• Beperkingen van huidige diffusiemethoden: Recente op diffusie gebaseerde SR-methoden (zoals StableSR, SeeSR) maken gebruik van krachtige generatieve priors uit grote tekst-naar-beeldmodellen (zoals Stable Diffusion). Ze vertrouwen echter op tekstconditionering afgeleid van afbeeldingstiteling of tagging.
  • De semantische kloof: Tekstbeschrijvingen bieden alleen hoog-niveau semantische concepten (bijv. "een kat", "een straat") maar missen ruimtelijk uitgelijnde visuele informatie, fijnmazige geometrie en lokale textuurpatronen die nodig zijn voor een getrouwe restauratie.
  • Textuurverlies: Bestaande trainingsdoelen geven vaak prioriteit aan pixel-niveau fideliteit of semantische consistentie, maar modelleren textuurstatistieken (herhalende patronen en feature-correlaties) niet expliciet, wat leidt tot overgegladde resultaten of artefacten.
• Efficiëntie: Multi-step diffusiemonstername is rekenkundig duur. Eén-staps methoden bestaan, maar lijden vaak aan overgladheid of beperkt detailherstel door hun afhankelijkheid van tekstprompts en vereenvoudigde verliesfuncties.

2. Methodologie: GramSR

De auteurs stellen GramSR voor, een één-staps diffusiemodel voor SR dat de bovenstaande beperkingen aanpakt via twee hoofdinnovaties: het vervangen van tekstconditionering door dichte visuele features en het introduceren van een textuur-bewuste trainingsstrategie.

A. Visuele Feature Conditionering

In plaats van tekstprompts te gebruiken, conditioneert GramSR het diffusiemodel op dichte visuele features die rechtstreeks uit de LR-invoer worden gehaald.

• Encoder: Een vooraf getrainde DINOv3-encoder wordt gebruikt om patch-niveau visuele features ($F_{ViT}$) uit het LR-beeld te extraheren. Deze features vangen hiërarchische informatie op, van lokale texturen tot globale context, terwijl ze ruimtelijke uitlijning met de invoer behouden.
• Integratie: Een lichtgewicht MLP-adapter projecteert deze visuele features in de conditioneringsruimte van de diffusiemodel U-Net. De DINOv3-encoder blijft tijdens het trainen bevroren.

B. Drie-staps LoRA Trainingsstrategie

Om de conflicterende doelen van SR (degradatieverwijdering, semantische versterking en textuurbehoud) te ontkoppelen, hanteert GramSR een sequentiële trainingsstrategie met drie verschillende LoRA (Low-Rank Adaptation) modules die aan de U-Net zijn gekoppeld:

1. Pixel-niveau LoRA ($\Delta\theta_{pix}$):
   • Doel: Degradaties verwijderen (ruis, onscherpte, downsampling-artefacten).
   • Verlies: Geoptimaliseerd met $\ell_2$-verlies ($L_{MSE}$) om nauwkeurige pixel-niveau reconstructie en stabiele convergentie te garanderen.
2. Semantisch-niveau LoRA ($\Delta\theta_{sem}$):
   • Doel: Perceptuele realisme versterken en semantisch rijke details genereren.
   • Verlies: Geoptimaliseerd met een combinatie van LPIPS (perceptueel verlies) en Classifier Score Distillation (CSD)-verliezen, naast $L_{MSE}$. De pixel-niveau LoRA wordt tijdens deze fase bevroren.
3. Textuurniveau LoRA ($\Delta\theta_{gram}$):
   • Doel: Textuurconsistentie afdwingen en statistieken van tweede-orde features behouden.
   • Mechanisme: Berekening van de Gram-matrix van DINOv3-features. De Gram-matrix vangt correlaties tussen ruimtelijke locaties op en codeert globale textuurstatistieken die invariant zijn voor lokale ruimtelijke rangschikkingen.
   • Verlies: Minimalisatie van het Frobenius-norm-verschil tussen de Gram-matrices van de SR-uitvoer en de ground truth ($L_{gram}$).
   • Training: Beide vorige LoRA's zijn bevroren; alleen de textuurmodule wordt getraind met een gezamenlijke verliesfunctie die pixel-, perceptuele en Gram-verliezen in evenwicht brengt.

C. Inferentie met Drievoudige Gids

Tijdens inferentie staat het model flexibele controle toe over het restauratieproces door onafhankelijke gids-schalen ($\lambda_{pix}, \lambda_{sem}, \lambda_{gram}$) aan te passen. De uiteindelijke voorspelling is een gewogen som van het basismodel en de drie LoRA-bijdragen, waardoor gebruikers kunnen afwegen tussen structurele fideliteit en textuurrealisme.

3. Belangrijkste Bijdragen

1. Visuele Conditionering boven Tekst: Het paper toont aan dat het vervangen van abstracte tekstprompts door DINOv3-gebaseerde dichte visuele features de ruimtelijke uitlijning en het detailherstel aanzienlijk verbetert, waardoor de kloof tussen semantische priors en pixel-niveau restauratie wordt overbrugd.
2. Gram-matrix Uitlijning voor Textuur: De introductie van een dedicated textuurniveau LoRA die via Gram-matrixverlies wordt geoptimaliseerd, modelleert expliciet textuurstatistieken, een component die vaak wordt verwaarloosd in op diffusie gebaseerde SR.
3. Sequentiële Ontkoppeling: De drie-staps trainingsstrategie scheidt degradatieverwijdering, semantische versterking en textuuruitlijning effectief, waardoor interferentie tussen doelen wordt voorkomen.
4. Efficiëntie: Het framework werkt als een één-staps diffusiemodel, wat realtime prestaties biedt terwijl het superieure kwaliteit bereikt in vergelijking met multi-step methoden.

4. Experimentele Resultaten

De methode is geëvalueerd op standaard benchmarks (DIV2K, RealSR, DRealSR) en vergeleken met state-of-the-art één-staps diffusiemethoden (SinSR, OSEDiff, PiSA-SR, AdcSR).

• Kwantitatieve Prestaties:
  • GramSR presteerde consequent beter dan concurrenten op alle datasets.
  • Op RealSR behaalde het de hoogste PSNR (26,81) en SSIM (76,68), terwijl het perceptuele fouten aanzienlijk verlaagde (LPIPS: 23,05, DISTS: 17,91, FID: 100,71).
  • Het toonde zich bijzonder sterk op RealSR en DRealSR (real-world datasets), waar complexe degradaties aanwezig zijn, en presteerde met een aanzienlijke marge beter dan de dichtstbijzijnde concurrent (PiSA-SR) op zowel fideliteit als perceptuele metrics.
• Kwalitatieve Analyse:
  • Visuele vergelijkingen toonden aan dat GramSR coherente texturen produceert en minder artefacten dan SinSR (dat vaak inconsistente texturen heeft) of OSEDiff (dat de neiging heeft om te overglad).
  • Het slaagde erin fijnmazige structuren en herhalende patronen te behouden die andere methoden niet konden reconstrueren.
• Ablatie Studies:
  • Visuele Conditionering: Het vervangen van tekst door DINOv3-features verbeterde PSNR/SSIM en verlaagde perceptuele fouten.
  • Textuur LoRA: Het toevoegen van de Gram-gebaseerde LoRA verlaagde LPIPS, DISTS en FID verder, wat zijn rol in het versterken van textuurrealisme bevestigt.
  • Trainingsstrategie: De sequentiële drie-LoRA-aanpak presteerde beter dan gezamenlijke training of samengevoegde LoRA-strategieën, wat de noodzaak van het ontkoppelen van doelen bewijst.
  • Generalisatie: De methode werkt robuust met diverse visuele encoders (CLIP, SigLIP, DINOv2/v3), waarbij DINOv3-B de beste afweging biedt tussen representatiecapaciteit en ruimtelijke precisie.

5. Betekenis

GramSR vertegenwoordigt een significante verschuiving in op diffusie gebaseerde beeldrestauratie door weg te bewegen van tekstgebaseerde semantische priors naar ruimtelijk uitgelijnde visuele priors. Door expliciet textuurstatistieken te modelleren via Gram-matrixuitlijning, adresseert het een kritiek blind punt in huidige generatieve SR-methoden. Het framework biedt een nieuw paradigma voor één-staps diffusiemodellen, en bewijst dat efficiënte, realtime SR tegelijkertijd hoge-fideliteit structureel herstel en realistische textuurgeneratie kan bereiken. Deze aanpak is bijzonder waardevol voor real-world toepassingen waar invoerbeelden lijden onder complexe, onbekende degradaties en waar behoud van fijnmazige texturen cruciaal is.