RestoreVAR: Visual Autoregressive Generation for All-in-One Image Restoration

Probleemstelling

Beeldherstel (Image Restoration) is een complex invers probleem waarbij het doel is om schone beelden te herstellen uit beelden met degradaties zoals mist, regen, sneeuw, wazigheid en slechte verlichting.

• Bestaande methoden: Traditionele, niet-generatieve modellen (zoals AirNet, PromptIR) bieden snelle inferentie en goede pixel-niveau resultaten, maar generaliseren vaak slecht naar diverse, real-world degradaties.
• Generatieve aanpak: Latente Diffusie Modellen (LDM's), zoals Stable Diffusion, hebben de perceptuele kwaliteit en generalisatie van "All-in-One Image Restoration" (AiOR) aanzienlijk verbeterd. Echter, deze methoden lijden onder twee grote nadelen:
  1. Trage inferentie: Ze vereisen iteratieve denoising-stappen, wat ze onpraktisch maakt voor tijdgevoelige toepassingen (bijv. video-surveillance).
  2. Verlies van detail: Ze vertrouwen op Variational Autoencoders (VAE's) die zijn getraind voor generatieve diversiteit in plaats van nauwkeurige pixel-reconstructie, wat leidt tot het verlies van fijne structurele details.

Methodologie: RestoreVAR

De auteurs stellen RestoreVAR voor, een nieuw generatief framework voor AiOR dat is gebaseerd op Visual Autoregressive (VAR) modeling in plaats van diffusie.

1. Kernprincipe: Visual Autoregressive Modeling (VAR)
VAR genereert beelden door schaal-ruimtelijke autoregressie uit te voeren. In plaats van pixel-voor-pixel of stap-voor-stap denoising, voorspelt VAR latenterepresentaties van grove (coarse) naar fijne (fine) schalen.

• Analyse van schalen: De auteurs ontdekten dat in VAR de grove schalen voornamelijk de degradaties vastleggen, terwijl de fijnere schalen de details van het tafereel coderen. Dit vereenvoudigt het herstelproces: het verwijderen van degradaties vereist alleen het correct voorspellen van de vroege (grove) schalen.

2. Architecturale Aanpassingen voor AiOR
Om VAR effectief toe te passen op beeldherstel, introduceert RestoreVAR drie cruciale verbeteringen:

• Cross-Attention Mechanismen: Om hallucinaties te voorkomen en semantische consistentie te garanderen, wordt informatie van het gedegradeerde beeld ingebracht via cross-attention in elke transformer-blok. De queries komen uit de transformer-uitvoer, terwijl de keys en values worden afgeleid van de continue latent van het gedegradeerde beeld. Dit zorgt ervoor dat het model de ruimtelijke structuur behoudt.
• Latent Refinement Transformer (LRT): Vector-kwantisering en VAE-decoding introduceren vaak artefacten en verlies van fijne details. RestoreVAR lost dit op met een lichtgewicht, niet-generatieve transformer die discrete latents (voorspeld door VAR) omzet naar continue latents. Deze LRT gebruikt de output van de laatste VAR-blok als "pseudo-continue" gids.
• Fine-tuning van de VAE Decoder: De VAE-decoder wordt specifiek gefine-tuned op continue latents (in plaats van discrete) met een combinatie van L1-, SSIM-, perceptuele en adversariële verliezen. Dit resulteert in een decoder die beter is afgestemd op de doelstellingen van beeldherstel dan standaard generatieve decoders.

Belangrijkste Bijdragen

1. RestoreVAR Framework: Het eerste VAR-based generatieve AiOR-framework dat superieure prestaties levert met een inferentie-snelheid die 10x sneller is dan LDM-based methoden.
2. Semantisch Coherent Herstellen: Introductie van cross-attention conditioning op continue latents van het gedegradeerde beeld om ruimtelijke consistentie te maximaliseren.
3. Detailbehoud: Een innovatieve aanpak met een niet-generatieve Latent Refiner Transformer en een gefine-tunde decoder om het verlies van fijne details door kwantisatie te mitigeren.
4. State-of-the-Art Prestaties: Bewezen superioriteit in zowel generatieve als niet-generatieve benchmarks, met sterke generalisatie naar real-world en gemengde degradaties.

Resultaten

De auteurs evalueren RestoreVAR op diverse datasets (RESIDE, Snow100k, Rain13K, LOLv1, GoPro) en real-world benchmarks (LHP, REVIDE, etc.).

• Snelheid en Efficiëntie: RestoreVAR is aanzienlijk sneller dan concurrenten. Terwijl LDM-methoden zoals Diff-Plugin, AutoDIR en PixWizard 2 tot 8+ seconden per beeld nodig hebben, doet RestoreVAR dit in 0,201 seconden. Dit komt neer op een >10x snelheidswinst.
• Kwaliteit (Pixel-niveau): Hoewel niet-generatieve modellen soms nog iets hogere PSNR/SSIM scores halen, overtreft RestoreVAR alle andere generatieve methoden (Diff-Plugin, AutoDIR, PixWizard) significant op PSNR, SSIM en LPIPS.
• Generalisatie en Perceptuele Kwaliteit: Op real-world en ongezonde datasets (waar trainingsdata ontbreekt) presteert RestoreVAR beter dan niet-generatieve modellen op perceptuele metrieken (MUSIQ, CLIP-IQA). Een user study bevestigde dat RestoreVAR de hoogste scores behaalde voor scene-consistentie en algehele aantrekkelijkheid.
• Complexiteit: RestoreVAR heeft een lagere rekencomplexiteit (TFLOPs) en minder parameters dan de vergeleken LDM-methoden.

Betekenis en Impact

RestoreVAR markeert een belangrijke verschuiving in het veld van beeldherstel. Het bewijst dat autoregressieve modellen (VAR) een krachtig alternatief kunnen zijn voor diffusiemodellen, niet alleen voor generatie maar ook voor low-level vision taken.

• Oplossing voor het snelheids-dilemma: Het overbrugt de kloof tussen de snelle inferentie van niet-generatieve modellen en de sterke generalisatie/perceptuele kwaliteit van generatieve modellen.
• Toepasbaarheid: Door de hoge snelheid en sterke generalisatie is RestoreVAR zeer geschikt voor real-time toepassingen zoals autonome voertuigen en videobewaking, waar eerdere generatieve modellen te traag waren.
• Technische Innovatie: De ontdekking dat degradaties voornamelijk in de grove schalen van VAR zitten, biedt een nieuw inzicht in hoe generatieve priors kunnen worden gebruikt voor efficiënt beeldherstel.

Kortom, RestoreVAR levert de beste balans tot nu toe tussen snelheid, pixel-niveau nauwkeurigheid en perceptuele realisme voor All-in-One beeldherstel.