RealRestorer: Towards Generalizable Real-World Image Restoration with Large-Scale Image Editing Models

1. Het Probleem

Bestaande modellen voor beeldherstel (image restoration) kampen met twee fundamentele beperkingen wanneer ze worden toegepast op real-world scenario's:

• Beperkte Generalisatie: De meeste modellen zijn getraind op synthetische data met beperkte degradatiemodellen (bijv. alleen wazigheid of alleen regen). Ze presteren vaak slecht op complexe, gecombineerde en onvoorspelbare degradaties die voorkomen in echte foto's.
• De Kloof tussen Open-Source en Gesloten Systemen: Grote, gesloten beeldbewerkingsmodellen (zoals Nano Banana Pro of GPT-Image-1.5) tonen sterke generalisatievermogen en behouden de consistentie van de inhoud beter. Echter, deze modellen zijn gesloten, vereisen enorme rekenkracht en zijn niet reproduceerbaar voor de onderzoeksgemeenschap. Er is een behoefte aan een open-source alternatief dat vergelijkbare prestaties levert.

2. Methodologie

RealRestorer is een open-source model dat is opgezet om deze kloof te overbruggen door gebruik te maken van de sterke priors van grote beeldbewerkingsmodellen, aangepast voor specifieke hersteltaken.

A. Data Constructie (De Synthese-pijplijn)

Om de kloof tussen synthetische en real-world data te verkleinen, hebben de auteurs een uitgebreide pijplijn ontwikkeld om hoogwaardige trainingsparen (schoon vs. gedegradeerd) te genereren voor negen degradatietypes:

1. Synthetische Data: Gebruikmakend van clean images uit het web, worden degradaties gesimuleerd met geavanceerde modellen (zoals SAM-2 voor segmentatie en MiDaS voor diepte).
   • Specifieke innovaties: Granulaire ruismodellen, segment-bewuste verstoringen, en "web-style" degradaties (bijv. compressieartefacten zoals die op sociale media voorkomen).
   • Negende types: Wazigheid (blur), compressie, moirépatronen, weinig licht, ruis, flits/flare, reflectie, nevel (haze) en regen.
2. Real-World Data: Echte gedegradeerde afbeeldingen worden verzameld en gekoppeld aan hoogwaardige referenties gegenereerd door krachtige herstelmodellen.
   • Filtering: Gebruik van VLMs (Vision-Language Models, zoals Qwen3-VL) en watermerk-detectie om ongeschikte data te verwijderen en de degradatiegraad te verifiëren.

B. Trainingsstrategie (Twee-fasen aanpak)

Het model is een fine-tuning van Step1X-Edit (gebaseerd op een Diffusion in Transformer, DiT, met QwenVL als tekst-encoder). De training verloopt in twee fasen:

1. Transfer Training Stage: Het model wordt getraind op de grote synthetische dataset (ongeveer 1,5 miljoen paren) om basisherstelkennis over te dragen van beeldbewerking naar beeldherstel.
2. Supervised Fine-Tuning (SFT) Stage: Het model wordt verfijnd met de real-world degradatiedata.
   • Progressively-Mixed Strategie: Cruciaal is dat tijdens de tweede fase een klein percentage synthetische data behouden blijft. Dit voorkomt overfitting op specifieke real-world patronen en behoudt de robuustheid en generalisatie van het model.
   • De learning rate volgt een cosine annealing schema om een stabiele convergentie te garanderen.

C. RealIR-Bench (Nieuwe Benchmark)

Omdat er geen betrouwbare "ground truth" bestaat voor veel real-world degradaties, hebben de auteurs RealIR-Bench ontwikkeld:

• Opzet: 464 niet-referentie (non-reference) real-world gedegradeerde afbeeldingen.
• Evaluatiemetrics: In plaats van traditionele pixel-accurate metrics (zoals PSNR/SSIM), gebruiken ze:
  • Restoration Score (RS): Een VLM (Qwen3-VL) beoordeelt de ernst van de degradatie voor en na herstel (0-5 schaal).
  • LPIPS: Meet perceptuele gelijkenis om te waarborgen dat de inhoud consistent blijft.
  • Final Score (FS): Een combinatie van RS en LPIPS.

3. Belangrijkste Bijdragen

1. RealRestorer Model: Een state-of-the-art open-source model dat presteert op het niveau van gesloten commerciële systemen voor negen verschillende real-world hersteltaken.
2. Geavanceerde Data Pijplijn: Een robuust systeem voor het genereren van trainingsdata dat de gap tussen synthetische en real-world degradaties significant verkleint door web-style en granulaire modellering.
3. RealIR-Bench: Een nieuwe, realistische benchmark met niet-referentie evaluatie, specifiek ontworpen om de prestaties van herstelmodellen in echte scenario's te meten zonder de noodzaak van perfecte "clean" referentieafbeeldingen.

4. Resultaten

• Prestaties: RealRestorer behaalt de eerste plaats onder open-source methoden op RealIR-Bench en presteert zeer competitief tegenover gesloten systemen (zoals Nano Banana Pro en GPT-Image-1.5).
  • Het scoort het beste op deblurring en low-light enhancement.
  • Het overall resultaat is slechts 0,007 punten verwijderd van de leider (Nano Banana Pro) en 0,019 punten beter dan de tweede beste open-source methode.
• Generalisatie: Het model toont sterke "zero-shot" generalisatie naar ongezette taken (zoals sneeuwverwijdering en oude foto-restauratie), dankzij de sterke priors van het basisbeeldbewerkingsmodel.
• Kwaliteit: Visuele vergelijkingen tonen aan dat RealRestorer minder artefacten produceert en de structuur van de scène beter behoudt dan andere open-source modellen.

5. Betekenis en Impact

Dit werk is significant omdat het aantoont dat open-source modellen de prestatiekloof met gesloten, commerciële AI-systemen voor beeldherstel kunnen dichten. Door de combinatie van een grote, diverse dataset, een slimme twee-fasen trainingsstrategie en een realistische evaluatiebenchmark, biedt RealRestorer een reproduceerbare en krachtige oplossing voor complexe real-world beeldherstelproblemen. Dit is cruciaal voor toepassingen zoals autonoom rijden, objectdetectie en forensische beeldanalyse, waar de kwaliteit van de inputdata direct van invloed is op de betrouwbaarheid van downstream taken.

De auteurs hebben het model, de data-pijplijn en de benchmark open-source beschikbaar gesteld om verdere research in dit domein te stimuleren.