How far have we gone in Generative Image Restoration? A study on its capability, limitations and evaluation practices

Dit artikel presenteert een uitgebreide studie over Generatieve Beeldherstel die, via een nieuwe multidimensionale evaluatie, aantoont dat het veld is verschoven van het oplossen van detailtekort naar het beheersen van overgeneratie en semantische controle, terwijl het ook een nieuwe IQA-model introduceert die beter aansluit bij menselijke perceptie.

De kern

Hoe ver zijn we eigenlijk gekomen met het 'herstellen' van oude foto's door AI?

Stel je voor dat je een oude, beschadigde familiefoto hebt. De randen zijn versleten, het beeld is wazig en er zit een vlek op. Vroeger probeerden computers dit te repareren door simpelweg de pixels scherper te maken, maar het resultaat zag er vaak uit als een plastic pop: strak, maar zonder ziel.

Vandaag de dag gebruiken we Generatieve AI. Dit zijn slimme computers die niet alleen repareren, maar ook verzonnen details toevoegen. Ze "dromen" de haartjes op een kin of de structuur van een oude muur in. Maar hoe goed zijn ze eigenlijk? En maken ze soms meer kapot dan goed?

Dit onderzoek is als een grote, eerlijke keuring van deze slimme machines. De onderzoekers hebben een gigantische test gedaan met 20 verschillende AI-modellen om te zien wat ze kunnen en waar ze falen. Hier is wat ze ontdekten, vertaald naar alledaagse taal:

1. De "Kunstenaar" vs. De "Reparateur"

Vroeger waren beeldherstelprogramma's als een reparateur: ze probeerden de schade weg te werken zonder iets nieuws toe te voegen.
De nieuwe generatie (die op technologie zoals "diffusie" draait) is meer als een kunstenaar. Ze kijken naar een wazige vlek en zeggen: "Ah, dit is waarschijnlijk een oog," en tekenen er een perfect oog bij.

• Het goede nieuws: Ze kunnen ongelooflijk mooie, realistische details maken. Een oude, vage foto van een gezicht kan eruitzien alsof hij gisteren is gemaakt.
• Het slechte nieuws: Soms zijn ze te creatief. Ze verzonnen dingen die er niet waren. Stel je voor dat je een foto van een hond herstelt, en de AI plakt er per ongeluk een extra poot bij of verandert de kleur van de vacht. Dat noemen ze "hallucineren".

2. De "Grote Uitdaging": Van "Te weinig" naar "Te veel"

De onderzoekers ontdekten een interessante verandering in de problemen:

• Vroeger: De grootste fout was dat de foto's eruit zagen als een wazige, gladde soep. Er waren geen details (te weinig creatie).
• Nu: De grootste fout is dat de AI soms te veel details toevoegt. Ze maken de huid van een persoon te korrelig, of ze vullen een leeg raam met onzin. Het probleem is niet meer dat ze niets kunnen, maar dat ze niet weten wanneer ze moeten stoppen.

3. De "Zwakke Plekken" van de AI

De AI is niet overal even goed in. Het is alsof je een chef-kok vraagt om een maaltijd te maken: hij is fantastisch in het bakken van een steak (zoals dierenbont of cartoon-achtige beelden), maar hij faalt volledig als je hem vraagt om een ingewikkeld gerecht met veel kleine onderdelen te maken.

De AI heeft moeite met:

• Gezichten in menigten: Als er honderden kleine gezichten zijn, worden ze vaak vervormd of onherkenbaar.
• Handen en voeten: Dit is een klassieke zwakte. De AI maakt vaak extra vingers of vervormde tenen.
• Tekst: Als er tekst op een bord staat, wordt dit vaak onleesbaar gemaakt door de AI, alsof het in een vreemde taal is geschreven.
• Oude films en bewakingsbeelden: Als de originele foto zo slecht is dat er bijna geen informatie meer over is, raakt de AI in paniek en verzonnt hij complete scènes die er nooit hebben bestaan.

4. De "Kwaliteitscontroleur" die faalt

Een ander belangrijk punt is: hoe weten we of een herstelde foto goed is?
Vroeger gebruikten we simpele meetlatjes (zoals "hoe scherp is het?"). Maar dat werkt niet meer. Een foto kan heel scherp zijn, maar als de AI er een extra neus op heeft gezet die er niet hoorde, is het een slechte foto.

De onderzoekers hebben daarom een nieuwe, slimme meetlat ontwikkeld. Deze kijkt niet alleen naar scherpte, maar ook naar:

• Betrouwbaarheid: Zien de handen eruit als handen?
• Details: Zijn de details echt of verzonnen?
• Algemene indruk: Ziet het er natuurlijk uit?

Conclusie: Waar staan we?

We zijn een enorme stap vooruitgezet. De AI kan nu foto's herstellen die voorheen onmogelijk waren. Maar we zijn ook in een nieuw stadium beland waar we voorzichtig moeten zijn.

Het is als het geven van een kwast aan een kind dat net tekenen heeft geleerd. Het kind kan prachtige, kleurrijke dingen maken die eruitzien als een meesterwerk, maar het kan ook per ongeluk de neus van de koning in de schilderij veranderen.

De boodschap: De technologie is indrukwekkend, maar we moeten leren om de AI te sturen zodat hij niet "te creatief" wordt. We moeten leren om te vragen: "Herstel dit, maar verander niets wat er niet hoorde." En we hebben betere tools nodig om te zien of de AI ons een eerlijke foto teruggeeft of een mooi verzonnen verhaal.

Technische samenvatting

1. Het Probleem

Generatieve Beeldherstel (Generative Image Restoration - GIR) heeft aanzienlijke vooruitgang geboekt in het creëren van visueel realistische beelden door gebruik te maken van generatieve prioren (zoals diffusion-modellen en GANs). Echter, er bestaat een fundamenteel tekort aan inzicht in de praktische capaciteiten en beperkingen van deze modellen in vergelijking met eerdere methoden.

De huidige uitdagingen zijn:

• Gebrek aan systematische evaluatie: Bestaande benchmarks behandelen vaak alle scènes als gelijkwaardig en negeren de invloed van semantische inhoud (bijv. gezichten, tekst, handen) op de prestaties.
• Onrealistische degradaties: Veel datasets gebruiken alleen synthetische degradaties (zoals ruis of wazigheid), terwijl GIR-modellen in de praktijk worden ingezet voor complexe, echte scenario's (oude foto's, bewakingsbeelden, lage lichtomstandigheden).
• Evaluatie-fouten: Bestaande Image Quality Assessment (IQA) methoden falen vaak bij het detecteren van "hallucinaties" (over-generatie) of semantische inconsistenties. Ze geven vaak slechts één enkel cijfer, wat niet inzichtelijk maakt waarom een herstel mislukt.
• Paradigmaverschuiving: Het probleem is verschoven van "tekort aan details" (onder-generatie) naar "kwaliteit en controle van details" (over-generatie/hallucinatie).

2. Methodologie

De auteurs presenteren een uitgebreide studie die bestaat uit drie hoofdbestanddelen:

A. Een Nieuw, Multidimensionaal Dataset

Ze hebben een nieuw testset opgebouwd met 7.080 herstelbeelden gegenereerd door 20 verschillende modellen. De dataset is zorgvuldig gebalanceerd op twee dimensies:

1. Semantische Categorieën (21 types): Inclusief mensgerichte elementen (gezichten, handen/voeten, menigten), structurele elementen (gebouwen, voertuigen), texturen (bont, textiel) en symbolische content (tekst, cartoons).
2. Degradatie Types (11 types): Een mix van synthetische degradaties (compressie, blur) en realistische, echte degradaties (oude foto's in zwart-wit/kleur, oude film, bewakingsbeelden, lage belichting).

B. Menselijke Evaluatie en Multi-dimensionale Scoren

In plaats van één totaalcijfer, hebben 56 menselijke beoordelaars de beelden gescoord op vier specifieke dimensies:

• Detail: Een bipolaire schaal (-3 tot +3). Negatief betekent onder-generatie (te glad), positief betekent over-generatie (hallucinerende texturen). 0 is ideaal.
• Scherpte: (-3 tot +3). Meet de duidelijkheid van randen (van wazig tot over-scherp met halo's).
• Semantiek: (0 tot 4). Meet de structurele correctheid en betekenis (bijv. is een gezicht herkenbaar? Is de tekst leesbaar?).
• Totale Kwaliteit: (0 tot 4). De bereidheid van de beoordelaar om het resultaat te accepteren.

C. Model Selectie en Training van een Nieuwe IQA

• Modellen: 20 representatieve modellen werden getest, waaronder diffusion-based (bijv. SUPIR, DiffBIR), generatieve modellen (FLUX, Nano Banana), GAN-based en PSNR-georiënteerde modellen.
• Nieuwe IQA: Met behulp van de menselijke annotaties trainden ze een nieuw Image Quality Assessment model dat in staat is om niet alleen een totaalscore te voorspellen, maar ook specifieke foutmodi (detail, scherpte, semantiek) te diagnosticeren.

3. Belangrijkste Bijdragen

1. Gedetailleerde Benchmark: De eerste dataset die systematisch de interactie tussen semantische inhoud en degradatietype analyseert voor generatieve herstelmodellen.
2. Inzicht in Foutpatronen: Identificatie van een verschuiving in de aard van fouten: moderne modellen lijden minder onder gebrek aan details, maar kampen nu met over-generatie en semantische hallucinaties.
3. Nieuwe Evaluatiestandaard: Een multi-dimensionaal evaluatiekader dat verder gaat dan traditionele PSNR/SSIM of enkele IQA-scores.
4. Nieuwe IQA-tool: Een getraind model dat beter correleert met menselijke perceptie en specifiek is ontworpen voor de complexiteit van generatieve herstel.

4. Resultaten en Bevindingen

Semantische Afhankelijkheid

• Zwakke Punten: Modellen presteren consistent slecht op kleine gezichten, menigten, handen/voeten en tekst. Menselijke perceptie is hier zeer gevoelig voor structurele fouten.
• Sterke Punten: Modellen presteren goed op texturen zoals dierenbont en cartoons.
• Over- vs. Onder-generatie:
  • GAN- en PSNR-modellen genereren zelden extra details (onder-generatie).
  • Diffusion-modellen hebben een sterke capaciteit voor details, maar neigen vaak naar over-generatie (bijv. onnatuurlijke rimpels in gezichten, extra ruitjes in traliewerk, onleesbare tekst).

Degradatie-Afhankelijkheid

• Modellen worstelen met informatie-arme degradaties zoals bewegingsonscherpte (motion blur), oude film, bewakingsbeelden en lage belichting. Hier is de informatie vaak zo verloren dat generatieve prioren leiden tot hallucinaties in plaats van correct herstel.
• Diffusion-modellen tonen over het algemeen de beste robuustheid, maar hun prestaties dalen drastisch in extreme gevallen.

Parametergevoeligheid

• Voor diffusion-modellen is de configuratie (bijv. CFG scale, noise level) cruciaal. Er is geen "one-size-fits-all" instelling; de optimale parameters variëren per scène en degradatietype.

Prestatie van IQA

• Bestaande IQA-methoden (zoals LPIPS, MUSIQ, CLIP-IQA) presteren slecht op deze dataset (SRCC ~0.16-0.40).
• Het door de auteurs getrainde model bereikt een veel hogere correlatie met menselijke beoordelingen (SRCC 0.662, PLCC 0.677) en kan specifieke fouten diagnosticeren.

5. Betekenis en Conclusie

Dit werk markeert een keerpunt in het veld van laag-niveau computerzicht (low-level vision). Het toont aan dat de focus moet verschuiven van het simpelweg "meer details genereren" naar het controleerbaar en semantisch correct genereren van details.

• Voor onderzoek: Het biedt een grondige basis voor het ontwikkelen van toekomstige modellen die beter kunnen balanceren tussen realisme en fideliteit.
• Voor evaluatie: Het introduceert een noodzakelijke, gedetailleerde evaluatiestandaard die verder gaat dan gemiddelde scores.
• Voor de toekomst: Het suggereert dat toekomstige systemen adaptieve mechanismen moeten hebben om de generatiesterkte automatisch aan te passen aan de semantische complexiteit van de scène, en dat er behoefte is aan agent-gebaseerde herstelsystemen die semantische consistentie garanderen.

Kortom, hoewel generatieve herstelmodellen visueel indrukwekkend zijn, zijn ze nog niet volledig betrouwbaar voor kritische toepassingen waar semantische nauwkeurigheid (zoals bij medische beelden, forensisch onderzoek of archiefherstel) essentieel is.