MDTD-ArtIR: Benchmarking Image Editing and Restoration Models for Art Image Restoration under Texture-Overlay Degradations

Stel je voor dat je een kunstrestaurator bent, maar in plaats van een stoffig penseel en een palet met verf, heb je een superintelligent computerprogramma. Jouw taak is om oude, beschadigde schilderijen te herstellen—misschien een die gebarsten is als een droge rivierbedding, een andere die bevlekt is met mysterieuze gele vlekken, of een derde waar een stuk van het canvas simpelweg is verdwenen. Dit is de wereld van AI-gestuurde kunstrestauratie, een veld waar computers proberen te raden hoe een meesterwerk eruitzag voordat de tijd en ongelukken het verpestten. Maar hier komt het lastige gedeelte bij: de computer moet niet alleen de lege plekken opvullen; hij moet dat doen zonder wilde, nepdetails te verzinnen die nooit hebben bestaan. Het is alsof je probeert het einde van iemands verhaal af te maken wanneer diegene halverwege stopt met praten; je wilt de afloop raden die past bij hun stijl, niet een draak verzinnen als ze een mysterie aan het schrijven waren.

Om te testen of deze computerprogramma's echt goed zijn in dit werk, geven wetenschappers ze meestal oefenopgaven. Maar de meeste van deze oefenopgaven zijn te makkelijk of te nep. Ze vragen de computer bijvoorbeeld om een wazige foto te herstellen of een paar regendruppels te verwijderen, wat is als het oefenen op een licht beslagen raam voordat je probeert een gebroken glas-in-loodraam te repareren. Echte kunstbeschadiging is rommelig, vreemd en verbergt vaak delen van het beeld achter lagen vuil of barsten. De grote vraag die onderzoekers stellen is: kunnen onze beste AI-tools dit rommelige, echte wereld-schade aan kunnen zonder de ziel van het kunstwerk te verliezen?

---

De Grote Kunstroof: Wanneer AI een Schilderij Probeert te Herstellen

Maak kennis met het MDTD-Art-team, een groep onderzoekers van Durham University die besloot een nieuwe, super uitdagende trainingsgrond te bouwen voor AI-kunstrestaurateurs. Ze realiseerden zich dat de oude oefentests leken op "Simon Says" spelen met een kapende plaat als instructie—de instructies waren te simpel en de schade te voorspelbaar. Dus bedachten ze een nieuw spel genaamd MDTD-ArtIR.

Beschouw hun nieuwe dataset als een "schade-simulator". In plaats van alleen een plaatje wazig te maken, namen ze prachtige, schone schilderijen en legden daar 47 verschillende soorten vreemde texturen overheen—zoals gebarsten modder, gespatte verf of poreuze sponzen. Maar ze plakten deze texturen er niet zoma van op; ze speelden met een "transparantieknoop". Ze konden de schade zwak maken (lage opaciteit), zoals een lichte laag bloem, of dik en zwaar maken (hoge opaciteit), zoals het over een schilderij gieten van een emmer modder. Dit creëerde een spectrum van moeilijkheidsgraad, van "makkelijk pe easy" tot "veel succes, je hebt een wonder nodig."

De Wedstrijd: Gespecialiseerde Monteurs versus Creatieve Verhalenvertellers

De onderzoekers zetten een confrontatie op tussen twee soorten AI-modellen:

1. De Gespecialiseerde Monteurs (Universele beeldherstelmodellen): Dit zijn de "fix-it" bots. Ze zijn specifiek getraind om krassen, ruis of onscherpte te verwijderen. Ze zijn als een meesterhorlogemaker die precies weet hoe hij een kapot tandwiel moet repareren.
2. De Creatieve Verhalenvertellers (Beeldbewerkingsmodellen): Dit zijn de "maak-het-maar-op" bots. Ze worden meestal gebruikt om een foto te veranderen (zoals een hond in een kat veranderen of een hoed toevoegen). Ze zijn als een creatieve schrijver die een hele nieuwe scène kan improviseren op basis van een paar aanwijzingen.

Het team wilde zien wie de schilderijen beter kon herstellen wanneer de schade groot was en de aanwijzingen schaars. Ze testten deze modellen met behulp van twee verschillende "instructiehandleidingen" (prompts):

• De Simpele Prompt: Zegde alleen, "Fix dit."
• De Expert Prompt: Zegde, "Je bent een deskundige restaurateur. De maskering is schade, geen kunst. Verwijder het en bouw de originele scène weer op."

De Grote Verrassing: De Verhalenvertellers Wonnen (Vooral)

Hier is de wending die het paper ontdekte: De Creatieve Verhalenvertellers (Beeldbewerkingsmodellen) presteerden over het algemeen beter dan de Gespecialiseerde Monteurs.

Wanneer de schade licht was (lage opaciteit), deed iedereen het prima. Maar naarmate de "modder" dikker werd (hoge opaciteit), begonnen de Gespecialiseerde Monteurs moeite te krijgen. Ze lieten de schade vaak staan of probeerden het te herstellen op een manier die stijf en onnatuurlijk oogde. Ze waren te veel gefocust op de "regels" van het repareren en hadden niet genoeg verbeelding om te raden wat eronder zat.

De Creatieve Verhalenvertellers waren echter veel beter in het raden van de ontbrekende delen. Wanneer de onderzoekers hen de Expert Prompt gaven (de prompt die de taak duidelijk uitlegde), werden deze modellen zelfs nog beter. Bijvoorbeeld, het Nano Banana (NB) Pro model sprong van een score van 9,63 dB naar 11,87 dB in beeldkwaliteit wanneer het de expertinstructies kreeg bij een hoge opaciteit. Het Flux 2 model zag een vergelijkbare sprong, van 8,57 dB naar 11,01 dB. Het is alsof de verhalenverteller plotseling begreep wat de opdracht was: "Oh, ik moet niet over de modder heen schilderen; ik moet me voorstellen wat eronder zat!"

De Addertjes onder het Gras: Wanneer Verbeelding Te Ver Gaat

Maar er is een addertje onder het gras. Omdat deze "Verhalenverteller"-modellen zo goed zijn in het verzinnen van dingen, worden ze soms te creatief. In de ergste gevallen hebben ze de schilderijen niet alleen gerepareerd; ze hebben het verhaal volledig veranderd.

Het paper toont enkele grappige (maar droevige) voorbeelden waarbij de AI naar een gebarsten gezicht keek en besloot: "Ik denk dat deze persoon een andere neus moet hebben," of naar een landschap keek en besloot een berg toe te voegen die er niet was. Dit wordt "hallucinatie" genoemd. Het FireRed model, dat vooral getraind is op gezichten, raakte zo in de war door gezichtsvormige barsten dat het het hele beeld "kaapte" en het hele schilderij in een vreemd, wazig gezicht veranderde. De GPT Image 1.5 en NB Pro modellen waren het best in het bewaren van de originele identiteit, maar zelfs zij veranderden soms de kleuren of de vorm van het plaatje een klein beetje.

Het Eindoordeel: Helderheid is de Sleutel

De belangrijkste les van dit paper is dat voor het herstellen van echt beschadigde kunst, hoe je de vraag stelt belangrijker is dan het gereedschap dat je gebruikt.

• Gespecialiseerde tools (zoals AutoDIR) zijn geweldig in het veilig houden van het originele plaatje, maar falen vaak in het verwijderen van zware, vreemde texturen.
• Creatieve tools (zoals NB Pro en Flux) zijn geweldig in het raden van de ontbrekende delen, maar ze hebben duidelijke instructies nodig om te voorkomen dat ze nepdetails verzinnen.
• De "Expert Prompt" is het geheime ingrediënt. Wanneer de AI duidelijk verteld wordt, "Dit is schade, geen kunst," presteert het veel beter, vooral wanneer de schade groot is.

De auteurs suggereren dat hoewel deze creatieve modellen krachtig zijn, ze nog niet perfect zijn. Ze kunnen nog steeds in de war raken en de identiteit van het kunstwerk veranderen. Maar door de juiste instructies te gebruiken en te begrijpen dat deze modellen beter zijn in het "raden van het verhaal" dan in het "repareren van de tandwielen", kunnen we dichter bij het herstellen van onze kostbare kunst komen zonder de ziel ervan te verliezen. Het is een herinnering dat het in de wereld van AI soms de beste manier is om een kapot plaatje te herstellen, door de computer te vragen te verbeelden hoe het zou moeten zijn, in plaats van hem alleen maar te vertellen hoe hij de gaten moet dichten.