Hierarchical Reinforcement Learning-Based Adaptive Denoising and Reversible Color Restoration Method for Complex Degraded Murals

Muurschilderingen zijn meer dan alleen schilderijen op een muur; het zijn kwetsbare verslagen van de menselijke geschiedenis, die vaak kleven aan oude grotwanden of afbrokkelend pleisterwerk. In tegenstelling tot een canvas in een museum, hebben deze kunstwerken eeuwenlang blootgestaan aan de elementen en hebben ze te maken gekregen met een unieke en chaotische mix van schade. Ze zijn niet louter vervaagd of vuil; ze zijn vaak bedekt met een complexe gelaagdheid van ruis, barsten, vlekken en afbladderend pigment, waarbij de textuur van de verf zelf is begonnen te verzwakken. Het restaureren ervan is een delicaat evenwichtsproces. Als een restaurator te agressief schoonmaakt, kunnen ze de fijne lijnen van een penseelstreek of de subtiele geschiedenis van veroudering uitwissen. Als ze te voorzichtig zijn, blijft het beeld onduidelijk. Het doel is om de oorspronkelijke kunst te onthullen zonder nieuwe details te verzinnen of wat er overblijft permanent te veranderen, een proces dat een diep begrip vereist van waar men moet aanraken en hoe hard men moet drukken.

Jarenlang hebben computerwetenschappers geprobeerd dit delicate werk te automatiseren met behulp van kunstmatige intelligentie. Vroege pogingen behandelden de gehele afbeelding op dezelfde manier, door één set regels toe te passen om het hele plaatje in één keer op te schonen. Deze aanpak werkt goed voor eenvoudige foto's, maar faalt bij muurschilderingen omdat de schade zelden uniform is. Een gezicht kan gebarsten zijn, terwijl de achtergrond slechts stoffig is, of een heldere plek met ruis kan precies lijken op een decoratief patroon. Het toepassen van een zware reinigingsfilter op de hele afbeelding kan de barsten weliswa matter maken, maar vervaagt ook het gezicht, waardoor de details die er het meest toe doen, verloren gaan. De uitdaging is daarom geweest om een systeem te creëren dat naar een muurschildering kan kijken, kan beslissen welk specifiek deel hulp nodig heeft, en de meest voorzichtige, meest geschikte tool voor die specifieke plek kan kiezen, terwijl het ervoor zorgt dat de wijzigingen traceerbaar en omkeerbaar zijn indien nodig.

In een recente studie stelden onderzoekers een nieuwe manier voor om dit probleem aan te pakken door een computer te leren beslissingen te nemen in stappen, net zoals een menselijke restaurator dat zou doen. In plaats van de computer te dwingen de hele afbeelding in één keer te herstellen, braken ze de taak af in twee niveaus van denken. Het eerste niveau fungeert als een supervisor die de hele muurschildering scant om te beslissen welk gebied eerst aandacht nodig heeft. Het kijkt naar de schade en vraagt: "Is dit een gezicht dat zorgvuldige behandeling vereist, of een achtergrond die agressiever schoongemaakt kan worden?" Zodra een regio is geselecteerd, neemt een tweede, meer gespecialiseerd niveau het over. Dit lagere niveau beslist precies hoe dat specifieke punt gerepareerd moet worden, waarbij het kiest uit een menu van acties zoals het verwijderen van ruis, het aanpassen van kleur of het behouden van textuur. Cruciaal is dat het systeem ontworpen is om omkeerbaar te zijn, wat betekent dat het een verslag bijhoudt van elke wijziging, zodat de oorspronkelijke staat kan worden hersteld als de restauratie te ver gaat.

De onderzoekers testten dit tweeniveausysteem op duizenden afbeeldingen, waaronder gesimuleerde muurschilderingen met zware schade en praktijkvoorbeelden van oude locaties. Ze vergeleken hun methode met andere krachtige computerprogramma's die proberen afbeeldingen te herstellen. De resultaten lieten zien dat hun aanpak, die ze een hiërarchisch reinforcement learning-framework noemen, duidelijkere en nauwkeurigere resultaten produceerde dan de andere. In tests verbeterde de nieuwe methode de helderheid van de afbeeldingen aanzienlijk, waarbij de visuele ruis verminderde terwijl de scherpe randen van het kunstwerk intact bleven. Belangrijker nog, het maakte minder fouten met kleur. Terwijl andere methoden de kleuren vaak te veel verschoven, waardoor ze er te fel of onnatuurlijk uitzagen, hield dit systeem de kleuren veel dichter bij wat ze zouden moeten zijn, waardoor de gemiddelde kleurfout met bijna dertig procent werd verminderd.

De studie onthulde ook dat de manier waarop de computer beslissingen neemt net zo belangrijk is als het uiteindelijke beeld dat het produceert. Wanneer de onderzoekers het "supervisor"-niveau verwijderden en de computer probeerden de hele afbeelding in één keer te herstellen, daalde de kwaliteit merkbaar. Het systeem werd minder goed in staat om onderscheid te maken tussen schade en belangrijke artistieke details. Op dezelfde manier, wanneer ze de mogelijkheid om wijzigingen terug te draaien verwijderden, werd de computer agressiever en corrigeerde hij kleuren vaak te sterk, waarbij de subtiele textuur van de verf verloren ging. Deze bevindingen suggereren dat het stapsgewijze besluitvormingsproces essentieel is voor het omgaan met de rommelige, ongelijke realiteit van beschadigde kunst. De computer leert geduldig te zijn, zich op één gebied te concentreren en te stoppen wanneer hij merkt dat een regio stabiel is, in plaats van een uniforme fix over het hele oppervlak af te dwingen.

Naast het simpelweg goed krijgen van de cijfers, biedt het systeem een manier om de stijl van de restauratie te controleren op basis van het beoogde gebruik. De onderzoekers toonden aan dat hetzelfde instrument kan worden afgestemd voor verschillende doeleinden. Als het doel strikte historische documentatie is, kan het systeem worden ingesteld om zeer weinig wijzigingen aan te brengen, waardoor de huidige staat van de muurschildering wordt bewaard, zelfs als deze er wat vervaagd uitziet. Als het doel een publieke tentoonstelling is, kan het systeem worden aangepast om de kleuren levendiger en de details scherper te maken, zodat kijkers de kunst duidelijker kunnen zien. Deze flexibiliteit betekent dat digitale restauratie geen "one-size-fits-all"-proces hoeft te zijn. Het kan een gecontroleerde, transparante operatie zijn waarbij conservatoren beslissen hoeveel interventie gepast is, wetende dat de digitale versie altijd teruggedraaid kan worden naar een veiligere staat.

De studie werd uitgevoerd met behulp van een grote collectie afbeeldingen, waaronder duizenden schilderijen die de computer leerden hoe kunst eruitziet, en honderden specifieke afbeeldingen van muurschilderingen die kunstmatig beschadigd waren om de grenzen van het systeem te testen. Hoewel de resultaten veelbelovend zijn, merken de onderzoekers op dat de huidige tests simulaties waren. De cijfers en visuele vergelijkingen werden gegenereerd door het programma op deze gecontroleerde datasets te draaien, wat nauwkeurige meting mogelijk maakt, maar nog niet bewijst hoe het systeem zal presteren op een echte, eeuwenoude wand in een grot. De auteur suggereert dat de volgende stap is om de methode te testen op werkelijke erfgoedlocaties en om menselijke experts te betrekken om de resultaten te beoordelen. Tot die tijd staat het werk als een sterke demonstratie dat het geven van een gestructureerde manier van denken over restauratie aan computers — beslissen waar te handelen en hoe te handelen — kan leiden tot een betere, veiligere en meer respectvolle bewaring van onze gedeelde geschiedenis.