A Heritage-Aware Evaluation Framework for Synthetic Training Images of Kizil Grotto Murals
Dit artikel presenteert een erfgoedbewust evaluatiekader dat tien gewogen indicatoren op het gebied van semantiek, compositie, kleur en lijn gebruikt om gesynthetiseerde afbeeldingen van de Kizil-grottenmuurschilderingen gegenereerd door diverse AI-modellen te beoordelen en te screenen, waarbij uiteindelijk Midjourney wordt geïdentificeerd als de beste performer voor het creëren van hoogwaardige trainingsdatasets.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Diep in het dorre landschap van westelijk China liggen de Kizil-grotten, een uitgestrekt netwerk van grotten dat ooit diende als een vitale stop op de oude Zijderoute. Binnen deze grotten schilderden kunstenaars duizenden jaren geleden muurschilderingen die verhalen vertellen over het boeddhistische leven met behulp van een kenmerkende visuele taal. Deze schilderingen zijn niet alleen mooi; ze zijn historische verslagen van religieuze overtuiging, artistieke uitwisseling en de specifieke technieken die door oude ambachtslieden werden gebruikt. Echter, de tijd en de omgeving hebben een zware tol geëist. De pigmenten zijn vervaagd, het pleisterwerk is gebarsten en veel delen van de muren zijn afgebrokkeld, waardoor er gaten in het visuele narratief zijn ontstaan. Voor onderzoekers die deze kunstwerken willen bestuderen of computers willen gebruiken om ze te helpen restaureren, creëert deze schade een serieus probleem: er zijn simpelweg niet genoeg heldere, volledige afbeeldingen om een computer te leren hoe hij de patronen, kleuren en verhalen van de Kizil-stijl kan herkennen.
Om dit tekort op te lossen, hebben wetenschappers zich tot kunstmatige intelligentie gewend, specif으로 een type technologie dat bekend staat als generatieve modellen. Dit zijn computerprogramma's die in staat zijn om nieuwe afbeeldingen vanaf nul te creëren op basis van tekstbeschrijvingen of voorbeelden. In theorie zouden deze tools duizenden nieuwe afbeeldingen kunnen genereren die lijken op Kizil-muurschilderingen, wat de enorme hoeveelheid gegevens biedt die nodig is om restauratiesoftware te trainen. Maar er is een addertje onder het gras. Alleen omdat een computer een afbeelding kan maken die op een schildering lijkt, betekent dat nog niet dat het een goede schildering is. Een kunstmatige afbeelding kan de kleuren goed krijgen, maar het verhaal vervormen, of het kan de algemene vorm van een figuur vastleggen maar de specifieke culturele symbolen missen die de kunst haar betekenis geven. Als onderzoekers deze gebrekkige afbeeldingen in hun trainingsprogramma's voeden, kan de computer de verkeerde lessen leren, wat toekomstige restauratiepogingen potentieel kan ruïneren. De uitdaging is dan niet alleen het maken van meer afbeeldingen, maar het uitzoeken welke ervan trouw zijn aan het erfgoed en welke slechts digitale ruis zijn.
Een team van onderzoekers van de Beijing University of Posts and Telecommunications en het Kizil Caves Research Institute zette zich af om precies dit probleem op te lossen. Ze ontwikkelden een nieuwe manier om synthetische afbeeldingen specifiek voor de Kizil-grotschilderingen te evalueren, een raamwerk dat fungeert als een strikte kwaliteitscontrole. In plaats van een computer simpelweg te vragen of een afbeelding er "goed" uitziet, braken ze de unieke kenmerken van de Kizil-kunst af in vier specifieke gebieden: het verhaal dat wordt verteld, de compositie van de afbeelding, de gebruikte kleuren en de lijnen die de vormen definiëren. Ze kenden vervolgens een specifieke belangrijkheid toe aan elk van deze gebieden, waarbij ze besloten dat het juist krijgen van het verhaal en de culturele betekenis de meest cruciale factor was, gevolgd door de compositie van de afbeelding, de nauwkeurigheid van de kleuren en tot slot de gladheid van de lijnen.
Om hun systeem te testen, begonnen de onderzoekers met een zorgvuldig voorbereide set echte afbeeldingen. Ze namen 1.479 foto's van Grot 38, een specifieke kamer in de grotten die bekend staat om haar rijke en relatief complete muurschilderingen. Vanuit deze foto's herstelden ze handmatig 94 afbeeldingen om de visuele ruis van barsten en vervaging te verwijderen, en selecteerden ze vervolgens de 24 beste als de "gouden standaard" voor het experiment. Deze 24 afbeeldingen bevatten niet-menselijke onderwerpen zoals dieren, planten en decoratieve objecten, gekozen om de complexe moeilijkheden van het genereren van menselijke gezichten te vermijden. Met behulp van deze 24 referentieafbeeldingen vroegen ze vier verschillende populaire kunstmatige intelligentiesystemen — Stable Diffusion, Midjourney, DALL·E 3 en Kandinsky — om nieuwe afbeeldingen te genereren. Ze gaven elk systeem dezelfde instructies, waarbij ze vroegen om afbeeldingen te maken in de stijl van Kizil-muurschilderingen met specifieke motieven en kleuren. In totaal produceerden de systemen meer dan 10.000 kandidaat-afbeeldingen voor het team om te evalueren.
De resultaten van dit massale screeningsproces onthulden dat niet alle kunstmatige intelligentie gelijk is als het gaat om cultureel erfgoed. De onderzoekers ontdekten dat één systeem, Midjourney, de hoogste algehele kwaliteit produceerde, waarbij het het beste scoorde op de gecombineerde schaal van verhaal, compositie, kleur en lijn. Echter, de studie toonde aan dat geen enkel systeem perfect was in alles. Terwijl Midjourney uitblonk in het vastleggen van de juiste verhalen en het centraal houden van de belangrijkste onderwerpen, was een ander systeem, DALL·E 3, beter in het behouden van de textuur en de oppervlaktedetails van de originele schilderingen. Een derde systeem, Stable Diffusion, was bijzonder goed in het matchen van de specifieke tinten rood en blauw die in de oude muurschilderingen te vinden zijn, terwijl het vierde systeem, Kandinsky, het meest moeite had met de algemene culturele nauwkeurigheid. Het team ontdekte dat een hoge score in één gebied soms een falen in een ander gebied kon verbergen; bijvoorbeeld, een afbeelding kon er visueel indrukwekkend uitzien maar er niet in slagen het juiste verhaal te vertellen, waardoor het onbruikbaar is voor het trainen van een restauratiemodel.
De onderzoekers concludeerden dat hun nieuwe raamwerk er succesvol in is geslaagd om het kaf van het koren te scheiden, door te identificeren welke synthetische afbeeldingen veilig zijn om computers voor te trainen en welke verworpen moeten worden. Ze ontdekten dat de belangrijkste factor voor deze oude muurschilderingen semantische consistentie was — het waarborgen dat de gegenereerde afbeelding daadwerkelijk de juiste culturele symbolen en verhaalonderdelen afbeeldt. Zonder dit is zelfs een prachtige afbeelding misleidend. De studie beweert niet het probleem van digitaal erfgoed voor altijd te hebben opgelost, noch verklaart zij één kunstmatig intelligentietool als de ultieme winnaar voor alle toekomstige taken. In plaats daarvan biedt het een praktische, gestructureerde methode voor curatoren en wetenschappers om duizenden gegenereerde afbeeldingen te screenen, om er zeker van te zijn dat de digitale instrumenten die worden gebruikt om deze oude schatten te beschermen, worden getraind op gegevens die de integriteit van de oorspronkelijke kunst respecteren. Door de vervormingen en afwijkingen weg te filteren die kunstmatige intelligentie vaak introduceert, helpt dit raamwerk ervoor te zorgen dat de digitale toekomst van de Kizil-grotten getrouw blijft aan hun verleden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.