Museum-grounded auditing reveals systematic form failures in AI-generated Chinese lacquerware
Dit artikel introduceert een op musea gebaseerd auditingskader genaamd Cultural Hallucination om door AI gegenereerde Chinese lakwerkproducten te evalueren, waarbij wordt onthuld dat hoewel geautomatiseerde metrieken er niet in slagen systematische vormfouten te detecteren, menselijke beoordeling bevestigt dat er significante tegenstrijdigheden zijn met historisch bewijs, met name binnen specifieke objectfamilies zoals Qin-Han orenbekers.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de stille zalen van musea vertellen objecten verhalen die eeuwenlang hebben overleefd. Een lakbeker uit de Han-dynastie is niet zomaar een vat; het is een specifiek type object met een gedefinieerde vorm, een bekende geschiedenis en een reeks structurele kenmerken die experts gebruiken om het te identificeren. Tegenwoordig kan kunstmatige intelligentie afbeeldingen van deze oude schatten creëren, waardoor plaatjes ontstaan die er op het eerste gezicht prachtig en overtuigend uitzien. Echter, er is een nieuw soort probleem ontstaan. Hoewel deze door de computer gegenereerde afbeeldingen er realistisch uit kunnen zien, bevatten ze vaak subtiele historische fouten die standaard computercontroles missen. De technologie krijgt misschien de kleur of de algemene vorm goed, maar het faalt in het begrijpen van de specifieke regels die bepalen wat een echt artefact werkelijk is. Deze kloof tussen er echt uitzien en historisch accuraat zijn, is de centrale uitdaging waar onderzoekers nu proberen op te lossen, vooral naarmate musea en digitale archieven deze hulpmiddelen gaan gebruiken om cultuur met het publiek te delen.
Een team van onderzoekers zette zich af om te testen of kunstmatige intelligentie in staat was om accuraat afbeeldingen te genereren van Chinees lakwerk, een type versierd hout dat is gecoat met boomsap en dat al duizenden jaren wordt vervaardigd. Ze vroegen niet simpelweg of de plaatjes er mooi uitzagen; ze vroegen of de objecten op de plaatjes daadwerkelijk waren wat de computer beweerde dat ze waren. Hiervoor creëerden ze 540 afbeeldingen van lakwerk uit verschillende historische perioden, variërend van de oudheid tot de Qing-dynastie. Vervolgens onderwierpen ze deze afbeeldingen aan een rigoureuze audit, waarbij elke afbeelding werd vergeleken met echte museumarchieven en geverifieerd bewijs. Het doel was om "culturele hallucinaties" te vinden, een term die de onderzoekers gebruiken om te beschrijven wanneer een AI vol vertrouwen een object creëert dat in strijd is met de bekende feiten uit de geschiedenis.
De studie richtte zich op de fysieke vorm van de objecten. De onderzoekers stelden een duidelijke regel vast: als een opdracht vroeg om een specifiek type beker, moest de gegenereerde afbeelding de structurele kenmerken bevatten die die beker definiëren. Als de afbeelding een complete beker toonde maar een cruciaal onderdeel miste dat elk echt exemplaar van dat type bezit, werd dit als een fout gemarkeerd. Deze aanpak stelde hen in staat om eenvoudige artistieke fouten te onderscheiden van fundamentele fouten in de identiteit van het object. Ze ontdekten dat hoewel veel afbeeldingen consistent waren met de geschiedenis, een aanzienlijk aantal systematische fouten bevatte. In één specif으로 geval betreffende oorkruiken uit de Qin- en Han-perioden waren de resultaten opvallend. Van de 45 afbeeldingen die werden gegenereerd voor dit specifieke type beker, werden er 44 gemarkeerd als tegenstrijdig omdat ze de kenmerkende, sikkelvormige oren misten die het object definiëren. Sterker nog, toen de onderzoekers deze afbeeldingen herëvalueerden met een tweede expert, werd elke één van de 45 bevestigd als een fout. De AI had een vat gecreëerd dat op een beker leek, maar de essentie miste die het een oorkruik maakte.
Buiten deze specifieke fout onderzochten de onderzoekers of bepaalde instellingen of instructies die aan de AI werden gegeven, de kans op succes of falen zouden vergroten. Ze testten verschillende generatorconfiguraties, wat in feite verschillende versies van de software zijn, en ontdekten dat sommige versies veel beter waren in het vermijden van deze structurele fouten dan andere. Ze ontdekten echter ook dat het specifieke willekeurige getal dat werd gebruikt om het generatieproces te starten, geen betrouwbaar, voorspelbaar effect had op de uitkomst. Dit suggereert dat de fouten geen willekeurige glitches zijn, maar verbonden zijn aan hoe de software is gebouwd en geconfigureerd. De studie keek ook naar de vraag of geautomatiseerde computerprogramma's deze fouten zelfstandig konden opsporen. Ze kwamen tot de conclusie dat huidige geautomatiseerde tools niet sterk genoeg waren om menselijke experts te vervangen. Deze programma's konden slechts zwakjes raden welke afbeeldingen fout waren, en faalden vaak in het onderscheiden tussen een historisch accuraat object en een overtuigende vervalsing.
De onderzoekers concludeerden dat de grootste uitdaging bij het gebruik van AI voor cultureel erfgoed niet alleen is om dingen er goed uit te laten zien, maar om te waarborgen dat ze feitelijk juist zijn. Ze ontdekten dat terwijl harde fouten, zoals het missen van een definiërend structureel kenmerk, relatief gemakkelijk te spotten en te bevestigen zijn, de lijn tussen een afbeelding die "onduidelijk" is en een die "fout" is, vaak vaag is en afhangt van de persoon die ernaar kijkt. In hun studie ontdekten ze dat wanneer afbeeldingen moeilijk te zien waren of vanuit ambigue hoeken werden bekeken, verschillende experts vaak van mening verschilden over of ze een fout zouden markeren of simpelweg onbeoordeelbaar. Deze onzekerheid is een grote hindernis. De studie laat zien dat hoewel AI plausibele erfgoedbeelden kan produceren, het momenteel de diepe kennis van objectidentiteit mist die menselijke experts bezitten. De meest betrouwbare manier om nauwkeurigheid te garanderen, betogen de onderzoekers, is om musea en hun geverifieerde archieven centraal te stellen in het proces, waarbij zij als de ultieme standaard worden gebruikt waaraan elke gegenereerde afbeelding moet worden getoetst. Zonder deze verankering loopt de technologie het risico een wereld te creëren van prachtige maar historisch onjuiste artefacten.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.