Sampling variability ranks reconstruction error in lacquerware image inpainting across models and collections
Deze studie toont aan dat de variabiliteit in bemonstering over meerdere generatieve inpainting-reconstructies dient als een sterke voorspeller voor de reconstructiefout in lakwerkbeelden, wat het mogelijk maakt om outputs voor menselijke beoordeling te prioriteren ondanks het onvermogen om historische authenticiteit te garanderen of fouten volledig te elimineren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Museumfoto's dienen als de primaire registratie voor delicate objecten zoals lakwerk, waarbij ze de glans van een oppervlak of de verfijning van een geschilderd motief vastleggen. Toch is een foto slechts een plat beeld; het kan de lagen materiaal onder de verf of de werkelijke staat van het object niet onthullen als delen ervan ontbreken. Wanneer conservatoren of historici moeten voorstellen hoe een beschadigd stuk eruit had kunnen zien, wenden zij zich soms tot kunstmatige intelligentie. Deze computerprogramma's kunnen ontbrekende gebieden in een foto invullen, waardoor een compleet beeld ontstaat dat voor het menselijk oog overtuigend oogt. Een overtuigend beeld is echter niet noodzakelijkerwijs een correct beeld. De computer kan een patroon verzinnen dat nooit heeft bestaan of een barst gladstrijken die zichtbaar zou moeten blijven. De centrale uitdaging voor digitaal erfgoed is niet alleen het maken van een mooi plaatje, maar weten wanneer dat plaatje waarschijnlijk onjuist is. Als een computer een restauratie genereert, hoe kan een menselijke expert dan bepalen of hij het moet vertrouwen of beter kan kijken?
Een team van onderzoekers zette zich in om deze vraag te beantwoorden door een specifieke idee te testen: als een computer verschillende versies van hetzelfde ontbrekende stuk genereert, kan de mate van onenigheid tussen die versies een signaal geven over hoe nauwkeurig het resultaat is. Ze richtten zich op lakwerk, een type gedecoreerd hout of metaal bedekt met een harde, glanzende afwerking, gebruikmakend van een collectie foto's uit grote musea. De onderzoekers namen intacte foto's van deze objecten en bedekten digitaal kleine, middelgrote en grote secties van deze, waarbij ze schade simuleerden. Vervolgens vroegen ze aan twee verschillende modellen voor kunstmatige intelligentie om de schade te "genezen" door vier verschillende mogelijke aanvullingen voor elk ontbrekend deel te genereren. De sleutel tot hun methode was een eenvoudige vergelijking. Ze keken naar de eerste drie gegenereerde afbeeldingen om te zien hoeveel ze van elkaar verschilden in het ontbrekende gebied. Als de drie afbeeldingen erg op elkaar leken, was de computer zelfverzekerd. Als ze er erg van verschilden, was de computer onzeker. Ze controleerden dit "onzekerheidsscore" vervolgens tegen de vierde afbeelding, die ze verborgen hadden gehouden, om te zien of de score daadwerkelijk voorspelde hoe ver de computer afweek van de originele, intacte foto.
De resultaten toonden een duidelijk patroon. Wanneer de drie gegenereerde afbeeldingen aanzienlijk van mening verschilden, was de vierde afbeelding meestal behoorlijk verschillend van de originele foto, wat betekende dat de reconstructie een grote fout bevatte. Omgekeerd, wanneer de drie afbeeldingen nauw met elkaar overeenkwamen, lag de vierde afbeelding veel dichter bij de waarheid. In de groep van 64 originele objecten vonden de onderzoekers dat deze onenigheid een sterke voorspeller van fouten was. Door deze methode te gebruiken, konden ze de objecten sorteren en ervoor kiezen om alleen de objecten te inspecteren waarvan de computer het meest zelfverzekerd leek. Als ze alleen naar de 40 procent van de objecten keken met de laagste mate van onenigheid, daalde de gemiddelde fout in die geselecteerde afbeeldingen drastisch vergeleken met het bekijken van alle afbeeldingen op willekeurige wijze. Dit betekende niet dat de computer betere plaatjes maakte op zichzelf; de afbeeldingen waren exact hetzelfde. In plaats daarvan fungeerde de methode als een filter, die mensen hielp beslissen welke afbeeldingen de moeite van hun tijd waard waren en welke waarschijnlijk misleidend waren.
Deze aanpak hield stand toen de onderzoekers het testten op een volledig nieuwe set van 40 objecten uit verschillende musea, gebruikmakend van een andere versie van het kunstmatige intelligentiemodel. De link tussen onenigheid en fout bleef sterk, wat suggereert dat de methode niet slechts een toevalstreffer is van één specifieke dataset. De studie onthulde echter ook belangrijke beperkingen. De computer was veel beter in het reconstrueren van eenvoudige, vlakke oppervlakken dan in het omgaan met complexe, gedecoreerde gebieden. Omdat de methode van nature de voorkeur gaf aan de eenvoudigere objecten, zou een strikte toepassing van het filter de meeste van de gedecoreerde stukken hebben uitgesloten, die vaak de meest cultureel significante zijn. Bovendien kon de methode weliswaar pixel-niveau fouten voorspellen, maar kon het niet bepalen of een reconstructie historisch accuraat of geschikt was voor daadwerkelijk conserveringswerk. De computer kan het eens zijn over een foutief patroon, of een plausibel maar historisch onmogelijk ontwerp genereren.
De onderzoekers vergeleken hun methode ook met eenvoudigere manieren om de moeilijkheidsgraad van een afbeelding te beoordelen, zoals het meten van het aantal randen of de hoeveelheid textuur in het ontbrekende gebied. In de initiële groep objecten presteerde hun onenigheidsmethode iets beter, maar het voordeel was klein en niet altijd consistent. In de externe groep museumobjecten vertoonde de onenigheidsmethode een duidelelijker voordeel ten opzichte van deze eenvoudigere controles. De studie concludeerde dat hoewel deze techniek het probleem van historische authenticiteit niet oplost, het een praktisch hulpmiddel biedt voor musea. Het biedt een reproduceerbaar signaal dat kan helpen bij het prioriteren van welke digitale restauraties menselijke beoordeling vereisen. Door de afbeeldingen te markeren waar de computer onzeker over is, stelt het experts in staat om hun aandacht te richten waar die het meest nodig is, waardoor wordt gewaarborgd dat de inspanning om digitaal erfgoed te verifiëren wordt besteed aan de meest onzekere en potentieel problematische gevallen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.