Visually similar prints expose a benchmark validity gap in computational art history
Dit artikel toont aan dat benchmarks voor visuele retrieval in de computationele kunstgeschiedenis vaak misleidend hoge nauwkeurigheid opleveren door historisch onderscheidbare maar visueel gelijkaardige drukexemplaren weg te laten, waardoor een kritiek validiteitsgat wordt onthuld dat kandidatenpools noodzakelijk maakt die verwarrende alternatieven bevatten om onderscheid te maken tussen loutere ontwerpherhaling en authentieke historische relaties.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In de uitgestrekte, gedigitaliseerde archieven van de wereldwijde musea is een nieuw soort zoekopdracht ontstaan. In plaats van woorden te typen, kunnen wetenschappers en het publiek nu een afbeelding uploaden om andere te vinden die er op lijken. Deze technologie, bekend als visuele retrieval, is een krachtig hulpmiddel geworden om verspreide kunststukken met elkaar te verbinden, te traceren hoe een enkel ontwerp door de eeuwen heen reisde, en de visuele geschiedenis van culturen te reconstrueren. Het werkt door de pixels van digitale foto's te vergelijken, waarbij gezocht wordt naar patronen in lijnen, vormen en kleuren die suggereren dat twee afbeeldingen aan elkaar verwant zijn. Voor veel soorten kunst werkt dit prachtig. Echter, een specifiek en hardnekkig probleem doet zich voor wanneer de objecten in kwestie prenten zijn—afbeeldingen die gemaakt zijn door inkt van een gesneden blok op papier te drukken. Een enkel ontwerp kan in vele verschillende vormen bestaan: een originele afdruk van een vers blok, een latere afdruk van een versleten blok, een kopie gemaakt door een andere kunstenaar, of een reproductie. Voor een computer zien deze verschillende versies er vaak bijna identiek uit. Voor een historicus vertellen ze echter volkomen verschillende verhalen over wie ze maakten, wanneer, en hoe. De centrale vraag wordt of een computerzoekopdracht die een visueel gelijkaardige afbeelding vindt, daadwerkelijk het juiste historische object vindt, of slechts een overtuigende look-alike.
Een recente studie door Jiongming Fang van de Communication University of Zhejiang onderzoekt precies deze kloof tussen wat een computer ziet en wat een historicus weet. Het onderzoek richt zich op een collectie houtsneden van het Metropolitan Museum of Art in New York. De onderzoekers wilden testen of standaard computerzoektools het verschil kunnen zien tussen een originele prent en een kopie die in de museumarchieven expliciet als zodanig is gelabeld. Ze stelden een gecontroleerd experiment op met 39 specifieke records uit de database van het museum. In de eerste fase vroegen ze de computer om een bijpassend ontwerp te vinden binnen een groep kandidaten die de correcte originele prent bevat, maar waarin zij bewust veel andere prenten met verschillende ontwerpen opnamen en de bekende kopie udelaten. In dit scenario presteerde de computer perfect. Gebruikmakend van standaardmethoden om de afbeeldingen te vergelijken, identificeerde het systeem de beoogde originele prent telkens als de juiste match in 240 verschillende testqueries. De computer loste in feite een puzzel op waarbij het foute antwoord niet eens aanwezig was.
De onderzoekers veranderden het experiment vervolgens om te zien wat er zou gebeuren als de computer gedwongen werd te kiezen tussen het origineel en de kopie. Ze voegden de ene bekende kopie toe aan de groep kandidaten, waardoor een nieuwe groep ontstond waar de computer moest beslissen tussen twee afbeeldingen die hetzelfde ontwerp deelden, maar een verschillende historische identiteit hadden. De resultaten veranderden drastisch. Toen de kopie aanwezig was, werd het perfecte record van de computer doorbroken. Afhankelijk van de specifieke methode die werd gebruikt om de afbeeldingen te vergelijken, identificeerde het systeem de originele prent alleen 187, 177 of 237 keer correct als de beste match uit de 240 queries. In de resterende gevallen koos de computer de kopie in plaats daarvan en rangschikte deze als de beste match. In sommige gevallen werd de kopie de unieke topresultaat, waardoor de beoogde originele prent volledig werd verdrongen. Dit gebeurde zelfs terwijl de computer dezelfde afbeeldingen en dezelfde wiskundige regels gebruikte als voorheen. Het enige wat veranderde, was de aanwezigheid van een historisch verschillend object dat er visueel zeer gelijkaardig uitzag.
De studie testte ook een voorzichtiger systeem dat ontworpen is om toe te geven wanneer het onzeker is. Dit systeem was geprogrammeerd om pas een definitieve beslissing te nemen als twee verschillende vergelijkingsmethoden op hetzelfde antwoord uitkwamen; anders zou het stoppen en om hulp vragen aan een mens. Zelfs deze zorgvuldige aanpak slaagde er niet in om elke fout te vangen. Het accepteerde de kopie als het juiste antwoord in twee aparte gevallen, wat bewees dat het louter hebben van een vangnet niet genoeg is om historische nauwkeurigheid te garanderen wanneer het visuele bewijs ambigu is. De onderzoekers kwamen tot de conclusie dat het probleem niet was dat de computer slecht was in het herkennen van het ontwerp; het was juist uitstekend in dat. Het probleem was dat de test zelf gebrekkig was, omdat het niet de moeilijke alternatieven bevatte die een echte historicus zou moeten overwegen. Een benchmark die een computer alleen vraagt om een ontwerp te vinden tussen ongerelateerde afbeeldingen, zal altijd een hoog succespercentage laten zien, maar dat succespercentage zegt ons niets over de vraag of de computer het verschil kan zien tussen een origineel en een kopie.
Het artikel concludeert dat de manier waarop we deze systemen testen, moet veranderen. De geldigheid van een zoektool hangt af van wat het systeem tijdens de test mag zien. Als een systeem alleen wordt getest op gemakkelijke voorbeelden waarbij de foute antwoorden totaal niet op het juiste antwoord lijken, is het hoge scorecijfer misleidend. Om echt te begrijpen of een tool nuttig is voor de kunstgeschiedenis, moet de test "relatie-verwarrende" kandidaten bevatten—objecten die op elkaar lijken maar een andere geschiedenis hebben. De auteur stelt een nieuwe manier voor om digitaal onderzoek te organiseren, waarbij drie duidelijke stappen worden gescheiden: het vinden van visueel gelijkaardige afbeeldingen, testen of het systeem met verwarrende alternatieven om kan gaan, en tot slot het maken van een historisch oordeel op basis van documentaire bewijslast. Deze benadering probeert de rol van de kunsthistoricus niet te automatiseren. In plaats daarvan creëert het een duidelijke grens waar de computer kan zeggen "deze zien er hetzelfde uit", en de menselijke expert vervolgens kan beslissen "maar dit is een kopie". Door de beperkingen van de zoekopdracht zichtbaar te maken en het systeem te testen tegen de werkelijke complexiteit van de kunstgeschiedenis, kunnen onderzoekers tools bouwen die eerlijk zijn over wat ze wel en wat ze niet weten. De studie laat zien dat voor digitale erfgoed werkelijk betrouwbaar te zijn, we moeten stoppen met beweren dat visuele gelijkenis hetzelfde is als historische waarheid.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.