Technische Samenvatting: ArtiFact: Een grootschalige multi-modale dataset voor cultureel erfgoed

Probleemstelling

Multi-modaal databeheer is een centraal onderzoeksfront geworden binnen de databasegemeenschap, wat onderwerpen zoals dataintegratie, semantische queryverwerking en datakwaliteitsbeoordeling omvat. Er bestaat echter een aanzienlijke kloof in de beschikbaarheid van grootschalige, real-world datasets die tabulaire, tekstuele en beeldgegevens gezamenlijk combineren. Terwijl bestaande benchmarks vaak ervan uitgaan dat metadata en afbeeldingen consistent zijn, bevatten echte collecties van cultureel erfgoed frequent ruisachtige annotaties, ambigue terminologie, ontbrekende informatie en historische inconsistenties. Bovendien laten bestaande grootschalige collecties (bijv. OmniArt, SemArt) de datakwaliteit en de correctheid van metadata vaak ongetoetst, en zijn benchmarks voor cross-modale foutdetectie grotendeels beperkt tot e-commerce of webdata, waarbij ze een gebrek aan representatie vertonen in het domein van cultureel erfgoed.

Methodologie

De auteurs introduceren ArtiFact, een dataset bestaande uit 651.045 museumrecords verzameld van drie grote instellingen: het Metropolitan Museum of Art (MET), het Art Institute of Chicago (AIC) en het Rijksmuseum. De generatie van de dataset omvat een uniforme preprocessing- en normalisatiepijplijn (ETL) die is ontworpen om heterogene metadatastandaarden te verwerken:

1. Dataverzameling: Records werden geoogst via REST API's, JSON-LD-bestanden en OAI-PMH-protocollen. Alleen records met publieke domein URL's voor afbeeldingen werden behouden.
2. Preprocessing & Normalisatie:
   • Regelgebaseerde Verwerking: Data werden gestandaardiseerd naar absolute grenzen (bijv. "late 18e eeuw" naar 1767–1800), eenheden werden omgezet naar metrisch (cm/g), en kunstenaars attributies werden gesplitst in gestructureerde velden (naam, rol, nationaliteit, data).
   • LLM-ondersteunde Parsing: Ongeveer 168.000 "moeilijke" rijen die faalden bij de regelgebaseerde parsing werden verwerkt met Google's Gemini 2.5 Flash Lite met Chain-of-Thought prompting om complexe materialen en technieken te structureren.
   • Schema Mapping: Data werd geconsolideerd in een uniform schema van 24 kolommen die identificatoren, temporele, fysieke, culturele/geografische en kunstenaarsattributen beslaat.
   • Deduplicatie: Categorische waarden (materialen, technieken) werden geëmbed met all-MiniLM-L6-v2 en geclassificeerd door een LLM om synoniemen en hiërarchische relaties te identificeren. Deduplicatie van kunstenaars werd geframed als entity matching op basis van vijf schone attributen.
3. Foutinjectie voor Evaluatie: Om onderzoek naar cross-modale foutdetectie te faciliteren, hebben de auteurs een taxonomie van zeven foutcategorieën (Fysiek, Cultuur, Temporeel, Identiteit, Geografisch, Ruimtelijk, Visueel) samengesteld en deze geïnjecteerd in 130.209 records. Deze fouten waren ontworpen om plausibel maar feitelijk onjuist te zijn, zoals het verwisselen van afbeeldingen van visueel gelijkaardige objecten, het verschuiven van temporele bereiken met eeuwen, of het verwisselen van geografische locaties tussen naburige landen.

Belangrijkste Bijdragen

Het artikel presenteert drie primaire bijdragen:

1. De ArtiFact Dataset: Een grootschalige multi-modale dataset van 651.045 objecten gekoppeld aan tabellen, afbeeldingen en tekst, beschikbaar als een open-source hulpbron.
2. Een Uniform Cleaning Pipeline: Een reproduceerbare pijplijn voor het parsen en normaliseren van heterogene museumdata met een combinatie van regelgebaseerde verwerking en LLM-ondersteunde semantische parsing.
3. Empirische Evaluatie: Een benchmark-evaluatie van de dataset op twee downstream-taken, die de bruikbaarheid ervan aantoont als testbed voor multi-modaal databeheeronderzoek.

Resultaten

De auteurs evalueerden de dataset met behulp van twee downstream-taken:

1. Cross-Modale Foutdetectie

Door Gemini 3 Flash als baseline te gebruiken op 4.000 monsters (200 per foutsubtype plus schone records), onthulde de studie een duidelijk moeilijkheidsgraad-spectrum:

• Hoge Prestaties: Visueel of semantisch opvallende fouten, zoals beeldwisselingen (gemakkelijk/medium/moeilijk), 10x schaalfouten en continent-niveau cultuurwisselingen, werden gedetecteerd met een hoge precisie en recall (F1-scores variërend van 0,89 tot 0,96).
• Lage Prestaties: Subtiele, domeinspecifieke inconsistenties bleven uitdagend. Materiaal-anachronismen (F1 0,58), aspectratio-wisselingen (F1 0,53) en temporele verschuivingen (F1 0,63) werden frequent gemist of verkeerd geclassificeerd.
• Observatie: Het systeem schreef fouten vaak verkeerd toe; bijvoorbeeld werden aspectratio-fouten soms gemarkeerd als kunstenaarsinconsistenties, en bepaalde temporele fouten werden als historisch plausibel beschouwd. Dit suggereert dat betrouwbare detectie diepe domeinkennis en multi-modale redenering vereist.

2. Semantische Queryverwerking

De auteurs testten semantische query-engines (LOTUS en Palimpzest) op vijf queries met betrekking tot culturele nabijheid, ambigue objecttypen en historische terminologie.

• Prestaties: F1-scores varieerden van 0,39 tot 0,85.
• Belangrijkste Uitdagingen:
  • Object Ambiguïteit: Historische vazen met figuratieve vormen veroorzaakten vals positieven.
  • Culturele Nabijheid: Systemen hadden moeite om Britse albastobjecten te onderscheiden van visueel gelijkaardige Nederlandse en Duitse artefacten.
  • Terminologie: Queries met betrekking tot specifieke technieken (bijv. albuminezilverdruk) werden vaak verward met ongerelateerde processen zoals verven of weven.
  • Historische Nuance: Systemen slaagden er niet in om historisch contingente materiaal- en techniekterminologie te resolveren of rekening te houden met de evolutie van de verschijning van objecten door de tijd en geografie heen.

Betekenis en Claims

Het artikel positioneert ArtiFact als een uitdagende benchmark voor onderzoek naar multi-modaal databeheer. De auteurs beweren dat hoewel huidige systemen visueel voor de hand liggende inconsistenties kunnen afhandelen, ze significant falen wanneer ze te maken krijgen met subtiele domeinspecifieke nuances die culturele en historische kennis vereisen.

De betekenis van het werk ligt in:

• Het adresseren van het tekort aan grootschalige, goed gecureerde multi-modale datasets in het domein van cultureel erfgoed.
• Het bieden van een realistisch testbed dat de beperkingen van huidige multi-modale modellen blootlegt bij het omgaan met ruisachtige, heterogene en historisch complexe data.
• Het benadrukken dat betrouwbare cross-modale foutdetectie en semantische queryverwerking in dit domein meer vereisen dan alleen statistische correlatie; het vereist de integratie van domeinexpertise om culturele biases en historische contingenties te hanteren.

De auteurs concluderen dat ArtiFact tot doel heeft verder onderzoek naar multi-modaal databeheer te stimuleren, met name gericht op de uitdagingen die worden geponeerd door culturele en historische biases in datakwaliteit en queryverwerking.