Auditable AI Assisted Semantic Completion Supports Metadata Enhancement in Digital Cultural Heritage Collections

Technische Samenvatting: Controleerbare AI-ondersteunde Semantische Voltooiing voor Metadata van Digitaal Cultureel Erfgoed

Probleemstelling
Digitale collecties van cultureel erfgoed zijn steeds vaker beschikbaar als computationele data, maar hun vindbaarheid wordt belemmerd door metadata die vaak incompleet, ongelijkmatig gestructureerd en arm aan semantische rijkdom is. Hoewel Kunstmatige Intelligentie (AI) vaak wordt voorgesteld als een oplossing voor metadata-generatie, roept de adoptie ervan in de context van cultureel erfgoed significante zorgen op met betrekking tot interpretatieve autoriteit, culturele bias en het "black-box"-karakter van generatieve modellen. De kernuitdaging is niet louter de vraag of AI labels kan genereren, maar hoe een workflow voor metadata-verrijking te creëren die transparant, reproduceerbaar en controleerbaar is door professionele catalogiseerders. Bestaande records bevatten vaak dichte informatie in sommige facetten (bijv. objecttype, materiaal), maar zijn spaarzaam in andere (bijv. onderwerp, classificatie), wat de behoefte creëert aan een systeem dat ontbrekende termen uit gecontroleerde vocabulaires kan aanbevelen zonder nieuwe termen te verzinnen of de herkomst te vertroebelen.

Methodologie
De studie herkadert metadata-verrijking als een beperkte semantische voltooiingstaak in plaats van een generatieve taak. In plaats van een model te vragen om vloeiende beschrijvingen te produceren, gebruikt het systeem geobserveerde labels uit gecontroleerde vocabulaires binnen een record om kandidaat-labels voor ontbrekende facetten aan te bevelen.

• Dataset: Het onderzoek maakt gebruik van de EUFCC-340K benchmark, een gefacetteerde hiërarchische dataset afgeleid van Europeana met meer dan 340.000 records. De studie hanteert een vaste trainingssubset van 25.000 records om reproduceerbaarheid op gewone hardware te garanderen.
• Experimenteel Ontwerp: Er wordt een masked-label evaluatieprotocol gebruikt. Voor elk in aanmerking komend record wordt één bestaand label uit een doelwitfacet (objecttype, materiaal, onderwerp of classificatie) verborgen. Het model moet kandidaat-labels voor dat facet rangschikken met de overige geobserveerde labels als context. De succesfactor wordt gemeten door te kijken of het verborgen label verschijnt in de top k kandidaten (Recall@k).
• Geëvalueerde Modellen:
  1. Frequentie Baseline: Rangschikt kandidaten op basis van de globale frequentie binnen het doelwitfacet in de training.
  2. Directe Co-occurrence: Bouwt een label-label co-occurrence matrix op uit de trainingsrecords. Scores worden afgeleid van de gemiddelde waarschijnlijkheid dat een kandidaat verschijnt gegeven de geobserveerde context-labels.
  3. Two-Hop Graph Propagation: Breidt direct bewijs uit door scores te propageren via de labelgrafiek (bijv. Object $\to$ Materiaal $\to$ Classificatie) om indirecte relaties te vangen.
  4. Hybride Ranking: Een gewogen combinatie van de directe score, de two-hop score en de frequentie-prior.
• Restricties: De vocabulaire is beperkt tot 600 blad-labels (die $\ge$10 keer voorkomen in de training) om controleerbaarheid en efficiëntie te waarborgen. De workflow geeft prioriteit aan deterministische, reproduceerbare rangschikking boven generatieve nieuwheid.

Belangrijkste Resultaten

• Metadata Asymmetrie: Analyse van de EUFCC-340K dataset onthult een significante asymmetrie in de metadata-dekking. Objecttype- en materiaalfelden zijn dicht (ca. 77–93% dekking), terwijl onderwerp- en classificatievelden spaarzaam zijn (respectievelijk 6,7% en 12,9% dekking in de trainingssplit).
• Prestaties van Co-occurrence: Op de inner-test split presteerde het directe co-occurrence model substantieel beter dan de frequentie baseline over alle facetten heen.
  • Objecttypes: Recall@5 verbeterde van 0,190 (frequentie) naar 0,732 (co-occurrence).
  • Materialen: Recall@5 verbeterde van 0,379 naar 0,790.
  • Classificaties: Recall@5 verbeterde van 0,450 naar 0,986.
  • Onderwerpen: Hoewel de testset voor onderwerpen klein was (228 gevallen), bereikte de frequentie baseline een Recall@5 van 1,000, wat werd geëvenaard door het co-occurrence model (eveneens 1,000). Echter, co-occurrence presteerde significant beter dan de frequentie baseline in Recall@1 (0,934 vs. 0,272) en Recall@3 (1,000 vs. 0,781), wat een superieure precisie in het rangschikken van het correcte label bovenaan de lijst demonstreert.
• Modelcomplexiteit: Het hybride model presteerde niet consistent beter dan het eenvoudigere directe co-occurrence model. De studie vond dat de eenvoudigste transparante methode vaak de sterkste was, wat suggereert dat complexe grafen-propagatie of hybride priors niet noodzakelijk zijn wanneer directe labelrelaties sterk zijn.
• Distributieverschuiving: De outer-test split (die verschillende collectiesamenstellingen vertegenwoordigt) toonde aan dat frequentie baselines misleidend sterk kunnen lijken in lage-entropie distributies, terwijl directe co-occurrence gevoelig blijft voor relationele verschuivingen. Dit benadrukt de noodzaak van split-specifieke evaluatie in plaats van geaggregeerde scores.

Betekenis en Claims
Het artikel stelt dat de primaire bijdrage een reproduceerbare informatieorganisatie-workflow is die AI-ondersteunde metadata-verrijking behandelt als een controleerbaar rankingprobleem.

• Controleerbaarheid en Governance: De studie betoogt dat hoogwaardige AI in cultureel erfgoed beoordeeld moet worden op reproduceerbaarheid, interpreteerbaarheid en het behoud van herkomst (provenance), en niet enkel op voorspellende nauwkeurigheid. Door gebruik te maken van geobserveerde co-occurrence kan elke aanbeveling worden teruggevoerd naar specifieke relaties in de trainingsdata, waardoor professionele catalogiseerders suggesties kunnen inspecteren, valideren of verwerpen.
• Human-in-the-Loop Design: De workflow positioneert AI niet als vervanging voor catalogiseerders, maar als een beslissingsondersteunende laag. Het biedt gerangschikte kandidaten voor menselijke validatie, wat de kosten van review verlaagt terwijl het professionele oordeel behouden blijft.
• Praktische Implementatie: De aanpak vereist bescheiden technische middelen (geen grote neurale netwerken, beeldverwerking of propriëtaire API's), wat het toegankelijk maakt voor kleinere instellingen. Het ondersteunt een stapsgewijs implementatiepad: metadata-profilering, vocabulaire-normalisatie, grafiekconstructie, kandidaat-suggestie en het vastleggen van de herkomst.
• Beperkingen: De auteur erkent expliciet dat de methode de biases in de dataset overneemt (het versterken van bestaande catalogiseringsonbalansen) en geen beoordeling maakt van culturele geschiktheid of de noodzaak om ontbrekende labels toe te voegen in reële scenario's. De studie richt zich op het herstellen van bestaande labels binnen een gecontroleerde vocabulaire, niet op het genereren van nieuwe culturele interpretaties.

Concluderend toont het artikel aan dat transparante, op co-occurrence gebaseerde rangschikking effectief kan bijdragen aan de verrijking van digitale metadata van cultureel erfgoed, waarbij een conservatief maar schaalbaar alternatief wordt geboden voor opake generatieve AI-modellen.