Iconographic Classification and Content-Based Recommendation for Digitized Artworks

Dit artikel presenteert een proof-of-concept systeem dat kunstwerken automatiseert classificeert en aanbeveelt door YOLOv8-objektdetectie te combineren met de Iconclass-vocabulaire, waarmee de catalogisering en navigatie in grote erfgoedcollecties kan worden versneld.

De kern

🎨 De "Digitale Kunstgids" die de Diepte van Kunst Begrijpt

Stel je voor dat je een enorme, digitale bibliotheek met miljoenen schilderijen hebt. Als je daar een schilderij van een hond opent, kun je meestal alleen zoeken op "hond", "dier" of "17e eeuw". Maar wat als je op zoek bent naar het verhaal achter de hond? Misschien is het een hond die een koning vergezelt, of een hond die in de Bijbel voorkomt?

Normaal gesproken moet een menselijke expert (een kunsthistoricus) dat verhaal uitleggen. Dat kost veel tijd. Dit paper beschrijft een slim computerprogramma genaamd CARIS dat die taak probeert over te nemen. Het is als een digitale assistent die niet alleen wat er op een schilderij staat ziet, maar ook probeert te begrijpen wat het betekent.

Het werkt in vier stappen, alsof je een detective bent die een raadsel oplost:

1. De "Oog" van de Computer (YOLO)

Eerst kijkt de computer naar het schilderij met een zeer scherpe lens (een technologie genaamd YOLO).

• De analogie: Denk aan een zeer snelle hond die door een kamer rent en roept: "Ik zie een hond! Ik zie een paard! Ik zie een mens!"
• Het probleem: De computer ziet alleen de objecten. Hij ziet niet dat de hond misschien een "boodschapper" is of dat het paard een "koning" vervoert. Hij ziet alleen de "hond".

2. De "Vertaler" naar een Geheime Code (Iconclass)

Nu komt het slimme deel. De computer gebruikt een enorme, gestructureerde lijst met codes genaamd Iconclass. Dit is als een encyclopedie met een eigen taal voor kunst.

• De analogie: Stel je voor dat elke mogelijke betekenis in de wereld een eigen telefoonnummer heeft.
  • Nummer 34B11 betekent gewoon "hond".
  • Nummer 94L53 betekent iets heel specifieks: "Hercules' hond proeft een schelp en wordt paars".
• De computer probeert de woorden die hij zag ("hond", "paard") te koppelen aan deze telefoonnummers. Als hij alleen een hond ziet, krijgt hij een lijst met alle mogelijke telefoonnummers die met "hond" te maken hebben.

3. De "Slimme Redenering" (Het Verhaal Voltooien)

Soms is het verhaal complex. Een "hond" alleen is niet genoeg. Maar als de computer een vrouw met een blinddoek, een weegschaal en een zwaard ziet, begrijpt hij dat dit niet zomaar een vrouw is, maar Justitie.

• De analogie: Het is alsof je drie losse puzzelstukjes ziet: een blinddoek, een weegschaal en een zwaard. Een slimme persoon (de computer) zegt: "Aha! Als je deze drie samen ziet, is het geen willekeurige vrouw, het is het symbool voor Rechtvaardigheid."
• Het programma gebruikt een stel regels om deze losse stukjes samen te voegen tot één betekenisvolle code.

4. De "Boekverkoper" (Aanbevelingen)

Tot slot, als je een schilderij hebt gevonden dat je leuk vindt, wil je misschien meer zien dat op hetzelfde niveau zit.

• De analogie: Stel je voor dat je een boek over "Hercules" leest. Een slimme boekverkoper (het aanbevelingssysteem) zou je niet alleen andere Hercules-boeken geven, maar ook boeken over "Helden" of "Mythologie".
• Het systeem gebruikt drie verschillende manieren om te beslissen wat je moet zien:
  1. De Familieband: Is het een "neefje" van het schilderij dat je kijkt? (Dezelfde familie, maar niet identiek).
  2. De Zeldzaamheid: Is er een heel zeldzaam detail in het schilderij? Dan is dat een sterke aanwijzing voor een specifiek verhaal.
  3. De Overlap: Hoeveel gedeelde elementen hebben de schilderijen precies?

🚧 Wat gaat er nog mis? (De "Huiswerk" van de Computer)

Het systeem is nog niet perfect, net als een leerling die net begonnen is met studeren.

• De "Blindheid": Als de computer een hond verward met een beer, denkt hij dat het schilderij over een beer gaat. Dan zijn alle aanbevelingen verkeerd. De computer moet nog veel beter leren kijken.
• De "Te veel opties": Soms ziet de computer één hond en denkt hij: "Oh, dat kan alles zijn!" en geeft hij duizenden codes. De menselijke expert moet dan nog even "filteren" om de juiste te kiezen.

🌟 De Kernboodschap

De belangrijkste les uit dit onderzoek is: Laat de computer kijken naar de objecten, maar laat de menselijke kennis (de Iconclass-codes) de betekenis geven.

Door deze twee te combineren, kunnen musea en bibliotheken in de toekomst veel sneller duizenden schilderijen beschrijven en kunnen bezoekers makkelijker door de geschiedenis "surfen", zonder dat ze eerst jaren moeten studeren. Het is alsof je een gids krijgt die niet alleen de namen van de bloemen kent, maar ook weet welke bloemen samen een prachtig boeket vormen.

Technische samenvatting

Hieronder volgt een gedetailleerde technische samenvatting van het artikel "Iconographic Classification and Content-Based Recommendation for Digitized Artworks" in het Nederlands.

Titel: Iconografische classificatie en inhoudsgebaseerde aanbeveling voor gedigitaliseerde kunstwerken

Auteurs: Krzysztof Kutt en Maciej Baczyński (Jagiellonian Universiteit, Polen)

---

1. Probleemstelling

De digitalisering van cultureel erfgoed heeft de toegang tot kunstwerken vergroot, maar heeft vaak geleid tot het verlies van de interpretatieve context die door museumexperts wordt geboden. Hoewel beschrijvende metadata (datum, auteur, locatie) basiszoekopdrachten ondersteunen, is toegang op iconografisch niveau (wat wordt afgebeeld en hoe het symbolisch wordt gebruikt) afhankelijk van experts.

• Uitdaging: Het handmatig catalogiseren van miljoenen afbeeldingen is tijdrovend en schaalt niet.
• Beperkingen van bestaande AI: Machine learning-modellen zijn vaak afhankelijk van schaarse en heterogene labels. Vrije labels leiden tot interoperabiliteitsproblemen tussen collecties.
• Doel: Er is behoefte aan systemen die experts ondersteunen bij het reconstrueren van betekenis en het versnellen van workflows, zonder de curatoriale oordeelsvorming te vervangen.

2. Methodologie: Het CARIS-systeem

De auteurs presenteren CARIS (Classification and Recommendation for the Iconclass System), een proof-of-concept systeem dat een vierstaps-pijplijn implementeert voor het automatisch toewijzen van Iconclass-codes en het aanbevelen van thematisch gerelateerde werken.

De vier stappen van de pijplijn:

1. Objectdetectie (YOLOv8):

   • Het systeem gebruikt YOLOv8 om zichtbare objecten in een gedigitaliseerd kunstwerk te detecteren.
   • Dubbele detecties (bijv. twee paarden) worden verwijderd, aangezien Iconclass aanneemt dat één code volstaat voor een objecttype, ongeacht het aantal voorkomens.

2. Mapping naar Iconclass-codes:

   • De gedetecteerde labels worden gemapt naar de Iconclass-vocabulaire (een hiërarchisch, gecontroleerd vocabulaire voor kunst).
   • Mappingstrategieën:
     • Sleutelwoord-match: Een drie-traps algoritme dat zoekt naar exacte matches tussen YOLO-labels en Iconclass-sleutelwoorden, gevolgd door subset-matching en zoekopdrachten per enkel label.
     • Beschrijvingsmatch: (Minder effectief bevonden) Zoeken in de tekstuele beschrijvingen van de codes.
   • Filtering: Om "code-explosie" te voorkomen (waarbij één object, zoals een hond, honderden mogelijke codes oplevert), worden deterministische reducers gebruikt (bijv. intersectie van sets of heuristieken voor de kortste titel).

3. Inferentie van abstracte codes:

   • Systeemgebaseerde regels (een lichte rule-engine in JSON) worden gebruikt om abstracte concepten af te leiden uit combinaties van gedetecteerde objecten.
   • Voorbeeld: Als een vrouw met een blinddoek, schaal en zwaard wordt gedetecteerd, wordt de code voor "Justitie" afgeleid. Als een hert, hond, paard en mens worden gezien, wordt "Jacht" afgeleid.

4. Inhoudsgebaseerde aanbeveling:

   • Het systeem beveelt thematisch gerelateerde kunstwerken aan op basis van de gegenereerde Iconclass-codes (zonder gebruik van gebruikersgeschiedenis). Drie complementaire methoden worden gebruikt:
     • Hiërarchische nabijheid: Berekent gelijkenis op basis van de boomstructuur van Iconclass (bijv. codes met dezelfde ouderknooppunt krijgen een hogere score).
     • IDF-gewogen overlap: Gebruikt Inverse Document Frequency om zeldzame, diagnostische codes zwaarder te wegen dan algemene objectcodes.
     • Jaccard-similariteit: Meet de overlap tussen verzamelingen codes om bias tegenover werken met veel algemene codes te voorkomen.

3. Belangrijkste Bijdragen

• Eerste integratie van Iconclass en Recommender Systems: Dit is naar weten van de auteurs het eerste systeem dat Iconclass-tags expliciet combineert met inhoudsgebaseerde aanbevelingssystemen.
• Symbolische structuur voor betekenis: In plaats van alleen te vertrouwen op visuele kenmerken (zoals bij veel deep learning-modellen), gebruikt het systeem de semantische hiërarchie van Iconclass om van "zichtbare elementen" naar "betekenis" te gaan.
• Hybride aanpak: Combinatie van state-of-the-art objectdetectie (YOLOv8) met een gecontroleerd vocabulaire en regelgebaseerde inferentie voor abstracte concepten.
• Open Source Implementatie: De code is beschikbaar gesteld als een Python-pakket met een duidelijke architectuur (SRP-principe).

4. Resultaten en Evaluatie

Het systeem is geëvalueerd met publieke domeinbeelden (Wikimedia Commons) en de Iconclass AI Test Set (ca. 87.000 afbeeldingen).

• Classificatie:
  • Het systeem slaagt erin om objecten correct te koppelen aan Iconclass-codes (bijv. een hond-portret leidt tot code 34B11).
  • Beperking: De kwaliteit is sterk afhankelijk van de detectiekwaliteit van YOLO. Als belangrijke elementen worden gemist (bijv. een havik in een jachtscène) of verkeerd geïdentificeerd (een hond als beer), wordt de afgeleide betekenis onjuist.
  • De inferentieregels en reducers helpen om valse positieven te filteren en de relevantie te verhogen.
• Aanbeveling:
  • Hiërarchische methode: Werkt uitstekend wanneer exacte code-overeenkomsten ontbreken, maar thematisch verwante codes wel aanwezig zijn (bijv. aanbevelen van Hercules-beelden op basis van attributen zoals een knuppel of leeuwenvel, zelfs als de specifieke mythe-code ontbreekt).
  • IDF-methode: Effectief voor zoekopdrachten met zeldzame codes; deze wegen zwaarder dan veel voorkomende objecten.
  • Jaccard-methode: Robuust tegenover werken met veel generieke codes en favoriet voor strakke thematische overlappingen.
• Voorbeeld: Bij een jachtscène die door YOLO niet volledig werd gedetecteerd, leverden de aanbevelingen toch gerelateerde paardenscènes op. Bij een zeer specifieke mythologische code (94L53) wist alleen de hiërarchische methode een relevant beeld te vinden door nabijgelegen takken in de taxonomie te gebruiken.

5. Betekenis en Toekomstperspectief

• Betekenis: Het onderzoek toont aan dat het combineren van computer vision met gestructureerde semantische vocabulaires (Iconclass) een veelbelovende route is voor het automatiseren van catalogisering en het verbeteren van de navigatie in grote erfgoedcollecties. Het benadrukt dat AI experts moet ondersteunen, niet vervangen.
• Toekomstige werk:
  • Fine-tuning: Het creëren van Iconclass-compliant trainingssets om YOLO-modellen beter te laten presteren op specifieke kunstwerken en dieren.
  • Regelengine: Verdere verfijning van de regels voor het afleiden van abstracte concepten, mogelijk ondersteund door data mining op grote corpora.
  • Multimodaliteit: Integratie van tekstuele metadata, neurale beeldkenmerken en vision-language embeddings (zoals CLIP).
  • Gebruikersinterface: Ontwikkeling van een interface met uitlegbaarheid (explainability) zodat curatoren en gebruikers begrijpen waarom een bepaalde aanbeveling of code is gekozen.

Conclusie: Het CARIS-systeem valideert het idee dat computer vision zichtbare elementen kan voorstellen, terwijl symbolische structuren (Iconclass) worden gebruikt om de diepere betekenis te bereiken, wat essentieel is voor de interpretatie van cultureel erfgoed.