GeMi: A Graph-based, Multimodal Recommendation System for Narrative Scroll Paintings

Dit paper introduceert GeMi, een op grafische neurale netwerken gebaseerd aanbevelingssysteem dat multimodale gegevens gebruikt om vergelijkbare narratieve rolprenten voor te stellen, waarmee tegelijkertijd bijdraagt aan de conservatie en digitalisering van dit bedreigde kunstvorm.

De kern

Stel je voor dat je een oude, prachtige rolprent (een "scroll painting") uit Oost-India hebt. Deze prenten vertellen verhalen over mythologische helden, dieren en bomen, maar ze worden niet alleen getoond; ze worden ook gezongen. De artiesten, "zingende schilders", lopen van dorp tot dorp, rollen hun prent uit en zingen het verhaal erbij.

Het probleem? Dit kunstvorm is bijna uitgestorven. Er zijn maar heel weinig schilders over, en de prenten en liederen verdwijnen langzaam in de vergetelheid.

De auteurs van dit paper hebben een slimme, digitale oplossing bedacht genaamd GeMi. Laten we uitleggen hoe dit werkt, zonder ingewikkelde wiskunde, maar met een paar leuke vergelijkingen.

1. Het Probleem: Een Vergeten Bibliotheek

Stel je voor dat je een enorme bibliotheek hebt met duizenden boeken, maar:

• De boeken zijn in verschillende talen geschreven.
• Sommige pagina's zijn beschadigd of missen.
• Er is geen catalogus.
• Je wilt een boek vinden dat op een ander boek lijkt, maar je weet niet precies hoe je dat moet zoeken.

Voor deze zingende schilders is het precies zo. Er zijn prenten (beelden) en teksten (liedteksten), maar ze zijn niet goed op elkaar afgestemd. Soms heb je een liedtekst zonder prent, of een prent zonder tekst.

2. De Oplossing: GeMi (De Slimme Boekhouder)

GeMi is een digitaal systeem dat helpt om deze prenten te vinden, te bewaren en aan mensen te adviseren die ze mooi vinden. Het doet dit in drie stappen, alsof het een super-slimme bibliothecaris is.

Stap 1: De Vertaler (De "LLM")

Eerst moet het systeem begrijpen wat er op de prent staat en wat er in het liedje gezongen wordt.

• De Analogie: Stel je voor dat je een boek in een oude, moeilijke taal hebt. Je geeft het aan een super-vertaler (een Large Language Model, of LLM). Deze vertaler leest de tekst, corrigeert foutjes, en vat het verhaal samen in heldere, moderne zinnen.
• In het echt: Het systeem neemt de oude liedteksten en maakt er duidelijke beschrijvingen van. Zo weet het systeem precies dat er in een liedje over een "heilige koe" wordt gezongen, zelfs als de originele tekst rommelig was.

Stap 2: De Kunstkenner (De "Vision-Language Model")

Nu moet het systeem ook de prent zelf begrijpen.

• De Analogie: Stel je voor dat je een kunstexpert hebt die niet alleen naar de prent kijkt, maar ook luistert naar het verhaal. Deze expert zegt: "Ah, ik zie een boom, en in het liedje gaat het ook over een boom. Dit zijn twee dingen die bij elkaar horen."
• In het echt: Het systeem gebruikt geavanceerde technologie om beelden en teksten samen te voegen. Het leert dat een afbeelding van een "mythisch dier" en een tekst over "goden" eigenlijk hetzelfde concept zijn.

Stap 3: Het Netwerk (De "Graph Neural Network")

Dit is het meest interessante deel. Het systeem bouwt een onzichtbaar web tussen alle prenten.

• De Analogie: Stel je voor dat elke prent een persoon is op een groot feest. Als twee personen veel gemeen hebben (bijvoorbeeld: beiden houden van "bomen" of "mythologie"), dan lopen ze naar elkaar toe en schudden ze handen.
  • Als jij (de gebruiker) graag naar prent A kijkt, en prent A schudt de hand van prent B, dan zegt het systeem: "Hé, jij zou ook prent B leuk vinden!"
• In het echt: Dit heet een "Graph Neural Network". Het systeem maakt een kaart van alle prenten en tekent lijntjes tussen diegene die op elkaar lijken. Als er weinig mensen zijn die een bepaald type prent hebben bekeken (wat vaak gebeurt bij zeldzame kunst), kijkt het systeem naar de "buren" in het netwerk om te raden wat je misschien leuk vindt.

3. Waarom is dit zo speciaal?

Meestal gebruiken computersystemen voor aanbevelingen (zoals Netflix of Spotify) alleen maar wat je eerder hebt geklikt. Maar GeMi doet iets anders:

1. Het begrijpt de inhoud: Het kijkt niet alleen naar "klikgedrag", maar begrijpt wat er op de prent staat (bijv. "is er een boom op?" of "is er een mythologisch personage?").
2. Het is slim met onvolledige data: Omdat er weinig data is over deze oude kunst, is het systeem slim genoeg om te gissen op basis van de "buren" in het netwerk. Het is alsof je een raadsel oplost door naar de stukjes die je wel hebt te kijken.
3. Het helpt de kunst te redden: Door een systeem te maken dat deze prenten makkelijk vindbaar maakt, hopen de auteurs dat meer mensen geïnteresseerd raken. Als mensen de prenten kopen of bekijken, kunnen de zingende schilders hun geld verdienen en hun traditie voortzetten.

Samenvatting in één zin

GeMi is een slimme, digitale assistent die oude, zingende prenten uit India "leest" en "begrijpt", ze verbindt met elkaar in een groot web, en je vervolgens precies de prenten laat zien die je waarschijnlijk geweldig zult vinden, zodat deze unieke kunstvorm niet verdwijnt.

Het is alsof je een tijdmachine hebt die je helpt om verloren verhalen weer te vinden, één aanbeveling tegelijk.

Technische samenvatting

1. Probleemstelling

Het paper adresseert een uniek en urgent probleem op het snijvlak van kunstbehoud en kunstmatige intelligentie: het digitaliseren en aanbevelen van narratieve rolprenten (scroll paintings) uit Oost-India. Deze kunstvorm, uitgevoerd door zingende schilders (itinerante verhalenvertellers), staat op het punt van uitsterven.

De specifieke uitdagingen zijn:

• Data-schaarste en -kwaliteit: Er bestaat geen bestaande database. De data is verzameld via veldwerk en bevat multimodale informatie (beelden van de prenten en teksten van de bijbehorende liedjes/gedichten).
• Multimodale uitlijning: De data is vaak niet perfect uitgelijnd; soms ontbreekt de tekst bij een prent of vice versa.
• Ruis en onzekerheid: De teksten zijn handgeschreven, soms onleesbaar of dialectisch, en de beelden kunnen beschadigd zijn. Traditionele aanbevelingssystemen (Collaborative Filtering) falen hierdoor vaak vanwege de "cold start" en data-schaarste.
• Gebrek aan bestaande systemen: Er is geen specifiek aanbevelingssysteem ontworpen voor deze vorm van volkskunst, noch voor de complexe semantische relaties tussen visuele elementen en narratieve teksten.

2. Methodologie: Het GeMi-systeem

GeMi (Graph-based, Multimodal Recommendation) is een content-gebaseerd aanbevelingssysteem dat gebruikmaakt van Graph Neural Networks (GNNs) en geavanceerde Vision-Language Models (VLMs). De architectuur bestaat uit vier hoofdblokken:

A. Multimodale Feature Extractie

In plaats van ruwe data direct te gebruiken, wordt een modulaire coderingsstrategie toegepast:

1. LLM-gebaseerde Semantische Canonicalisatie: Een Large Language Model (TinyLlama) wordt gebruikt om de ruwe, ruisige teksten van de liedjes te herschrijven naar een gestructureerde, conceptgerichte vorm. Dit vermindert lexische variatie en behoudt de semantische intentie.
2. Contrastive Language-Image Pretraining (CLIP): Er worden drie varianten van CLIP-modellen gebruikt om gezamenlijke beeld-tekst embeddings te leren:
   • Pretrained CLIP: Algemene uitlijning.
   • Dataset-specifiek Fine-tuned CLIP: Aangepast aan de stijl van de rolprenten.
   • SigCLIP: Gebruikt een sigmoid-verlies in plaats van softmax, wat beter presteert bij onevenwichtige datasets door onafhankelijke paar-classificatie.
3. Multimodale Variational Autoencoder (VAE): Een probabilistische VAE fuseert visuele en linguïstische informatie. Deze benadering modelleert expliciet de onzekerheid (variatie) van elke modality, wat cruciaal is voor ruisige data. De gefuseerde posterior mean dient als deterministische feature-representatie.

B. Graph Structure Learning (GSL)

GeMi bouwt een graafstructuur om relaties tussen de prenten (nodes) te leren:

• Homogene vs. Heterogene Grafen: Het systeem test zowel item-item grafen (homogeen) als user-item grafen (heterogeen).
• Transductief vs. Inductief Leren:
  • Transductief: Het model heeft toegang tot testdata tijdens training (goed voor statische datasets).
  • Inductief: Het model generaliseert naar nieuwe, onbekende data (noodzakelijk omdat veldwerk continu nieuwe data toevoegt).
• Graaf-architecturen: Drie varianten worden geëvalueerd:
  • GCN (Graph Convolutional Network): Supervised learning.
  • GAE (Graph Auto-Encoder): Zelftoezicht via reconstructie.
  • VGAE (Variational Graph Auto-Encoder): Voegt een probabilistische latent space toe om onzekerheid in de knooprepresentaties te modelleren.

C. Omgaan met Class Imbalance

Omdat bepaalde concepten (zoals "bomen" of "dieren") zeldzamer zijn dan andere, worden specifieke strategieën toegepast:

• Symmetrische kNN: Bouw van een graaf op basis van k-nearest neighbors in plaats van een globale drempelwaarde.
• Edge Augmentation: Extra randen worden toegevoegd tussen knopen met zeldzame labels (bijv. "Tree") om de informatieflow te verbeteren.
• Focal Loss & Reweighting: Het verlies wordt aangepast om het model te dwingen zich te focussen op moeilijke en zeldzame voorbeelden.

D. Integratie van User Preferences

Hoewel het systeem content-gebaseerd is, worden gebruikersvoorkeuren geïntegreerd via een plug-and-play module die lijkt op Collaborative Filtering. Synthetische gebruikersprofielen worden gegenereerd op basis van semantische labels (dier, mythologie, boom) om de prestaties te evalueren.

3. Belangrijkste Bijdragen

1. Unieke Dataset: De eerste zorgvuldig samengestelde, multimodale dataset van narratieve rolprenten uit Oost-India, inclusief gealigneerde teksten en beelden.
2. GeMi Architectuur: Een nieuw aanbevelingssysteem dat state-of-the-art Vision-Language modellen (LLM + CLIP/VAE) combineert met Graph Neural Networks.
3. Methodologische Innovatie: Het gebruik van LLMs voor semantische canonicalisatie van ruisige folklore-teksten en de toepassing van Variational Graph Auto-Encoders om onzekerheid in kleine, ruisige datasets te modelleren.
4. Empirische Validatie: Een uitgebreide benchmarking tegen state-of-the-art transductieve en inductieve baselines (zoals LATTICE, PMGT, GraphSAGE, PinSAGE).

4. Resultaten

De experimenten werden uitgevoerd op een dataset van 106 panelen (fase 1) en 83 panelen (fase 2), geannoteerd met drie concepten: Dieren, Mythologische figuren en Bomen.

• Prestatieverbetering: GeMi overtreft consistent bestaande state-of-the-art systemen (zowel homogene als heterogene grafen) in zowel transductieve als inductieve settings.
  • Bijvoorbeeld: Op het concept "Mythologie" bereikte GeMi-GAE een Precision@K van 0.78 in transductieve settings, aanzienlijk hoger dan de concurrenten (rond 0.60-0.67).
• Effect van LLMs: Het gebruik van LLM-versterkte features (via TinyLlama voor tekstcanonicalisatie) leidde tot significante verbeteringen ten opzichte van basismodellen, vooral voor semantisch rijke concepten zoals mythologie.
• Transductief vs. Inductief: Transductief leren leverde over het algemeen de meest stabiele en sterke resultaten op, vooral voor complexe labels. Inductief leren was echter competitief, wat essentieel is voor de toepasbaarheid op toekomstige, nieuwe data.
• Robuustheid: De VGAE-variant bleek het meest robuust tegenover variaties in hyperparameters (zoals de kNN-k en edge dropout), wat wijst op de effectiviteit van het modelleren van onzekerheid.

5. Betekenis en Toekomstperspectief

Het paper heeft een tweeledige betekenis:

1. Cultureel Behoud: Het biedt een technologische oplossing om een bedreigde kunstvorm te documenteren, te structureren en toegankelijk te maken voor een nieuw publiek, wat bijdraagt aan de conservatie van het cultureel erfgoed.
2. Technologische Vooruitgang: Het demonstreert hoe multimodale GNN-systemen kunnen worden ontworpen voor kleine, ruisige en onvolledig uitgelijnde datasets. De aanpak van het combineren van LLMs voor tekstzuivering met probabilistische grafen voor onzekerheidsmodelling biedt een blauwdruk voor andere domeinen met vergelijkbare data-uitdagingen (bijv. archeologie, historische archieven).

Toekomstig werk richt zich op het integreren van generatieve AI voor het creëren van ontbrekende content (bijv. het genereren van illustraties bij ontbrekende teksten) en het ontwikkelen van dynamische prijsmodellen om de kunstenaars economisch te ondersteunen.