VL-KGE: Vision-Language Models Meet Knowledge Graph Embeddings

Deze paper introduceert VL-KGE, een raamwerk dat Vision-Language-modellen combineert met kennisgrafiek-embeddings om robuuste, multimodale representaties te leren voor heterogene kennisgrafieken, wat leidt tot verbeterde prestaties bij linkvoorspelling.

De kern

Stel je voor dat je een enorme, digitale bibliotheek hebt die de hele wereld van kunst en kennis bevat. In deze bibliotheek staan boeken (tekst), schilderijen (beelden) en een ingewikkeld systeem van kaarten die aangeven wie wat heeft gemaakt, wie wie beïnvloedde en welke stijl bij welk werk hoort. Dit noemen we een Kennisgraf (Knowledge Graph).

Het probleem is dat de mensen die deze bibliotheek tot nu toe hebben gebouwd, vaak vergeten hebben dat sommige boeken alleen tekst hebben, terwijl andere alleen een plaatje hebben. En als je probeert ze allemaal in één systeem te stoppen, raken ze de draad kwijt. Een computer ziet een schilderij van Picasso en een tekst over "Cubisme" als twee totaal verschillende dingen die niets met elkaar te maken hebben.

De auteurs van dit paper, een team van de Universiteit van Amsterdam, hebben een nieuwe oplossing bedacht: VL-KGE.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Taalbarrière"

Stel je voor dat je een groep vrienden hebt die een spelletje doen.

• De ene vriend (de Tekst) spreekt alleen Nederlands.
• De andere vriend (de Afbeelding) spreekt alleen Frans.
• De Kennisgraf is het spelbord waarop ze moeten samenwerken om te weten wie wie is.

Tot nu toe probeerden de computers (de oude methoden) om deze twee vrienden te laten samenwerken door ze allebei te dwingen om een "gemiddelde" taal te spreken. Maar dat werkte niet goed. Als je een schilderij van een hond hebt, maar alleen een tekst over "jagen", dan snapten de oude systemen niet dat die twee bij elkaar horen. Ze zagen ze als twee losse puzzelstukjes die niet in elkaar passen.

2. De Oplossing: De "Super-Vertaler" (VLM)

De auteurs gebruiken een heel slimme technologie genaamd Vision-Language Models (zoals CLIP of BLIP). Je kunt dit zien als een super-vertaler die al jarenlang miljoenen boeken en foto's heeft gelezen. Deze vertaler weet al precies dat een foto van een "hond" en de tekst "hond" eigenlijk hetzelfde betekenen.

In plaats van de computer te laten raden, geven ze de computer deze slimme vertaler mee. De vertaler zorgt ervoor dat de foto en de tekst al in dezelfde "taal" (een gedeelde ruimte) worden omgezet voordat ze het spelbord (de Kennisgraf) opduiken.

3. Het Nieuwe Spelbord: VL-KGE

Nu ze de vertaler hebben, bouwen ze een nieuw systeem: VL-KGE.

• Het is flexibel: In de echte wereld hebben niet alle kunstwerken een foto. Sommige hebben alleen een naam en een geboortedatum. De oude systemen vielen hierop vast. VL-KGE is als een slimme detective die zegt: "Oké, dit schilderij heeft geen foto? Geen probleem, ik gebruik alleen de tekst. En dit schilderij heeft geen tekst? Dan kijk ik alleen naar de foto." Het werkt met wat er is, in plaats van wat er zou moeten zijn.
• Het bouwt bruggen: Het systeem pakt de vertaalde foto's en teksten en plakt ze vast aan de kaarten op het spelbord. Hierdoor kan de computer niet alleen zien wat er op de foto staat, maar ook waarom het belangrijk is in de context van de hele kunstgeschiedenis.

4. Waarom is dit zo cool? (De Analoge Wereld)

Stel je voor dat je een museumbezoeker bent.

• De oude manier: Je vraagt de gids: "Wie heeft dit schilderij gemaakt?" De gids kijkt naar de lijst met namen en zegt: "Ik weet het niet, want hier staat alleen een foto, geen naam."
• De VL-KGE manier: De gids (het nieuwe systeem) kijkt naar de foto, herkent de stijl (via de "super-vertaler"), en zegt: "Ah, dit is Rembrandt! En omdat ik weet dat Rembrandt vaak in Amsterdam werkte en beïnvloed was door andere schilders, kan ik je ook vertellen wie zijn vrienden waren, zelfs als die namen niet direct op het schilderij staan."

5. Wat hebben ze bewezen?

De auteurs hebben dit systeem getest op twee dingen:

1. Een standaard test: Een dataset waar alles perfect was (allemaal foto's én tekst). Hier deed het systeem het al goed.
2. De echte wereld: Ze hebben een enorme nieuwe database gemaakt over kunst (WikiArt), waar veel schilderijen geen tekst hebben en veel kunstenaars geen foto's. Hier was het oude systeem volledig in de war, maar VL-KGE bleef werken als een zonnetje. Het kon zelfs nieuwe, onbekende schilderijen begrijpen zonder dat het systeem opnieuw getraind hoefde te worden.

Samenvattend

Dit paper introduceert een slimme manier om computers te leren begrijpen dat een plaatje en een tekst vaak over hetzelfde gaan. Door een "super-vertaler" te gebruiken, kunnen ze een wereldwijd netwerk van kennis bouwen dat werkt, zelfs als de informatie incompleet is. Het is alsof je eindelijk een systeem hebt dat de taal van de kunstwereld écht spreekt, en niet alleen maar naar de woorden en plaatjes staart.

Technische samenvatting

Probleemstelling

Traditionele methoden voor Knowledge Graph Embeddings (KGE) zijn uitstekend in het leren van continue representaties van entiteiten en relaties, maar ze zijn doorgaans ontworpen voor unimodale settings (alleen tekst of alleen structuur). Real-world multimodale kennisgrafieken (MKGs) zijn echter heterogeen: entiteiten hebben diverse modaliteiten (bijv. afbeeldingen voor kunstwerken, tekst voor kunstenaars of historische periodes).

Bestaande multimodale KGE-aanpakken hebben twee kritieke beperkingen:

1. Modale Misalignering: Ze behandelen modaliteiten vaak onafhankelijk, wat leidt tot een gebrek aan semantische uitlijning in een gedeelde embedding-ruimte.
2. Modale Asymmetrie: Ze gaan er vaak ten onrechte van uit dat alle entiteiten alle modaliteiten bezitten. In realistische scenario's (zoals in de beeldende kunsten) hebben sommige entiteiten alleen afbeeldingen (kunstwerken) en andere alleen tekst (kunstenaarsnamen, stijlen). Bestaande modellen worstelen met deze asymmetrie, wat hun toepasbaarheid beperkt.

Methodologie: VL-KGE

De auteurs stellen VL-KGE (Vision-Language Knowledge Graph Embeddings) voor, een framework dat pregetrainde Vision-Language Models (VLMs) integreert met gestructureerde relationele modellering.

Kerncomponenten:

• Inductieve Representatie: In tegenstelling tot traditionele KGE's die entiteiten opnieuw moeten trainen bij het toevoegen van nieuwe data, gebruikt VL-KGE pregetrainde VLM-encoders (zoals CLIP en BLIP). Hierdoor kan het model inductieve inferentie uitvoeren op onzichtbare entiteiten zonder extra parameters.
• Multimodale Encoder:
  • Structurele embedding: Leerbaar vector voor de entiteit (op basis van de grafiekstructuur).
  • Visuele embedding: Verkregen via een pregetrainde image encoder (bijv. ViT of CLIP-image).
  • Tekstuele embedding: Verkregen via een pregetrainde text encoder (bijv. BERT of CLIP-text).
  • De encoders worden gefixeerd of fijngefine-tuned, en projecties zorgen dat alle modaliteiten in dezelfde dimensie zitten.
• Fusiemechanisme: Het framework combineert de beschikbare modaliteiten (structureel, visueel, tekstueel) tot één uniforme entiteitsrepresentatie. Er worden drie strategieën onderzocht:
  • Gemiddelde fusie: Bereken het gemiddelde van alle aanwezige modaliteiten.
  • Concatenatie: Stap de embeddings op elkaar (met zero-padding voor ontbrekende modaliteiten).
  • Gewogen fusie: Leer de relatieve belangrijkheid van elke modaliteit.
• Relationele Modellering: De gefuseerde entiteitsrepresentaties worden gebruikt in bestaande KGE-backbones (TransE, DistMult, ComplEx, RotatE) om relationele semantics te modelleren zonder de scoringfuncties aan te passen.

Belangrijkste Bijdragen

1. Het VL-KGE Framework: Een nieuw systeem dat pregetrainde vision-language representaties combineert met relationele modellering om multimodale kennisgrafiek-embeddings te leren, specifiek ontworpen om modale asymmetrie aan te pakken.
2. Omgaan met Asymmetrie: Het model kan heterogene entiteiten representeren met alleen hun beschikbare modaliteiten, waardoor het geschikt is voor real-world scenario's waar data niet compleet is.
3. Nieuwe Datasets: De introductie van WikiArt-MKG-v1 en WikiArt-MKG-v2. Dit zijn uitgebreide, multimodale kennisgrafieken voor de beeldende kunsten. WikiArt-v2 bevat 217.000 kunstwerken en 4.200 kunstenaars met 22 relationele types, inclusief complexe relaties tussen kunstenaars en kunstwerken.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat VL-KGE consistent beter presteert dan bestaande unimodale en multimodale methoden, vooral in situaties met modale asymmetrie.

Resultaten

De auteurs evalueren het model op drie datasets: WN9-IMG (een standaard benchmark met volledige modaliteiten) en de nieuwe WikiArt-MKG-v1 en v2 (met inherente modale asymmetrie).

• Prestatieverbetering: VL-KGE overtreft consistent traditionele KGE-methoden (zoals TransE, DistMult) en eerdere multimodale benaderingen (zoals MMKRL, OTKGE) in taken voor linkpredictie (MRR en Hits@K).
• Impact van VLMs: Modellen gebaseerd op CLIP presteren over het algemeen beter dan die op BLIP of losse encoders (ViT+BERT), wat wijst op de superioriteit van contrastieve pretraining voor visueel-taal uitlijning.
• Asymmetrie: De prestatieverbeteringen zijn het meest opvallend op de WikiArt-datasets. Waar traditionele methoden falen bij ontbrekende modaliteiten, haalt VL-KGE sterke prestaties door gebruik te maken van de pregetrainde cross-modale kennis.
• Kwalitatieve Analyse: Qualitative resultaten tonen aan dat VL-KGE beter in staat is om contextueel en historisch correcte relaties te vinden (bijv. de juiste kunstenaar of stijl toewijzen) in vergelijking met "zero-shot" CLIP, dat vaak vastloopt in oppervlakkige visuele gelijkenissen.

Betekenis en Conclusie

Dit paper markeert een belangrijke stap in het verbinden van Vision-Language Models met Knowledge Graphs. Het bewijst dat pregetrainde VLMs niet alleen nuttig zijn voor generatieve taken, maar ook cruciaal zijn voor het structureren van kennis in heterogene grafieken.

De belangrijkste implicaties zijn:

• Robuustheid: VL-KGE maakt het mogelijk om grote, realistische kennisgrafieken te modelleren zonder dat elke entiteit perfect geannoteerd moet zijn met alle modaliteiten.
• Toepasbaarheid: De aanpak is breed toepasbaar in domeinen zoals digitale humaniora, cultuurpatrimonium en medische diagnostiek, waar modale asymmetrie de norm is.
• Toekomst: Het werk legt de basis voor schaalbare, multimodale redenering en vervollediging van kennisgrafieken, waarbij de semantische uitlijning tussen tekst en beeld wordt benut voor dieper inzicht in complexe datastructuren.