Are a Thousand Words Better Than a Single Picture? Beyond Images -- A Framework for Multi-Modal Knowledge Graph Dataset Enrichment

Probleemstelling

Multi-modale Kennisgrafen (MMKG's) integreren gestructureerde data (tripels) met ongestructureerde data zoals afbeeldingen, tekst en audio om entiteitsrepresentaties te verbeteren. Ondanks de voordelen van visuele informatie, stuiten de huidige methoden voor het verzamelen van afbeeldingen op twee fundamentele beperkingen:

1. Gebrek aan schaalbaarheid: Het verzamelen van afbeeldingen voor MMKG-datasets gebeurt vaak nog handmatig door curatoren. Dit proces is tijdrovend, moeilijk te schalen naar grote grafen en beperkt het aantal afbeeldingen per entiteit.
2. Onbenutte, maar relevante afbeeldingen: Curatoren neigen ertoe om alleen zeer representatieve en duidelijke afbeeldingen te selecteren. Afbeeldingen die visueel ambigu zijn (zoals logo's, symbolen of abstracte kunst), maar wel semantisch relevant voor de entiteit, worden vaak uitgesloten om "ruis" te voorkomen. Dit leidt tot een verlies aan waardevolle informatie en een beperkte visuele diversiteit binnen de dataset.

Directe integratie van deze ambiguïteiten in visuele embeddings (bijv. via CLIP) resulteert vaak in slechte prestaties omdat de modellen moeite hebben om de juiste semantiek uit deze beelden te halen.

Methodologie: Het "Beyond Images" Kader

De auteurs stellen een automatisch, data-gedreven verrijkingssysteem voor genaamd Beyond Images. Dit kader werkt in drie fasen en is ontworpen om bestaande MMKG-modellen te versterken zonder hun architectuur of verliesfuncties aan te passen.

1. Modality Extension Module (Modale Uitbreiding):

   • Het systeem scant automatisch het web (via zoekopdrachten op basis van entiteitsnamen en Wikidata-ID's) om extra, relevante afbeeldingen voor elke entiteit te vinden.
   • Dit vergroot de visuele dekking aanzienlijk, inclusief de eerder uitgesloten "ambiguie" afbeeldingen zoals logo's en symbolen.

2. Semantic Generation Module (Semantische Generatie):

   • In plaats van de afbeeldingen direct als visuele features te gebruiken, worden alle afbeeldingen (zowel de originele als de nieuw gevonden) omgezet naar tekstuele beschrijvingen.
   • Hiervoor worden state-of-the-art Image-to-Text modellen gebruikt (zoals blip2-flan-t5-xxl, git-large-coco, en llava-v1.5-7b).
   • Doel: Ambiguie beelden worden vertaald naar expliciete, bruikbare semantiek. Een logo wordt bijvoorbeeld beschreven als "drie rode Andreaskruisen, het embleem van Amsterdam", in plaats van als een abstract patroon.

3. LLM-based Semantic Fusion Module (Semantische Fusie):

   • De gegenereerde beschrijvingen van meerdere afbeeldingen per entiteit worden samengevoegd door een Large Language Model (LLM) (bijv. Mistral-7b of LLaMA-3.1).
   • De LLM filtert irrelevante informatie, verwijdert herhalingen en genereert één coherente, samenvattende tekst die specifiek is afgestemd op de entiteit.
   • Deze samenvatting vervangt of verrijkt de tekstuele modality in de standaard MMKG-modellen.

Validatie: Het systeem bevat een optionele, lichtgewicht "Text-Image Consistency Check Interface" die menselijke auditors toelaat om de kwaliteit van de gegenereerde samenvattingen te verifiëren.

Belangrijkste Bijdragen

1. Beyond Images Framework: Een herbruikbaar, model-agnostisch paradigma dat visuele data omzet in entiteits-gealigneerde tekst, waardoor ambiguie maar relevante beelden nuttig worden voor link-prediction.
2. Audit Interface: Een ontwikkeld hulpmiddel voor menselijke controle van de gegenereerde beschrijvingen, wat de betrouwbaarheid van de dataset vergroot.
3. Uitgebreide Evaluatie: Systematische tests op drie publieke datasets (MKG-W, MKG-Y, DB15K) met vier verschillende MMKG-modellen (MMRNS, MyGO, NativE, AdaMF), inclusief openbaarmaking van code, datasets en protocollen.

Resultaten

De experimenten tonen consistente verbeteringen in link-prediction taken (het voorspellen van ontbrekende entiteiten of relaties):

• Algemene Prestaties: Over alle drie de datasets en modellen heen resulteerde het gebruik van de verrijkte datasets in consistente winst, met een stijging van maximaal +7% op Hits@1.
• Prestatie op Ambiguie Subsets: Op een specifieke subset van entiteiten met visueel ambigu materiaal (zoals logo's en symbolen) was de verbetering dramatisch. Het converteren van deze beelden naar tekst leidde tot een stijging van +201,35% in MRR (Mean Reciprocal Rank) en +333,33% in Hits@1. Dit bewijst dat tekstuele beschrijvingen van logo's veel effectiever zijn dan de visuele embeddings zelf.
• Modale Bijdrage: Het combineren van originele tekst, originele afbeeldingen en de gegenereerde tekstuele beschrijvingen (I+T+G) leverde de beste resultaten op. Modellen die afhankelijk waren van visuele embeddings zagen soms een daling als ze alleen tekst kregen, maar de fusie van alle modaliteiten compenseerde dit en leverde de hoogste nauwkeurigheid op.
• Modelkeuze: De combinatie van blip2-flan-t5-xxl voor beeldbeschrijving en Mistral-7b-instruct-v0.3 voor samenvatting bleek de meest effectieve configuratie.

Betekenis en Conclusie

Het paper demonstreert dat het schalen van beelddekking en het omzetten van visueel ambigu materiaal naar tekst een praktische en krachtige route is om Multi-Modale Kennisgrafen te versterken.

• Paradigmaverschuiving: In plaats van te proberen betere visuele encoders te bouwen voor moeilijke beelden, toont het werk aan dat het vertalen van deze beelden naar tekst (via LLM's) de semantische kloof overbrugt en ruis elimineert.
• Efficiëntie: De verrijking gebeurt offline; de gegenereerde tekst kan worden hergebruikt in bestaande modellen zonder extra kosten tijdens het trainen of infereren.
• Toekomst: De methode opent de deur voor het gebruik van een veel breder scala aan visuele data (inclusief abstracte kunst en symbolen) die voorheen als "te riskant" werden beschouwd voor MMKG's, waardoor de representatie van entiteiten rijker en robuuster wordt.