Seeing and Knowing in the Wild: Open-domain Visual Entity Recognition with Large-scale Knowledge Graphs via Contrastive Learning

Probleemstelling

Het paper richt zich op Open-domein Visuele Entiteitsherkenning (Open-domain Visual Entity Recognition). In tegenstelling tot traditionele beeldclassificatie met een vast aantal labels, moet dit systeem beelden koppelen aan een enorm, dynamisch universum van real-world entiteiten (bijvoorbeeld specifieke bezienswaardigheden, kunstwerken of biologische soorten), geïdentificeerd via unieke Wikidata QIDs.

De uitdagingen zijn:

1. Open-set condities: De meeste doelentiteiten zijn onbekend tijdens het trainen (zero-shot) en vertonen een lange staartverdeling (veel zeldzame entiteiten).
2. Beperkte supervisie: Er zijn weinig gelabelde voorbeelden voor zeldzame entiteiten.
3. Semantische ambiguïteit: Visuele en tekstuele overeenkomsten zijn vaak niet voldoende om verschillende entiteiten met dezelfde naam te onderscheiden (bijv. "Mercury" als planeet vs. het metaal kwik).
4. Informatieverlies: Bestaande twee-staps methoden (eerst een tekstlabel genereren, dan zoeken) verliezen vaak visuele nuance en leiden tot semantische verwarring bij het zoeken in de labelruimte.

Methodologie: KnowCoL

De auteurs stellen KnowCoL (Knowledge-guided Contrastive Learning) voor, een raamwerk dat visuele en tekstuele input verenigt in een gedeelde semantische ruimte, verrijkt met gestructureerde kennis uit Wikidata.

Kerncomponenten:

1. Dual-Encoder Architectuur:

   • Het model gebruikt vooraf getrainde CLIP-encoders (frozen) voor afbeeldingen en tekst, aangevuld met trainbare lineaire projectielagen.
   • Invoer bestaat uit een afbeelding ($x_p$) en een tekstuele query ($x_t$) die de intentie van de afbeelding specificeert.
   • Deze worden gefuseerd tot een input-embeddingsvector ($z_{input}$).

2. Multi-modale Entiteitsrepresentatie:

   • Voor elke kandidaat-entiteit in Wikidata worden meerdere bronnen gebruikt:
     • Tekst: Encyclopedische beschrijvingen.
     • Beeld: Lead-afbeeldingen van de entiteit.
     • Gestructureerde Kennis: Relaties uit het Kennisgraph (KG), zoals "is een voorbeeld van" (instance of), "onderklasse van" (subclass of) en "onderdeel van" (part of).
   • Deze bronnen worden geëncodeerd tot entiteit-embeddings ($z_{entity}$).

3. Leerstrategie (Loss Functions):
   Het trainingsproces optimaliseert drie verliesfuncties om een consistente semantische ruimte te creëren:

   • Alignment Loss ($L_a$): Trekt de input-embeddings ($z_{input}$) dichter bij de embeddings van de juiste entiteit ($\phi(e)$) en duwt ze uit elkaar van onjuiste entiteiten (contrastief leren).
   • Proxy Loss ($L_p$): Zorgt ervoor dat de node-embeddings van de kennisgraph (die de entiteit vertegenwoordigen) consistent zijn met de multi-modale beschrijvingen (tekst en beeld) van diezelfde entiteit. Dit fungeert als een "proxy" voor de entiteit.
   • Knowledge Graph Embedding Loss ($L_{KE}$): Leert de structuur van de kennisgraph zelf door triplets $(h, r, t)$ te valideren. Het gebruikt een vertaalgebaseerde aanpak (TransE) met cosinus-afstand om de relationele context te integreren.

   De totale loss is een gewogen som: $L = L_a + \beta_1 L_p + \beta_2 L_{KE}$.

4. Inferentie:
   Tijdens het testen wordt de input-embeddingsvector vergeleken met de geaggregeerde embeddings van alle mogelijke entiteiten (gemiddelde van tekst en beeld) om de entiteit met de hoogste overeenkomst te selecteren.

Belangrijkste Bijdragen

1. Nieuwe Benadering: KnowCoL is de eerste aanpak die een grootschalige kennisgraph (Wikidata) direct integreert in een dual-encoder visuele entiteitsherkenningstaken, in plaats van te vertrouwen op generatieve modellen of kleine domeinspecifieke graphs.
2. Semantisch Niveau: Het verplaatst de focus van oppervlakkige naamovereenkomst naar semantisch begrip door gebruik te maken van hiërarchische relaties en relationele context voor disambiguatie.
3. Efficiëntie: Het model bereikt state-of-the-art resultaten met aanzienlijk minder parameters dan bestaande generatieve modellen.
4. Uitgebreide Evaluatie: Uitgebreide ablatiestudies tonen het effect van verschillende kennisbronnen (lead-afbeeldingen, hiërarchie), fusiemethoden en hyperparameters.

Resultaten

Het model werd geëvalueerd op het OVEN-benchmark (Open-domain Visual Entity recognitioN), een dataset met meer dan 6 miljoen trainingssamples en een labelruimte van miljoenen Wikidata-entiteiten.

• Prestaties: KnowCoL-bigG bereikte een Harmonisch Gemiddelde (HM) van 38,8% voor zowel zichtbare als onzichtbare entiteiten.
• Vergelijking met SOTA:
  • Het presteerde significant beter dan grote generatieve modellen zoals Auto-VER-14B (HM 28,9%) en PaLI-17B (HM 16,0%), ondanks dat KnowCoL-bigG 7x minder parameters heeft.
  • Voor onzichtbare (unseen) entiteiten (zero-shot) verbeterde het de nauwkeurigheid met 10,5% ten opzichte van de state-of-the-art.
• Schaalbaarheid: Zelfs het kleinste model (KnowCoL-L, ViT-L/14) presteerde beter dan veel grotere baselines, wat aantoont dat de kennisintegratie de belangrijkste factor is, niet alleen de modelgrootte.
• Ablatie:
  • Het verwijderen van lead-afbeeldingen of hiërarchische kennis (subclass/instance) leidde tot een duidelijke daling in prestaties, vooral voor onzichtbare entiteiten.
  • Simpele additieve fusie van beeld en tekst werkte beter voor generalisatie dan complexere methoden (zoals Transformer Encoders), die neigden tot overfitting op zichtbare entiteiten.

Significantie

Dit paper markeert een belangrijke stap in de evolutie van computer vision naar echt open-domein begrip. Door gestructureerde kennis (Wikidata) direct te integreren in de representatieleraar, lost het model het probleem van "lange staart" en "zero-shot" herkenning effectiever op dan generatieve benaderingen.

De belangrijkste implicaties zijn:

• Efficiëntie: Het is mogelijk om zeer sterke prestaties te behalen met kleinere, efficiëntere modellen door slim gebruik te maken van externe kennis, in plaats van te vertrouwen op brute kracht en enorme parameteraantallen.
• Disambiguatie: Het biedt een robuustere manier om entiteiten te onderscheiden die visueel of tekstueel vergelijkbaar zijn, maar semantisch verschillend, wat cruciaal is voor toepassingen in de echte wereld (zoals robotica, zoekmachines en augmented reality).
• Toekomstperspectief: Het opent de weg voor het gebruik van nog complexere kennisstructuren (zoals niet-Euclidische ruimtes) om de hiërarchische aard van kennis nog beter te modelleren.