Seeing and Knowing in the Wild: Open-domain Visual Entity Recognition with Large-scale Knowledge Graphs via Contrastive Learning

1. Il Problema: Riconoscimento di Entità Visive in Dominio Aperto

Il paper affronta il compito del Riconoscimento di Entità Visive in Dominio Aperto (Open-domain Visual Entity Recognition - OVEN). A differenza delle tradizionali attività di classificazione che operano su un insieme fisso di etichette, l'OVEN mira a collegare immagini e query testuali a un universo vasto ed evolutivo di entità del mondo reale (es. punti di riferimento, opere d'arte, specie biologiche, figure pubbliche), identificate tramite i loro ID univoci in Wikidata (QID).

Le sfide principali identificate sono:

• Spazio delle etichette enorme e a coda lunga: Il modello deve gestire milioni di entità, molte delle quali rare o mai viste durante l'addestramento (zero-shot).
• Ambiguità visiva e semantica: Entità diverse possono apparire simili, mentre entità con nomi simili (es. "Mercurio" come pianeta o come metallo) richiedono disambiguazione contestuale.
• Limiti degli approcci esistenti:
  • Gli approcci dual-encoder (es. CLIP) trattano le entità come etichette isolate, ignorando le relazioni semantiche strutturate.
  • Gli approcci generativi a due fasi (es. generare un testo e cercare con BM25) perdono informazioni visive ricche nella conversione in testo semplice, portando a ambiguità semantiche e errori di disambiguazione.

2. Metodologia: KnowCoL (Knowledge-guided Contrastive Learning)

Gli autori propongono KnowCoL, un framework che integra conoscenze strutturate da Wikidata e descrizioni testuali di Wikipedia in uno spazio semantico condiviso, superando i limiti degli approcci puramente visivi o testuali.

Architettura del Modello

Il sistema utilizza un paradigma dual-encoder che proietta input multimodali in uno spazio latente strutturato:

1. Encoder di Input:
   • Immagine e Query Testuale: Vengono codificati utilizzando encoder CLIP pre-addestrati (frozen) più strati di proiezione lineari (trainable). Un modulo "Fuser" combina le embedding dell'immagine e del testo per rappresentare l'entità intesa.
2. Codifica delle Entità (Knowledge Base):
   • Per ogni entità candidata in Wikidata, il sistema utilizza:
     • La descrizione testuale enciclopedica.
     • Le immagini principali (lead images) associate all'entità.
     • La struttura del Knowledge Graph (KG) di Wikidata (relazioni come instance of, subclass of, part of).
3. Knowledge Graph Embeddings (KGE):
   • Le entità e le relazioni di Wikidata sono mappate in vettori latenti ($\phi(e)$ e $\psi(r)$) utilizzando metodi di embedding (es. TransE), creando una rappresentazione strutturata delle conoscenze.

Funzione di Perdita (Loss Function)

L'addestramento è guidato da tre obiettivi di ottimizzazione combinati:

1. Alignment Loss ($L_a$): Allinea l'embedding congiunto dell'input (immagine + query) con l'embedding dell'entità corretta (ground truth) nello spazio latente, utilizzando una perdita contrastiva simmetrica.
2. Proxy Loss ($L_p$): Assicura che le embedding dei nodi del KG (che fungono da "proxy" per le entità) catturino le informazioni semantiche sia dalle immagini che dai testi delle entità stesse.
3. Knowledge Graph Loss ($L_{KE}$): Una perdita basata su triplette che apprende le relazioni strutturali del KG (es. se $A$ è un'istanza di $B$), preservando la topologia della conoscenza durante l'addestramento.

La perdita totale è: $L = L_a + \beta_1 L_p + \beta_2 L_{KE}$.

Inferenza

Durante l'inferenza, per una data immagine e query, il modello calcola l'embedding di input e lo confronta con l'embedding media (testo + immagine) di tutte le entità candidate nel KG, selezionando quella con la massima similarità (cosine similarity).

3. Contributi Chiave

1. Approccio Dual-Encoder con Conoscenza Esterna: È il primo approccio a sfruttare un Knowledge Graph su larga scala (Wikidata) per il riconoscimento di entità visive in dominio aperto, integrando conoscenza strutturata, testuale e visiva.
2. Generalizzazione Zero-Shot: Il modello dimostra una capacità eccezionale di riconoscere entità mai viste durante l'addestramento, grazie alla capacità di generalizzare attraverso similarità semantiche e relazioni strutturali.
3. Efficienza: Il modello più piccolo di KnowCoL (basato su ViT-L/14) supera lo stato dell'arte (SOTA) con un miglioramento del 10,5% sulla precisione delle entità non viste, pur essendo 35 volte più piccolo dei modelli generativi più grandi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul benchmark OVEN, che combina 14 dataset di riconoscimento immagini con QID di Wikidata.

• Performance Complessiva: La variante KnowCoL-bigG raggiunge un Harmonic Mean (HM) del 38,8%, superando modelli generativi massicci come Auto-VER-14B (HM 28,9%) e PaLI-17B (HM 16,0%), pur utilizzando 7 volte meno parametri.
• Generalizzazione Zero-Shot: Il miglioramento più significativo è osservato sulle entità "unseen" (non viste), dove KnowCoL supera i modelli basici di CLIP e le architetture generative a due fasi, dimostrando che la conoscenza strutturata aiuta a disambiguare concetti simili.
• Analisi di Ablazione:
  • Tipi di Conoscenza: La rimozione delle immagini principali o delle relazioni gerarchiche del KG (es. instance of) causa un calo significativo delle prestazioni, specialmente per le entità non viste.
  • Metodi di Fusione: Un semplice metodo di addizione per fondere embedding di immagine e testo si è rivelato superiore a metodi complessi (MLP, Transformer Encoder) per la generalizzazione zero-shot, poiché i metodi complessi tendono a overfittare sulle entità viste.
  • Embedding KG: L'uso di TransE con similarità coseno (invece della distanza euclidea) ha mostrato le migliori prestazioni, allineandosi meglio con lo spazio vettoriale di CLIP.

5. Significato e Impatto

Il lavoro di Zhou et al. segna un passo avanti fondamentale nel passaggio dal riconoscimento visivo superficiale alla comprensione semantica profonda.

• Superamento dell'Overfitting: Dimostra che l'integrazione di Knowledge Graphs permette ai modelli di generalizzare efficacemente a nuovi concetti senza bisogno di enormi quantità di dati di addestramento specifici per ogni classe.
• Efficienza Computazionale: Offre una via d'uscita dai modelli generativi pesanti e costosi, proponendo un'architettura più leggera ma più accurata per compiti di riconoscimento in dominio aperto.
• Disambiguazione Contestuale: Fornisce un meccanismo robusto per risolvere ambiguità (es. distinguere tra un pianeta e un metallo) sfruttando le relazioni logiche del mondo reale, un aspetto spesso trascurato dai modelli puramente basati su similarità visiva.

In conclusione, KnowCoL stabilisce un nuovo stato dell'arte per l'OVEN, dimostrando che la combinazione di rappresentazioni visive, linguistiche e di conoscenza strutturata è la chiave per sistemi di visione artificiale scalabili e intelligenti.