Are a Thousand Words Better Than a Single Picture? Beyond Images -- A Framework for Multi-Modal Knowledge Graph Dataset Enrichment

1. Il Problema

I Grafi della Conoscenza Multimodali (MMKG) integrano testo, immagini, audio e video per migliorare la rappresentazione delle entità e le prestazioni nei compiti di previsione dei link. Tuttavia, la costruzione di dataset MMKG su larga scala affronta due limitazioni critiche:

1. Mancanza di Scalabilità: La raccolta delle immagini per le entità dipende spesso dalla curatela manuale, che è lenta, costosa e difficile da scalare a grafi di grandi dimensioni.
2. Immagini Ambigue ma Rilevanti: I curatori tendono a selezionare solo immagini altamente rappresentative ed esplicite, scartando immagini ambigue (come loghi, simboli, o scene astratte) che, sebbene semanticamente rilevanti per l'entità, sono difficili da interpretare direttamente per i modelli di embedding visivo. Queste immagini, se incluse senza elaborazione, introducono "rumore" piuttosto che segnali utili, degradando le prestazioni del modello.

2. Metodologia: Il Framework "Beyond Images"

Gli autori propongono "Beyond Images", una pipeline automatizzata incentrata sui dati per arricchire i dataset MMKG senza modificare l'architettura o le funzioni di perdita dei modelli downstream. Il framework opera in tre fasi principali:

• Fase 1: Modality Extension Module (Estensione della Modalità)

  • Recupera automaticamente immagini aggiuntive correlate alle entità da fonti esterne (es. Wikipedia, motori di ricerca web) utilizzando i nomi delle entità e i loro ID (Wikidata QIDs).
  • Questo passaggio espande significativamente la copertura visiva, includendo anche immagini che sarebbero state scartate in passato (es. loghi, simboli).

• Fase 2: Semantic Generation Module (Generazione Semantica)

  • Converte tutte le immagini (quelle originali e quelle recuperate) in descrizioni testuali.
  • Utilizza modelli Image-to-Text (I2T) avanzati (es. blip2-flan-t5-xxl, git-large-coco, llava-v1.5-7b) per generare caption dettagliate.
  • Obiettivo chiave: Trasformare immagini ambigue (come un logo) in testo semantico esplicito, evitando che vengano processate come embedding visivi ambigui che generano rumore.

• Fase 3: LLM-based Semantic Fusion Module (Fusione Semantica)

  • Utilizza un Large Language Model (LLM) per fondere le multiple descrizioni testuali generate (sia dalle immagini originali che da quelle nuove) in un unico paragrafo coerente e conciso.
  • Il prompt istruisce l'LLM a integrare i dettagli chiave, filtrare il contenuto irrilevante e allineare il testo alla semantica dell'entità.
  • Il risultato è una descrizione testuale arricchita che sostituisce o integra la modalità testuale standard nei modelli MMKG.

Interfaccia di Audit: Viene fornito un'interfaccia leggera per il controllo di coerenza Testo-Immagine, che permette agli annotatori umani di verificare rapidamente la qualità delle sintesi generate.

3. Contributi Chiave

1. Paradigma di Arricchimento Dati: Introduzione di "Beyond Images", un metodo riutilizzabile che converte visuali ambigui ma rilevanti in rappresentazioni testuali allineate alle entità, senza richiedere modifiche architetturali ai modelli MMKG esistenti.
2. Interfaccia di Audit Umano: Sviluppo di un'interfaccia per il controllo di qualità opzionale ma efficiente, che migliora l'affidabilità del dataset.
3. Risorse Open Source: Rilascio di dataset arricchiti, codice e protocolli di valutazione.
4. Validazione Sistematica: Studio completo su tre dataset pubblici (MKG-W, MKG-Y, DB15K) e quattro modelli MMKG diversi (MMRNS, MyGO, NativE, AdaMF).

4. Risultati Sperimentali

Gli esperimenti dimostrano guadagni consistenti nelle prestazioni di previsione dei link:

• Miglioramenti Generali: Su tre dataset pubblici, l'uso delle descrizioni fuse ha portato a guadagni fino al +7% in Hits@1 rispetto ai baseline originali.
• Impatto su Immagini Ambigue: Su un sottoinsieme di entità con immagini "ambigue ma rilevanti" (es. loghi e simboli), la conversione da immagine a testo ha prodotto miglioramenti drastici:
  • +201.35% in MRR (Mean Reciprocal Rank).
  • +333.33% in Hits@1.
  • Questo dimostra che i segnali visivi deboli, quando tradotti in testo esplicito, diventano estremamente informativi.
• Ablazione delle Modalità: L'analisi mostra che per alcuni modelli (es. MyGO, NativE), le descrizioni generate dalle immagini possono sostituire efficacemente gli embedding visivi, mentre per altri (es. MMRNS) la fusione di tutte le modalità (Immagine + Testo + Descrizione Generata) offre i risultati migliori.
• Scelta dei Modelli: Il modello blip2-flan-t5-xxl per la generazione delle caption e Mistral-7b-instruct-v0.3 per la fusione hanno mostrato le prestazioni migliori.

5. Significato e Implicazioni

Il lavoro di Zhang et al. ribalta la prospettiva tradizionale sull'uso delle immagini nei MMKG:

• Dall'Immagine al Testo: Dimostra che per certi tipi di dati (loghi, simboli, arte astratta), convertire l'input visivo in testo è superiore all'uso diretto degli embedding visivi, poiché rende esplicita la semantica latente che i modelli di visione artificiale faticano a catturare.
• Scalabilità e Automazione: Fornisce una soluzione pratica per scalare la costruzione di MMKG, riducendo la dipendenza dalla curatela manuale e permettendo l'inclusione di una varietà visiva più ampia e diversificata.
• Model-Agnostic: Essendo un approccio lato dati, è immediatamente applicabile a qualsiasi modello MMKG esistente, offrendo un percorso semplice per migliorare le prestazioni senza riaddestrare architetture complesse.

In sintesi, "Beyond Images" stabilisce che l'espansione della copertura delle immagini combinata con la loro conversione in testo semantico è una via pratica e potente per potenziare la completamento dei Grafi della Conoscenza Multimodali.