Riepilogo Tecnico: Estensione del Grafo della Conoscenza del Patrimonio Culturale Multimodale con Modelli Linguistici e Visivi

Enunciato del Problema

La conservazione e l'interpretazione del patrimonio culturale dipendono sempre più dai Grafi della Conoscenza (KG) per strutturare enormi quantità di dati. Tuttavia, la costruzione e l'espansione di questi KG affrontano sfide significative a causa della natura diversificata, complessa e spesso non strutturata delle informazioni sul patrimonio culturale (ad esempio, descrizioni testuali e immagini presenti negli archivi museali o su Wikipedia).

I KG esistenti, anche quelli su larga scala come DBpedia o Freebase, sono intrinsecamente incompleti. Questa incompletezza è esacerbata nel dominio del patrimonio culturale, dove i dati storici sono spesso nascosti dietro risorse non strutturate. I metodi tradizionali di Completamento del Grafo della Conoscenza (KGC), che sono prevalentemente basati su embedding (ad esempio, TransE, RESCAL), operano sotto l'Assunzione di Mondo Chiuso (CWA). Questa assunzione limita le previsioni a insiemi predefiniti di entità, rendendo questi metodi insufficienti per introdurre nuove conoscenze o entità che non sono già presenti nel grafo. Inoltre, i benchmark esistenti spesso mancano della complessità operativa, dell'ambiguità e della ricchezza multimodale (testo e immagini) caratteristiche delle collezioni reali del patrimonio culturale.

Metodologia

Gli autori propongono un approccio completo che coinvolge la creazione di un nuovo dataset e un nuovo framework per l'estensione dei KG sotto l'Assunzione di Mondo Aperto (OWA).

1. Il Dataset WJoconde

Gli autori introducono WJoconde, un nuovo grafo della conoscenza multimodale focalizzato sul patrimonio culturale francese, derivato dal database Joconde (un database di riferimento delle collezioni museali francesi) e da Wikidata.

• Costruzione: La pipeline prevede l'estrazione di un grafo di contesto da Wikidata utilizzando entità collegate all'ID Joconde (P347), la pulizia delle ridondanze e l'arricchimento delle entità con testo esterno e immagini da fonti aperte del patrimonio, Wikimedia Commons e Wikipedia.
• Varianti: Sono state create tre varianti per facilitare la ricerca:
  • WJoconde (Raw): Contiene 28.524 entità e 483.938 triple.
  • WJoconde_cleaned: Una versione filtrata che rimuove relazioni inverse, ridondanti e sparse per prevenire un'inflazione artificiale delle prestazioni nei compiti KGC.
  • WJocondeMM: Un sottoinsieme multimodale completo in cui le entità possiedono sia descrizioni testuali che immagini visive.
• Benchmarking: Il dataset funge da nuovo benchmark per il KGC, valutato contro vari modelli di embedding (TransE, ComplEx, TuckER, ecc.). I risultati indicano che i modelli basati sulla traduzione faticano con la complessità del dataset, mentre i modelli a rete neurale profonda come TuckER performano meglio.

2. Framework KGC Multimodale sotto OWA

Per estendere il KG con nuove entità, gli autori propongono una pipeline che sfrutta i Large Language Models (LLM) e i Vision-Language Models (VLM) in modalità zero-shot. Il processo consta di tre fasi:

1. Raccolta delle Informazioni: Per una data tripla con un'entità mancante, il sistema recupera descrizioni testuali non strutturate e immagini visive associate alle entità o relazioni note.
2. Estrazione delle Entità:
   • LLM (es. LLaMA 2): Elabora gli input testuali utilizzando template di prompt progettati per definire il compito del KG, assegnare un ruolo e imporre un formato di output JSON.
   • VLM (es. BLIP): Elabora gli input di immagini in modo simile per estrarre concetti visivi.
   • Entrambi i modelli generano liste di entità candidate senza un addestramento preliminare sul dataset specifico.
3. Validazione e Ancoraggio Congiunti: Per garantire affidabilità e novità, viene applicata una rigorosa pipeline di validazione:
   • Corrispondenza delle Entità: Un modello Word2Vec calcola la similarità tra i candidati generati e le entità esistenti nel KG. I candidati con alta similarità (sinonimi) o le entità esistenti vengono filtrati utilizzando una soglia ($\tau=0.4$).
   • Cross-Validazione: Il VLM viene utilizzato per verificare se le entità generate dall'LLM sono visivamente presenti nell'immagine (e viceversa), riducendo le allucinazioni.
   • Validazione del Modello: I modelli vengono testati sulla loro capacità di riconoscere entità esistenti dal contesto fornito per stabilire una linea di base di credibilità.

Contributi Chiave

Il documento delinea tre contributi principali:

1. Dataset WJoconde: Un grafo della conoscenza multimodale nuovo, di alta qualità, per il patrimonio culturale francese contenente oltre 483k triple. Integra testo e immagini, fungendo da risorsa per la ricerca multimodale e da nuovo benchmark per il KGC.
2. Pipeline di Estensione OWA: Un nuovo framework per l'estensione dei KG sotto l'Assunzione di Mondo Aperto. Combinando LLM e VLM con una pipeline specializzata di ancoraggio e validazione, il metodo introduce con successo nuove entità affidabili nel grafo senza richiedere un fine-tuning del modello.
3. Benchmarking e Valutazione: Valutazione estesa dei modelli KGC esistenti su WJoconde e le sue varianti, insieme a una nuova metodologia di valutazione per scenari OWA che si basa sulla valutazione umana e sulla validazione incrociata tra modelli piuttosto che sulle tradizionali metriche di ranking.

Risultati

La pipeline proposta è stata applicata al dataset WJocondeMM_en:

• Espansione delle Entità: Il metodo ha introdotto con successo il 61,36% di entità in più nel dataset. Nello specifico, sono state aggiunte 4.394 nuove entità finali, espandendo il conteggio delle entità da 7.749 a 12.143.
• Affidabilità:
  • Credibilità del Modello: La pipeline combinata LLM e VLM ha raggiunto un recall del 90,2% e un punteggio F1 del 94,8% nel recupero delle entità ground truth (entità esistenti), dimostrando un'elevata affidabilità nel riconoscimento delle entità.
  • Valutazione Umana: Due annotatori hanno revisionato le entità generate per la relazione "rappresenta". L'approccio combinato ha raggiunto una precisione del 92,0%, indicando che la maggior parte delle entità aggiunte di nuovo era corretta e significativa.
• Qualità Semantica: L'analisi delle entità aggiunte ha mostrato un passaggio dalle categorie "sconosciute" (55,4% nell'originale) a categorie semanticamente ricche e ancorate visivamente come "Oggetto" (22,5%), "Natura" (17,5%) e "Persona" (15,6%). Le entità aggiunte hanno catturato concetti interpretabili (ad esempio, "giostra", "arco", "armatura") rilevanti per gli storici dell'arte.

Significato

Il documento afferma che questo lavoro rappresenta la prima creazione di un dataset di benchmarking multimodale completo nel dominio del patrimonio culturale francese che combina informazioni testuali e visive. Il suo significato risiede in:

• Avanzamento dell'OWA nel Patrimonio Culturale: Dimostrare che i modelli di IA multimodali possono estendere efficacemente i KG con nuove conoscenze, superando i limiti dell'Assunzione di Mondo Chiuso che restringe i metodi KGC tradizionali.
• Utilità Specifica del Dominio: Fornire una risorsa strutturata e multimodale che facilita interrogazioni sofisticate, analisi e ricerca nel patrimonio culturale, affrontando la complessità della gestione di estese collezioni museali.
• Robustezza Metodologica: Stabilire una pipeline di validazione che garantisce l'affidabilità delle conoscenze generate dall'IA, rendendo fattibile l'automazione dell'arricchimento dei dati del patrimonio culturale con alta fiducia.

Gli autori notano che, sebbene la pipeline sia efficace, il lavoro futuro potrebbe esplorare modelli avanzati, apprendimento few-shot e scenari di fine-tuning più sofisticati. Tutto il codice, i dataset e i punti di accesso interattivi sono open-source per facilitare ulteriori ricerche.