mKG-RAG: Leveraging Multimodal Knowledge Graphs in Retrieval-Augmented Generation for Knowledge-intensive VQA

1. Enunciato del Problema

La Visual Question Answering (VQA) basata su conoscenze richiede ai modelli di rispondere a domande che dipendono da fatti esterni, enciclopedici o a lunga coda non presenti nei dati di addestramento o nell'input visivo immediato. Sebbene i Modelli Linguistici Multimodali (MLLM) eccellano nel ragionamento di senso comune, faticano con query fattuali specifiche, spesso allucinando o rifiutandosi di rispondere.

Gli attuali approcci Retrieval-Augmented Generation (RAG) tentano di risolvere il problema recuperando documenti esterni. Tuttavia, i metodi esistenti soffrono di tre limitazioni critiche:

1. Rumore non strutturato: Si basano su frammenti di testo o paragrafi non strutturati, che introducono contesto irrilevante e "rumore", rendendo difficile per gli MLLM isolare i fatti chiave.
2. Mancanza di relazioni strutturali: Trascurano le connessioni logiche tra gli elementi di conoscenza, limitando la capacità del modello di eseguire ragionamenti multi-hop.
3. Divario modale: La maggior parte dei sistemi RAG utilizza recuperatori unimodali (solo testo o solo visione) o non riesce ad allineare efficacemente le evidenze visive e testuali, portando a un recupero subottimale in scenari multimodali.

2. Metodologia: mKG-RAG

Gli autori propongono mKG-RAG, un framework che integra Grafici di Conoscenza Multimodali (KG) nella pipeline RAG. Il framework consta di due fasi principali:

A. Costruzione del Grafico di Conoscenza Multimodale

Invece di utilizzare KG preesistenti (che mancano di conoscenze specifiche/a lunga coda), mKG-RAG costruisce KG dinamici e di alta qualità da documenti multimodali non strutturati (ad esempio, pagine di Wikipedia con testo e immagini).

• Estrazione del Grafo Testuale: Utilizza un MLLM per estrarre entità e relazioni da segmenti di testo, formando un sottografo testuale ($G_t$).
• Estrazione del Grafo Visivo: Utilizza tecniche di Generazione di Grafi di Scena (SGG) per rilevare oggetti e le loro relazioni spaziali/semantiche all'interno delle immagini, formando un sottografo visivo ($G_v$).
• Aggregazione del Grafo Multimodale: Un'innovazione centrale in cui un MLLM funge da Vision-Text Matcher. Allinea entità e relazioni da $G_t$ e $G_v$ basandosi sulla coerenza semantica.
  • Meccanismo: L'MLLM riceve l'immagine, il grafo testuale (come linguaggio naturale) e il grafo visivo (come ID oggetti, categorie e bounding box). Produce coppie abbinate, allegando efficacemente attributi visivi (bounding box, categorie di oggetti) alle entità testuali.
  • Risultato: Un KG multimodale unificato in cui nodi e archi possiedono sia descrizioni testuali che ancoraggio visivo.

B. Recupero Multimodale a Due Stadi

Per gestire il costo computazionale della ricerca su grandi grafi, mKG-RAG impiega una strategia di recupero a due stadi:

1. Recupero del Documento a Grana Grossa:
   • Utilizza un Recuperatore Multimodale Consapevole della Query (QM-Retriever) per eseguire una ricerca vettoriale sull'intero corpus di documenti.
   • Il QM-Retriever è addestrato per allineare query multimodali (Immagine + Domanda) con evidenze (Immagine + Testo). Include un "Convertitore di Domande" che trasforma le domande interrogative in affermazioni dichiarative nello spazio latente per abbinare meglio il testo delle evidenze.
   • Questa fase restringe lo spazio di ricerca ai primi $K$ documenti candidati.
2. Recupero del Grafo a Granularità Multipla:
   • Costruisce un sottografo specifico per la query unendo i KG offline dei documenti candidati.
   • Recupero di Entità/Relazioni: Recupera nodi e archi specifici basandosi sulla similarità degli embedding rispetto alla query.
   • Espansione del Sottografo: Esegue una traversata dei vicini a $l$-hop (Breadth-First Search) sul sottografo recuperato per catturare connessioni contestuali, includendo solo i vicini che superano una soglia di similarità per prevenire il rumore.

C. Generazione della Risposta

Il contesto finale fornito all'MLLM include l'immagine originale, la domanda, gli elementi strutturati del grafo recuperati (fornendo una struttura di conoscenza) e i frammenti testuali associati (fornendo dettagli).

3. Contributi Chiave

1. RAG Potenziato da KG Multimodali: Il primo framework che integra specificamente KG multimodali costruiti nel RAG per la VQA basata su conoscenze, catturando relazioni strutturali e indizi cross-modali.
2. Pipeline di Costruzione Innovativa: Un metodo per distillare documenti multimodali non strutturati in KG strutturati utilizzando l'estrazione guidata da MLLM e l'abbinamento visione-testo, garantendo coerenza semantica tra le modalità.
3. Recupero a Due Stadi e QM-Retriever: Un paradigma di recupero a due stadi (Documento $\to$ Grafo) e un Recuperatore Multimodale Consapevole della Query specializzato, addestrato con apprendimento contrastivo e obiettivi di riformulazione delle domande per colmare il divario modale.
4. Prestazioni all'Avanguardia: L'approccio supera significativamente le baseline esistenti su benchmark standard.

4. Risultati Sperimentali

Il metodo è stato valutato su due benchmark: E-VQA (5.800 campioni) e InfoSeek (73.000 campioni di validazione).

• Prestazioni:
  • E-VQA: Ha raggiunto un'accuratezza del 36,3% (insieme All), superando il precedente migliore (ReflectiVA*) con un margine significativo.
  • InfoSeek: Ha raggiunto un'accuratezza del 40,5% (insieme All), stabilendo un nuovo stato dell'arte.
  • Miglioramento: Rispetto agli MLLM zero-shot, mKG-RAG ha migliorato l'accuratezza di oltre il 20% su E-VQA e del 31% su InfoSeek.
• Efficienza del Recupero: Il QM-Retriever ha raggiunto miglioramenti medi del Recall del 9,9% (E-VQA) e del 7,0% (InfoSeek) rispetto alle migliori baseline unimodali/cross-modali (come CLIP).
• Studi di Ablazione:
  • Rimuovere il QM-Retriever (usando CLIP invece) ha fatto scendere l'accuratezza di circa il 4-5%.
  • Sostituire il recupero del grafo con il recupero basato su frammenti ha fatto scendere l'accuratezza di circa l'8%.
  • L'espansione del sottografo ha contribuito a un ulteriore guadagno di circa l'1,3%.
• Generalizzazione: Il framework ha mostrato guadagni di prestazioni coerenti (media +9,4%) su varie architetture MLLM (Phi3V, LLaMA-3.2, Qwen2.5-VL, ecc.), indipendentemente dalla dimensione dei parametri.
• Efficienza: Nonostante la pipeline complessa, la pesante costruzione del KG è offline. L'inferenza online aggiunge solo un costo computazionale di 1,14x rispetto alla generazione zero-shot, fornendo al contempo un miglioramento dell'accuratezza di 1,37x rispetto al RAG ingenuo.

5. Significato

Questo paper affronta un collo di bottiglia critico nell'IA multimodale: l'incapacità dei modelli attuali di ragionare su conoscenze strutturate ed esterne quando indizi visivi e testuali sono intrecciati. Spostandosi dal recupero di testo non strutturato al recupero di grafi multimodali strutturati, mKG-RAG:

• Riduce le Allucinazioni: Fornisce evidenze precise e strutturate che guidano l'MLLM.
• Migliora il Ragionamento: La struttura del grafo modella esplicitamente le relazioni, aiutando nel ragionamento multi-hop (ad esempio, collegare un oggetto in un'immagine a un fatto specifico in un documento).
• Colma le Modalità: Il QM-Retriever e l'abbinamento visione-testo garantiscono che le evidenze visive e testuali siano recuperate e allineate in modo coerente, invece di trattarle come silos separati.

Il lavoro dimostra che integrare rappresentazioni di conoscenza strutturate (KG) con modelli generativi è un paradigma superiore per compiti basati su conoscenze rispetto al RAG tradizionale, aprendo la strada a sistemi di IA multimodale più affidabili e fattuali.