Sintesi Tecnica: MKG-RAG-Bench

Definizione del Problema

La generazione aumentata dal recupero (RAG) ha migliorato l'ancoraggio fattuale dei grandi modelli linguistici (LLM), tuttavia gli approcci esistenti si affidano prevalentemente a corpora testuali non strutturati. Sebbene il RAG basato su grafi di conoscenza (KG-RAG) affronti i problemi di rumore e frammentazione utilizzando dati strutturati, le metodologie attuali sono ampiamente limitate a grafi di conoscenza testuali. Questa limitazione ne restringe l'applicabilità in scenari reali in cui informazioni critiche vengono trasmesse attraverso immagini, grafici e tabelle.

La sfida specifica affrontata in questo lavoro è il MKG-RAG (Multimodal Knowledge Graph-RAG), che integra la conoscenza strutturata attraverso molteplici modalità. Tuttavia, il campo manca di un benchmark dedicato per valutare questo scenario. I benchmark esistenti per il RAG multimodale (M-RAG) recuperano da corpora non strutturati, mentre i benchmark per KG-RAG si concentrano su grafi testuali. Nessuno dei due cattura le sfide uniche del MKG-RAG, specificamente:

1. Recupero Eterogeneo: Query e triplette target possono coinvolgere diverse combinazioni di modalità (ad esempio, query solo testuali che richiedono prove visive, o query multimodali che richiedono relazioni testuali).
2. Allineamento Cross-Modale: La rilevanza spesso richiede il ragionamento attraverso le modalità e la topologia del grafo piuttosto che un semplice matching superficiale.
3. Utilità del Benchmark: I grafi di conoscenza multimodali esistenti spesso contengono triplette a bassa utilità o generiche che portano a query ambigue, oscurando il vero contributo dei meccanismi di recupero.

L'analisi preliminare nel paper dimostra che la combinazione ingenua di esistenti grafi di conoscenza multimodali (ad esempio, MedMKG) con task a valle risulta in un degrado delle prestazioni rispetto ai baseline privi di RAG, principalmente a causa del recupero di conoscenza irrilevante per il task e dell'assenza di conoscenza critica per il task.

Metodologia

Gli autori propongono MKG-RAG-Bench, un benchmark cross-domain progettato per valutare esplicitamente il recupero e la generazione nel MKG-RAG. Il benchmark è costruito utilizzando una pipeline di cura basata su LLM, strutturata in tre fasi:

1. Filtraggio dell'Utilità basato su LLM: Un LLM valuta le triplette dai grafi di conoscenza sorgente (MarKG per domini generali e MedMKG per domini medici) per filtrare i dati a bassa utilità. Le triplette che generano domande generiche o che non richiedono prove esterne vengono rimosse per garantire che le query siano ben ancorate e che il recupero sia necessario.
2. Simulazione Controllata della Completezza: Per creare query con supervisione esatta, la pipeline simula l'incompletezza mascherando componenti delle triplette conservate.
   • Mascheramento della Relazione: La relazione viene nascosta, richiedendo l'inferenza a partire dalle entità testa e coda.
   • Mascheramento della Coda: L'entità coda viene nascosta, richiedendo l'inferenza a partire dalla testa e dalla relazione.
   • L'entità testa è preservata come ancora semantica per facilitare l'ancoraggio multimodale.
3. Sintesi Ibrida delle Domande: Un LLM (GPT-5) sintetizza domande in linguaggio naturale dalle triplette mascherate in due modalità:
   • Solo Testo: Per la conoscenza solo testuale, generando domande che mirano esplicitamente alla componente mancante.
   • Ancorata all'Immagine: Per le triplette con entità visive, l'immagine viene fornita all'LLM e l'entità viene referenziata come [Immagine] per imporre l'ancoraggio visivo e prevenire un banale matching lessicale.

Il dataset risultante include coppie query-tripletta allineate per la valutazione del recupero e coppie domanda-risposta per la valutazione della generazione. Il benchmark copre cinque specifici setting di valutazione (S1–S5) che variano per modalità di query (solo testo vs multimodale) e ambito delle triplette candidate (solo testo vs multimodale vs tutte).

Il framework di valutazione testa quattro categorie di recuperatori in un contesto senza addestramento (training-free):

• Recuperatori solo testuali (trattando le triplette come testo semplice).
• Recuperatori multimodali basati sulla fusione (spazio di rappresentazione condiviso).
• Recuperatori basati sul captioning (conversione delle immagini in testo).
• Recuperatori basati sul reranking (filtraggio multi-stadio).

Contributi Chiave

1. Identificazione di un Gap di Ricerca: Il lavoro evidenzia che il recupero nel MKG-RAG è sott esplorato e insufficientemente valutato nella ricerca attuale sul RAG multimodale.
2. Primo Benchmark Cross-Domain per MKG-RAG: L'introduzione di MKG-RAG-Bench, composto da due grafi di conoscenza multimodali e relativi dataset QA, che consente la valutazione sistematica sia della qualità del recupero che della generazione a valle.
3. Pipeline di Cura Principled: Una nuova pipeline che utilizza LLM per affrontare le sfide del recupero eterogeneo, dell'allineamento multimodale e dell'utilità del benchmark, filtrando la conoscenza a bassa utilità e generando query strutturalmente ancorate.
4. Framework di Valutazione Unificato: Esperimenti completi attraverso diversi setting multimodali che dimostrano il ruolo critico di un recupero efficace nelle prestazioni end-to-end del MKG-RAG.

Risultati

Sono stati condotti estesi esperimenti sui dataset MKG-RAG-Bench-G (generale) e MKG-RAG-Bench-M (medico) utilizzando architetture di recupero rappresentative. Le principali scoperte includono:

• Difficoltà del Recupero: Il recupero multimodale efficace rimane una sfida significativa. Nel dominio medico (MedMKG), i recuperatori multimodali (Fusion, Reranking) hanno superato significativamente i recuperatori solo testuali e basati sul captioning nei setting multimodali, ma le prestazioni sono variate drasticamente in base all'allineamento delle modalità.
• Impatto della Modalità:
  • Nel dominio generale, i recuperatori basati sulla fusione hanno ottenuto l'NDCG@K e il Recall@K più elevati (ad esempio, ~62% di Recall@100 per query multimodali con triplette multimodali), superando gli approcci solo testuali e di captioning.
  • Nel dominio medico, i recuperatori basati sul reranking hanno mostrato prestazioni superiori in setting multimodali complessi (ad esempio, ~51% di Recall@100 per query multimodali con tutte le triplette), suggerendo che le pipeline multi-stadio sono efficaci per gestire dati medici rumorosi o complessi.
• Il Recupero Determina la Generazione: Il paper stabilisce che la qualità del recupero determina fortemente gli esiti della generazione. Un cattivo recupero porta all'iniezione di rumore o all'assenza di fatti critici, degradando la qualità della risposta finale.
• Confronto con i Baseline: Negli studi preliminari utilizzando i grafi esistenti senza cura, i modelli privi di RAG hanno spesso superato i modelli aumentati dal recupero, sottolineando la necessità del dataset curato ad alta utilità fornito da MKG-RAG-Bench.

Significato

Il paper sostiene che MKG-RAG-Bench fornisca una base rigorosa per diagnosticare le attuali limitazioni dei sistemi di conoscenza multimodale. Isolando il recupero come obiettivo di valutazione primario, il benchmark permette ai ricercatori di:

• Distinguere i miglioramenti derivanti da un recupero efficace rispetto a quelli derivanti da prior generativi.
• Coprire sistematicamente diverse configurazioni di modalità per riflettere l'uso reale.
• Far avanzare lo sviluppo di recuperatori più potenti progettati specificamente per la conoscenza strutturata e multimodale.

Il lavoro afferma che, senza un simile benchmark, le vere capacità e i limiti dei sistemi MKG-RAG rimangono oscurati dal disallineamento tra fonti di conoscenza, obiettivi di recupero e metriche di valutazione.