QA-Dragon: Query-Aware Dynamic RAG System for Knowledge-Intensive Visual Question Answering

Il paper presenta QA-Dragon, un sistema RAG dinamico e consapevole della query che integra agenti di ricerca testuale e visiva per migliorare il ragionamento multimodale e multi-hop nelle domande visive basate su conoscenze, ottenendo risultati significativi nella sfida Meta CRAG-MM del KDD Cup 2025.

L'essenziale

Immagina di avere un assistente personale super-intelligente (chiamiamolo "Il Drago") che deve rispondere a domande su una foto che gli mostri. Il problema è che a volte il Drago è molto bravo a "inventare" risposte (allucinazioni) perché non sa tutto, o perché la foto da sola non basta a spiegare tutto.

QA-Dragon è un sistema che insegna a questo Drago a non inventare, ma a cercare la verità prima di parlare. Ecco come funziona, passo dopo passo, usando delle metafore quotidiane:

1. Il Problema: Il Drago che "Sogna"

Prima, se chiedevi a un'IA: "Che marca è questa auto nella foto?", lei guardava l'immagine e tirava a indovinare basandosi su ciò che aveva imparato in passato. Se non era sicura, spesso inventava una marca che sembrava plausibile ma che era sbagliata. Era come un turista che risponde a una domanda in una città straniera basandosi solo su ciò che ha letto su Wikipedia anni prima, senza guardare i cartelli stradali o chiedere ai locali.

2. La Soluzione: Il Drago con la "Bussola" e la "Mappa"

QA-Dragon dà al Drago due strumenti magici: una Bussola (per capire di cosa si parla) e una Mappa (per cercare informazioni aggiornate).

Passo 1: La Bussola (Il "Domain Router")

Prima di rispondere, il Drago chiede a se stesso: "Di cosa stiamo parlando? È cibo? È un'auto? È un libro?".

• Metafora: È come entrare in un grande magazzino. Se chiedi "Dov'è il latte?", non vai nel reparto dei vestiti. Il Drago usa questa bussola per capire in quale "reparto" della conoscenza deve cercare. Se la domanda è su un'auto, attiva il suo "cervello da meccanico"; se è su un piatto di pasta, attiva il "cervello da chef".

Passo 2: La Scelta della Strada (Il "Search Router")

Una volta capito l'argomento, il Drago si chiede: "Devo cercare informazioni fuori o posso rispondere subito?".

• Risposta Diretta: Se la risposta è scritta chiaramente sulla foto (es. "Cosa c'è scritto su questo cartello?"), il Drago risponde subito. Non perde tempo.
• Verifica: Se la risposta è incerta (es. "Quanto costa questa auto?"), il Drago decide di andare a controllare.
• Ricerca Completa: Se la domanda è complessa (es. "Chi ha fondato il marchio di questa auto?"), il Drago sa che la foto non basta e deve fare una vera ricerca.

Passo 3: Gli Esploratori (Gli Agenti di Ricerca)

Qui il sistema diventa geniale. Non usa un solo modo per cercare, ma ne usa due in base alla necessità:

• L'Esploratore Visivo (Image Search): Se il Drago vede un oggetto ma non ne conosce il nome, manda l'Esploratore Visivo a cercare foto simili nel database per capire: "Ah, questa è una BMW M4!".
• L'Esploratore Testuale (Text Search): Una volta capito che è una BMW M4, l'Esploratore Testuale va su internet (o su un database di notizie) per trovare i dettagli che la foto non mostra: "Quanto costa? Quando è uscita? Chi l'ha inventata?".

Passo 4: Il Filtro d'Oro (Il "Reranker")

Immagina di aver fatto una ricerca su Google e di aver trovato 50 risultati. Molti sono spazzatura o pubblicità.
Il Drago ha un Filtro d'Oro che legge tutte queste 50 risposte e ne sceglie solo le 3 migliori e più pertinenti. Non si fida di tutto ciò che trova, ma seleziona solo le prove solide per costruire la sua risposta finale.

Passo 5: Il Controllo di Qualità (Il "Verifier")

Prima di consegnare la risposta al cliente, il Drago si fa un ultimo controllo: "Sono sicuro al 100%? Ho le prove?".
Se la risposta sembra un po' "tirata" o non supportata dalle prove trovate, il Drago ha il coraggio di dire: "Non lo so con certezza" invece di inventare una bugia.

Perché è così speciale?

La vera magia di QA-Dragon è che non è rigido.

• Se la domanda è semplice, risponde subito (veloce).
• Se la domanda è difficile, attiva tutti gli esploratori (preciso).
• Se la domanda richiede di collegare più pezzi di informazioni (es. "Confronta il prezzo di questa auto con quella del 2020"), sa fare questo ragionamento a più livelli.

In sintesi

QA-Dragon è come un investigatore privato che non si accontenta di guardare la scena del crimine (la foto).

1. Capisce di che tipo di caso si tratta (Bussola).
2. Decide se basta guardare o se serve indagare (Scelta della strada).
3. Chiede aiuto a esperti visivi e testuali (Esploratori).
4. Filtra le testimonianze per trovare la verità (Filtro).
5. Verifica che la storia abbia senso prima di parlarne (Controllo).

Grazie a questo sistema, il Drago commette molte meno "bugie" (allucinazioni) e fornisce risposte molto più accurate, specialmente quando si tratta di domande complesse che richiedono conoscenze aggiornate o dettagli specifici che non sono visibili a occhio nudo.

Sommario tecnico

1. Il Problema

I Modelli Linguistici Multimodali (MLLM) hanno dimostrato capacità avanzate nel rispondere a domande visive (VQA), ma affrontano sfide significative quando si tratta di query che richiedono conoscenze a lunga coda (long-tail knowledge) o ragionamenti multi-hop. Spesso generano risposte allucinate o inaccurate a causa della scarsità di conoscenze specifiche nel loro corpus di addestramento.
Sebbene il Retrieval-Augmented Generation (RAG) sia stato introdotto per mitigare questi problemi integrando conoscenze esterne, i metodi RAG esistenti presentano limitazioni:

• Recuperano informazioni solo da fonti testuali o solo da immagini in isolamento.
• Faticano a gestire query complesse che richiedono ragionamenti multi-hop o conoscenze fattuali aggiornate.
• Non adattano dinamicamente la strategia di recupero in base alla natura della query o al dominio specifico.

2. Metodologia: QA-Dragon

Per superare queste limitazioni, gli autori propongono QA-Dragon, un sistema RAG dinamico e consapevole della query, progettato per compiti VQA ad alta intensità di conoscenza. Il sistema orchestra agenti di ricerca testuale e visiva in un'architettura ibrida, suddividendo il processo in tre rami principali e diversi moduli modulari.

Architettura e Componenti Chiave

Il flusso di lavoro di QA-Dragon è il seguente:

1. Modulo Pre-Risposta (Pre-Answer Module):

   • Domain Router: Utilizza un modello vision-language (BLIP-2) per identificare il dominio semantico della coppia (immagine, query). Questo permette di attivare agenti di ragionamento specifici per quel dominio.
   • D-CoT (Domain-specific Chain-of-Thought): Genera una traccia di ragionamento strutturata e una risposta provvisoria. Questo passo serve a valutare se il modello possiede già le informazioni necessarie o se necessita di evidenze esterne.

2. Search Router (Instradatore di Ricerca):

   • Analizza la traccia di ragionamento e la risposta provvisoria per decidere il percorso di esecuzione ottimale tra tre opzioni:
     • Direct Output: Se la risposta è certa e basata solo sull'immagine (es. OCR, calcoli visivi).
     • Search Verify: Se la risposta è incerta e richiede verifica esterna.
     • RAG-Augment: Se la query dipende da conoscenze esterne non presenti nell'immagine.

3. Tool Router (Instradatore degli Strumenti):

   • Decide quale modalità di ricerca attivare in base alla traccia di ragionamento:
     • Image Search Agent: Se l'oggetto non è identificato o serve riconoscimento visivo.
     • Text Search Agent: Se l'oggetto è noto ma mancano attributi fattuali (prezzi, specifiche, date).
     • Fusion Search: Combina le informazioni dell'oggetto identificato visivamente con query testuali per ricerche web più precise.

4. Agenti di Recupero e Reranking:

   • Image & Text Search Agents: Recuperano evidenze da API simulate (Knowledge Graph visivo e Web Search).
   • Query Splitting: Scompone query complesse in sottodomande per un recupero più efficace.
   • Coarse-to-Fine Multimodal Reranker: Un sistema a due stadi per filtrare e riordinare le evidenze:
     • Fase Grezza: Usa un modello Q-Former per filtrare evidenze basandosi sulla rilevanza visiva e testuale.
     • Fase Fine: Usa un LLM (Qwen3-Reranker) per un punteggio di rilevanza contestuale preciso.

5. Modulo Post-Risposta (Post-Answer Module):

   • Generatore CoT: Produce la risposta finale basata sulle evidenze riordinate.
   • Verificatore a Doppio Livello: Combina un verificatore "white-box" (basato sulla probabilità dei token) e un verificatore basato su MLLM per confermare la coerenza logica e ridurre le allucinazioni.

3. Contributi Chiave

• Sistema Ibrido Dinamico: A differenza dei RAG tradizionali, QA-Dragon integra dinamicamente ricerca testuale e visiva, selezionando la strategia ottimale in base al dominio e alla complessità della query.
• Routing Intelligente: L'introduzione di Domain Router, Search Router e Tool Router permette al sistema di adattarsi a scenari diversi (single-turn, multi-turn, single-source, multi-source) senza intervento umano.
• Reranking Multimodale: Un meccanismo a due stadi che garantisce che solo le evidenze più pertinenti e semanticamente allineate vengano utilizzate per generare la risposta finale.
• Verifica della Fiducia: Un meccanismo di verifica duale che riduce drasticamente le allucinazioni, assicurando che le risposte siano fondate su evidenze recuperate.

4. Risultati Sperimentali

Il sistema è stato valutato sulla sfida Meta CRAG-MM Challenge (KDD Cup 2025), un benchmark realistico per VQA multimodale e multi-turn.

• Performance Generale: QA-Dragon ha superato significativamente i baseline (LLM puro, CoT, RAG diretto) in tutti i compiti.
  • Task Single-Source: +5.06% di accuratezza rispetto al baseline migliore.
  • Task Multi-Source: +6.35% di accuratezza.
  • Task Multi-Turn: +5.03% di accuratezza.
• Qualità della Conoscenza: Il sistema ha ottenuto punteggi di sovrapposizione (Overlap) con le verità fondamentali molto superiori, indicando una migliore allineamento con le evidenze corrette.
• Analisi di Ablazione: La rimozione di qualsiasi componente chiave (Domain Router, Tool Router, Reranking) ha portato a un calo misurabile dell'accuratezza, confermando il valore di ogni modulo.
• Efficienza: Nonostante la complessità, il sistema rispetta i vincoli di latenza (10 secondi per turno), sebbene la versione più completa (QA-Dragon★) abbia un costo computazionale leggermente superiore.

5. Significato e Impatto

QA-Dragon rappresenta un passo avanti significativo verso sistemi VQA affidabili per scenari reali. La sua capacità di:

1. Comprendere il contesto del dominio (es. distinguere tra veicoli e cibo).
2. Decidere autonomamente se e cosa cercare (immagine vs testo).
3. Orchestrare ragionamenti multi-hop attraverso fonti eterogenee.

Rende il sistema particolarmente adatto per applicazioni in cui la precisione fattuale è critica, come assistenti personali indossabili, diagnostica medica o analisi industriale, riducendo il rischio di allucinazioni tipiche dei grandi modelli linguistici multimodali. Il codice sorgente è stato reso pubblico, facilitando la riproducibilità e l'ulteriore ricerca nel campo del RAG multimodale.