💬 NLP

FilterRAG: Zero-Shot Informed Retrieval-Augmented Generation to Mitigate Hallucinations in VQA

Il documento introduce FilterRAG, un framework di generazione aumentata dal recupero zero-shot che integra BLIP-VQA con fonti di conoscenza esterna come Wikipedia e DBpedia per ridurre significativamente le allucinazioni e migliorare l'accuratezza nel Visual Question Answering, in particolare per scenari guidati dalla conoscenza e Out-of-Distribution.

Autori originali: Nobin Sarwar

Pubblicato 2026-01-27

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Nobin Sarwar

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere a una festa e qualcuno ti mostra la foto di un hot dog con dei condimenti strani e ti chiede: "Che cos'è quello?". Se non hai mai visto quel condimento specifico prima d'ora, il tuo cervello potrebbe cercare di indovinare basandosi su ciò che pensi che sembri. Potresti dire: "Probabilmente è senape", anche se in realtà è salsa verde (relish). Nel mondo dell'Intelligenza Artificiale, questo gioco di indovini è chiamato allucinazione. L'IA è sicura di sé, ma sbaglia.

Questo articolo presenta un nuovo sistema chiamato FilterRAG per impedire all'IA di commettere questi errori sicuri di sé, specialmente quando incontra cose che non ha visto durante il suo addestramento.

Ecco come funziona, suddiviso in concetti semplici:

1. Il Problelo: Il "Saputello" che Indovina a Caso

I modelli di IA attuali (come quelli che possono guardare un'immagine e rispondere a domande) sono bravissimi a descrivere ciò che vedono. Ma se poni loro una domanda che richiede conoscenze esterne — come "Per quale sport viene usata questa motocicletta?" o "Che cos'è questo condimento specifico?" — spesso hanno difficoltà.

Senza un modo per verificare i fatti, questi modelli si affidano ai "ricordi" del loro addestramento. Se i dati di addestramento sono distorti o incompleti, l'IA indovina. È come uno studente che sostiene un esame senza aver studiato il capitolo specifico; cerca di bluffare con una risposta che suona bene, ma che è in realtà sbagliata.

2. La Soluzione: L'Approccio del "Bibliotecario"

Gli autori hanno creato FilterRAG. Pensa a questo sistema come a uno studente che ha il permesso di usare una biblioteca durante l'esame.

Lo Studente (BLIP-VQA): Questa è la parte dell'IA che guarda l'immagine e legge la domanda. È intelligente nel vedere le immagini, ma ha bisogno di aiuto con i fatti.
La Biblioteca (Wikipedia & DBpedia): Invece di indovinare, il sistema si ferma e corre in una biblioteca digitale. Cerca fatti del mondo reale relativi all'immagine e alla domanda.
Il Bibliotecario (GPT-Neo): Questa è la parte che legge i fatti trovati dalla biblioteca e scrive la risposta finale.

Costringendo l'IA a "controllare la biblioteca" prima di rispondere, si evita che indovini a caso e si inizia a usare i fatti.

3. Come Funziona Passo dopo Passo

L'articolo descrive un processo specifico, che possiamo visualizzare come la preparazione di un pasto:

Tagliare gli Ingredienti (La Griglia): Il sistema prende l'immagine e la taglia in una griglia 2x2 (quattro quadrati).
- Perché? Se tagli una foto in troppi pezzetti minuscoli (come una griglia 4x4), perdi la visione d'insieme e l'IA si confonde. Se la tieni come un unico grande blocco, perdi i piccoli dettagli. La griglia 2x2 è la dimensione "Goldilocks" (né troppo grande, né troppo piccola): mantiene l'immagine coerente ma abbastanza dettagliata.
Guardare l'Immagine: Il sistema analizza questi quattro quadrati insieme alla domanda.
La Ricerca: Invia una query alla "biblioteca" (Wikipedia e DBpedia) per trovare fatti rilevanti. Per la domanda sulla motocicletta, potrebbe trovare fatti sul "motocross". Per l'hot dog, potrebbe trovare fatti sulla "salsa verde".
L'Assemblaggio: Il sistema combina l'immagine, la domanda e i nuovi fatti che ha appena trovato.
La Risposta: Un modello linguistico congelato (GPT-Neo) legge tutte queste informazioni combinate e scrive la risposta. Poiché ha i fatti a disposizione, non ha bisogno di indovinare.

4. I Risultati: Migliori nell' "Ignoto"

I ricercatori hanno testato il sistema su un dataset chiamato OK-VQA, che è pieno di domande difficili che richiedono conoscenze esterne.

Il Baseline: I modelli di IA standard (senza la biblioteca) hanno dato risposte corrette su circa il 40% di queste domande difficili. Stavano allucinando molto.
FilterRAG: Il nuovo sistema ha ottenuto un'accuratezza del 36,5%.
- Aspetta, non è più bassa? L'articolo nota che, sebbene il numero grezzo sia leggermente inferiore rispetto ad alcuni sistemi massicci e super complessi che utilizzano computer enormi, FilterRAG è molto più efficiente. Bilancia prestazioni, velocità e costi.
- La Vera Vittoria: Il sistema è stato molto più bravo negli scenari Out-of-Distribution (OOD). Ciò significa che quando l'IA vedeva qualcosa di totalmente nuovo o strano (come una motocicletta in un contesto che non aveva mai visto prima), era meno incline a allucinare. Restava ancorata ai fatti invece di inventare cose.

5. Il "Grounding Score" (Punteggio di Ancoraggio)

Per dimostrare che l'IA non stava solo tirando a indovinare, gli autori hanno utilizzato un "Grounding Score". Immaginalo come un misuratore di verità.

Se l'IA dice "Senape" ma la biblioteca dice "Salsa verde", il punteggio scende.
Se l'IA dice "Salsa verde" perché la biblioteca dice "Salsa verde", il punteggio resta alto.
FilterRAG ha mantenuto alto il suo misuratore di verità anche quando le domande erano difficili, dimostrando che stava effettivamente usando i fatti trovati, non solo inventando storie.

Riassunto

FilterRAG è come dare a un'IA un foglio con gli appunti (un motore di ricerca) durante un esame. Invece di fare affidamento sulla propria memoria fallace per indovinare la risposta a una domanda difficile su un hot dog o una motocicletta, cerca la risposta in un database affidabile. Questo impedisce di dire con sicurezza la cosa sbagliata, rendendolo più sicuro e affidabile per l'uso nel mondo reale, dove potrebbe incontrare cose che non ha mai visto prima.

Sintesi Tecnica: FilterRAG

Definizione del Problema
I sistemi di Visual Question Answering (VQA) richiedono che i modelli integrino la percezione visiva con la comprensione testuale per generare risposte accurate. Tuttavia, i modelli di Vision-Language (VLM) esistenti, come BLIP e CLIP, soffrono frequentemente di "allucinazioni" — producendo risposte plausibili ma errate — in particolare quando si trovano di fronte a domande ad alta intensità di conoscenza o input Out-of-Distribution (OOD). Questi errori derivano spesso da un eccessivo affidamento su bias appresi o da una mancanza di accesso a conoscenza esterna rilevante, limitando la robustezza dei sistemi VQA in ambienti reali e dinamici dove i concetti possono non essere stati incontrati durante l'addestramento.

Metodologia: FilterRAG
Per affrontare queste limitazioni, gli autori introducono FilterRAG, un framework di retrieval-augmentation progettato per ancorare le risposte VQA a fonti di conoscenza esterna (specificamente Wikipedia e DBpedia) per mitigare le allucinazioni. Il sistema opera attraverso un processo multi-step illustrato nella Figura 2:

Pre-elaborazione Visiva: Le immagini in input vengono divise in una griglia (specificamente una griglia 2x2, determinata come ottimale tramite ablazione) per bilanciare dettaglio visivo e coerenza.
Codifica Multimodale: Il modello BLIP-VQA (che utilizza la sua architettura Multimodal Mixture of Encoder-Decoder) genera embedding visivi e testuali dall'immagine e dalla domanda associata.
Retrieval della Conoscenza: Il sistema recupera dinamicamente il contesto rilevante da database esterni:
- Wikipedia: Accessibile tramite recupero basato su ricerca ed estrazione basata su riepilogo.
- DBpedia: Accessibile tramite query SPARQL.
Augmentation e Generazione: La conoscenza recuperata viene combinata con la coppia immagine-domanda per arricchire il contesto. Un modello GPT-Neo 1.3B congelato (decoder-only) utilizza quindi questa informazione aumentata per generare la risposta finale.
Apprendimento Zero-Shot: Il framework opera in un setting zero-shot, il che significa che non richiede il fine-tuning specifico per il task sul dataset target. Sfrutta le capacità pre-addestrate di BLIP-VQA e GPT-Neo per generalizzare a domini non visti.

La metodologia incorpora anche un meccanismo di rilevamento OOD utilizzando una funzione di punteggio $S(I, Q)$ e una soglia $\lambda$ per distinguere tra input in-distribution e out-of-distribution. Le allucinazioni sono ulteriormente quantificate tramite un "grounding score", calcolato tramite la similarità del coseno tra l'embedding della risposta predetta e gli embedding della verità di base (utilizzando Sentence Transformers), dove un punteggio inferiore a una soglia $\tau$ indica un'allucinazione.

Contributi Chiave
Il documento delinea tre contributi primari:

Framework FilterRAG: Un nuovo approccio di retrieval-augmentation che ancora le risposte VQA a fonti di conoscenza esterna per ridurre le allucinazioni.
Applicazione dell'Apprendimento Zero-Shot: Dimostrare come l'apprendimento zero-shot possa migliorare il retrieval e ridurre le allucinazioni specificamente in scenari OOD senza richiedere fine-tuning.
Valutazione Esaustiva: Una valutazione rigorosa sul dataset OK-VQA, che valuta robustezza e affidabilità in compiti ad alta intensità di conoscenza sia in contesti in-domain che OOD.

Risultati Sperimentali
Gli autori hanno valutato FilterRF sul dataset OK-VQA, un benchmark che richiede conoscenza esterna oltre il contenuto dell'immagine. Le principali scoperte includono:

Accuratezza: FilterRAG ha raggiunto un'accuratezza del 36,5% sul dataset OK-VQA. In configurazioni specifiche, ha raggiunto il 37,0% per i dati In-Distribution (ID) e il 36,0% per i dati Out-of-Distribution (OOD).
Confronto: Sebbene il framework abbia ottenuto un'accuratezza assoluta inferiore rispetto ad alcuni metodi ensemble allo stato dell'arte (ad esempio, KAT al 54,41% o REVIVE al 58,0%), gli autori osservano che tali metodi spesso si affidano a modelli significativamente più grandi (ad esempio, Frozen GPT-3 175B) e a maggiori risorse computazionali. FilterRAG mira a bilanciare le prestazioni con l'efficienza utilizzando modelli più piccoli e congelati (BLIP-VQA e GPT-Neo 1.3B).
Mitigazione delle Allucinazioni: I grounding scores per FilterRAG sono stati coerenti tra ID (70,06%), OOD (70,68%) e configurazioni combinate (70,37%). Questa coerenza suggerisce che il modello ancora efficacemente le risposte nella conoscenza recuperata, riducendo la probabilità di allucinazioni rispetto ai modelli baseline che mostrano un calo significativo nei grounding scores passando da VQA generale a VQA basato sulla conoscenza.
Studio di Ablazione: Gli esperimenti con diverse dimensioni di griglia dell'immagine (2x2, 3x3, 4x4) hanno rivelato che la griglia 2x2 ha fornito il miglior compromesso tra accuratezza e grounding score. Griglie più grandi (3x3, 4x4) hanno portato a una frammentazione eccessiva, ostacolando la capacità del modello di estrarre caratteristiche visive coerenti e di allinearle alla conoscenza recuperata.

Significatività e Rivendicazioni
Il documento afferma che FilterRAG dimostra il potenziale dei framework di retrieval-augmentation per migliorare i sistemi VQA per l'implementazione nel mondo reale, in particolare in scenari che coinvolgono input OOD. Integrando fonti di conoscenza esterna, il framework migliora la robustezza e l'affidabilità dei sistemi VQA, garantendo che le risposte siano fattualmente ancorate anziché fare affidamento esclusivamente su bias appresi. Gli autori posizionano FilterRAG come una soluzione che migliora la generalizzazione oltre la base di conoscenza di addestramento, rendendolo adatto ad ambienti dinamici dove i concetti non visti sono comuni. Il lavoro futuro è identificato nel miglioramento ulteriore della qualità del retrieval della conoscenza e nel raffinamento dell'allineamento multimodale per ridurre ulteriormente le allucinazioni.