💬 NLP

VisRAG2.0: Mitigating Visual Hallucinations via Evidence-Guided Multi-Image Reasoning in Visual Retrieval-Augmented Generation

Il documento propone EVisRAG, un framework guidato dall'evidenza che mitiga le allucinazioni visive nel ragionamento multi-immagine raccogliendo esplicitamente prove visive rilevanti per la domanda e impiegando un nuovo algoritmo RS-GRPO per un migliore ottimizzazione congiunta di localizzazione e ragionamento, ottenendo incrementi significativi delle prestazioni sui benchmark di visual question answering.

Autori originali: Yubo Sun, Chunyi Peng, Yukun Yan, Shi Yu, Zhenghao Liu, Sen Mei, Chi Chen, Maosong Sun

Pubblicato 2026-07-29

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yubo Sun, Chunyi Peng, Yukun Yan, Shi Yu, Zhenghao Liu, Sen Mei, Chi Chen, Maosong Sun

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un mistero, ma invece di un singolo indizio, ti viene consegnata una pila disordinata di tre diversi giornali, foto e mappe. Hai un detective super intelligente in tasca: un programma per computer chiamato Vision-Language Model (VLM) — che sa leggere il testo e guardare le immagini. Questo detective è bravo a rispondere alle domande, ma a volte, quando si trova di fronte a una enorme pila di immagini, si confonde. Potrebbe iniziare a inventare dettagli che non ha visto, come sostenere che una foto mostri un gatto quando in realtà è un cane, o mescolare fatti provenienti da due pagine diverse. Questo è chiamato "allucinazione visiva".

Per aiutare questi detective, gli scienziati hanno sviluppato un sistema chiamato Visual Retrieval-Augmented Generation (VRAG). Immagina questo come se dessero al detective una tessera della biblioteca. Quando poni una domanda, il sistema estrae istantaneamente le pagine più rilevanti dalla biblioteca e le consegna al detective. L'idea è che, se il detective ha l'evidenza giusta proprio davanti a sé, non avrà bisogno di tirare a indovinare o inventare cose. Tuttavia, anche con le pagine giuste, il detective spesso fatica a trovare la frase o l'immagine esatta di cui ha bisogno tra il rumore, oppure potrebbe distrarsi da dettagli irrilevanti e inventare comunque una risposta. La grande domanda è: come insegniamo al detective a essere un vero investigatore che scansiona attentamente ogni pagina, scrive solo i fatti che vede realmente e poi risolve il mistero senza tirare a indovinare?

Questo è esattamente ciò che il documento "VisRAG2.0" (nello specifico il framework EVisRAG) si propone di risolvere. Gli autori, un team di ricercatori di università cinesi, propongono un nuovo modo per addestrare questi detective AI a smettere di allucinare e iniziare a ragionare con prove reali. Hanno scoperto che i metodi precedenti erano come dare al detective una pila di fogli e dire: "Capiscilo e basta!", il che spesso portava alla confusione. Invece, EVisRAG costringe il modello ad agire come un detective meticoloso che segue un processo rigoroso in tre fasi: Osserva, Registra e Ragiona.

Per prima cosa, il modello guarda le immagini recuperate ed esprime esplicitamente ciò che vede, pagina per pagina. In secondo luogo, crea un "registro delle prove", scrivendo fatti specifici da ogni immagine e, cosa cruciale, annotando quando un'immagine non contiene informazioni utili. Infine, utilizza solo quel registro scritto per risolvere il problema. Per assicurarsi che il modello apprenda effettivamente questo comportamento, i ricercatori hanno inventato un nuovo metodo di addestramento chiamato RS-GRPO (Reward-Scoped Group Relative Policy Optimization). Puoi immaginarlo come un coach molto severo che non si limita a dare un voto per la risposta finale. Invece, il coach assegna un punteggio separato per "Hai guardato l'immagine giusta?" e un altro punteggio per "Hai scritto correttamente il fatto?". Questo impedisce al modello di ottenere un buon voto solo perché ha indovinato la risposta per fortuna, assicurando che impari effettivamente a trovare prima l'evidenza.

I risultati di questo nuovo approccio sono piuttosto impressionanti. Quando testato su vari benchmark di visual question-answering (come la lettura di grafici, documenti e slide), il modello EVisRAG ha superato costantemente i modelli "backbone" standard con una precisione media di circa il 19%. Ancora più importante, ha ridotto significativamente il numero di volte in cui il modello inventava fatti. In un test specifico, un modello standard potrebbe guardare un grafico e affermare con sicurezza che il paese sbagli ha una popolazione maggiore perché ha allucinato un numero. EVisRAG, invece, guarderebbe il grafico, scriverebbe i numeri corretti nel suo registro delle prove e poi dedurrebbe correttamente la risposta.

Il documento sostiene anche che il semplice fatto di far "pensare più a lungo" il modello o aggiungere agenti più complessi al sistema non sia la soluzione migliore. Al contrario, dimostrano che un approccio strutturato, guidato dalle evidenze, combinato con il loro specifico metodo di addestramento (RS-GRPO), è più efficace. Hanno dimostrato che, delimitando i premi (scoping the rewards) — ovvero dando credito solo per le azioni corrette al momento giusto — il modello diventa molto più stabile e affidabile. Sebbene il documento non sostenga di aver risolto ogni possibile problema dell'IA, gli esperimenti suggeriscono che questo metodo sia un passo avanti fondamentale per rendere i sistemi di IA visiva più affidabili, accurati e meno inclini a inventare cose quando osservano più immagini.

Sintesi Tecnica: VisRAG2.0 (EVisRAG)

Problematica

La Generazione Aumentata da Recupero Visivo (Visual Retrieval-Augmented Generation - VRAG) mira a dotare i Modelli Linguistici-Visivi (VLM) di prove visive esterne per rispondere a domande che superano la conoscenza parametrica. Tuttavia, gli approoli VRAG esistenti affrontano sfide significative negli scenari multi-immagine:

Allucinazioni Visive: I VLM spesso non riescono a identificare accuratamente le prove rilevanti per la domanda tra le immagini recuperate, portando a risposte errate o alla fabbricazione di contenuti visivi inesistenti.
Mancanza di Raccolta Esplicita delle Prove: Gli approcci attuali spesso trasplantano le pratiche di RAG basate sul testo nel dominio visivo senza un processo esplicito di raccolta delle prove tra più immagini. Essi si affidano ad agenti o strumenti esterni, aumentando la complessità architettonica e il costo computazionale.
Instabilità dell'Addestramento: L'ottimizzazione congiunta della percezione visiva e del ragionamento utilizzando ricompense miste porta spesso a un addestramento instabile. La mancanza di un chiaro assegnamento del credito causa interferenze tra i segnali, dove i gradienti di obiettivi eterogenei competono su token irrilevanti.

Metodologia: EVisRAG

Gli autori propongono EVisRAG (Evidence-guided Vision Retrieval-augmented Generation), un framework progettato per consentire ai VLM di eseguire una percezione e un ragionamento visivo precisi attraverso più immagini.

1. Processo di Ragionamento Guidato dalle Prove

EVisRAG struttura il processo di generazione in quattro fasi distinte, andando oltre il classico Chain-of-Thought (CoT) separando esplicitamente osservazione, registrazione delle prove e ragionamento:

Recupero (Retrieval): Recupera gli snapshot delle pagine dei documenti top- $k$ rilevanti per la query.
Percezione Visiva (Osservazione): Il modello osserva sequenzialmente le immagini recuperate, generando un'osservazione grossolana e consapevole della pagina ( $y_o$ ) per stabilire una comprensione del contenuto visivo.
Registrazione delle Prove (Evidence Recording): Condizionato sulla query e sulle osservazioni, il modello genera sequenze di prove per ogni immagine ( $y_e$ ). Fondamentalmente, registra esplicitamente "nessuna informazione rilevante" per le immagini prive di prove, impedendo al modello di forzare dettagli irrilevanti nel ragionamento.
Ragionamento della Risposta (Answer Reasoning): Il modello esegue un ragionamento "in stile detective" ( $y_r$ ) sulle prove aggregate ( $y_p = \{y_o, y_e\}$ ), formulando ipotesi, verificando le contraddizioni e organizzando una traiettoria coerente prima di generare la risposta finale ( $y_a$ ).

2. Ottimizzazione della Politica Relativa al Gruppo con Scopo di Ricompensa (RS-GRPO)

Per addestrare efficacemente EVisRAG, gli autori introducono RS-GRPO, un'estensione della Group Relative Policy Optimization (GRPO) che affronta il problema dell'assegnazione del credito nel ragionamento multi-stadio.

Scopi della Ricompensa (Reward Scopes): La sequenza di output è segmentata in quattro scopi: Osservazione ( $T_o$ ), Registrazione delle Prove ( $T_e$ ), Ragionamento ( $T_r$ ) e Risposta ( $T_a$ ).
Ricompense Granulari: Vengono applicate tre ricompense specifiche:
- Ricompensa di Formato ( $R_{format}$ ): Impone l'adesione al flusso di lavoro strutturato (osserva $\to$ registra $\to$ ragiona $\to$ rispondi).
- Ricompensa di Percezione ( $R_{perception}$ ): Valuta se le regioni rilevanti per la domanda sono localizzate correttamente e riassunte nella fase di registrazione delle prove.
- Ricompensa di Derivazione ( $R_{derivation}$ ): Valuta se la risposta finale è derivata correttamente dalle prove registrate.
Ottimizzazione per Scopo (Scoped Optimization): A differenza dei metodi tradizionali che trasmettono le ricompense all'intera sequenza, RS-GRPO restringe ogni ricompensa al proprio ambito di token efficace (ad esempio, $R_{perception}$ supervisiona solo $T_o$ e $T_e$ ). Ciò riduce l'interferenza tra gli stadi, affina i segnali di ottimizzazione e stabilizza l'addestramento.

Contributi Chiave

Framework EVisRAG: Un'architettura innovativa che separa esplicitamente la raccolta delle prove visive dal ragionamento, permettendo ai VLM di agire come "detective" raccogliendo e verificando le prove immagine per immagine prima di concludere.
Algoritmo RS-GRPO: Una strategia di addestramento che introduce ricompense specifiche per scopo per allineare i segnali di ricompensa con specifici intervalli di token. Questo mitiga l'interferenza tra gli obiettivi di percezione e ragionamento, portando a un'ottimizzazione congiunta più stabile ed efficace.
Valutazione Completa: Esperimenti estesi su cinque diversi benchmark VQA (ChartQA, InfoVQA, DocVQA, SlideVQA, ViDoSeek) che dimostrano l'efficacia dell'approccio.

Risultati Sperimentali

Guadagni di Performance: EVisRAG (utilizzando un backbone da 7 miliardi di parametri) supera costantemente il baseline Qwen2.5-VL-7B con un incremento medio del 19% nell'accuratezza e del 27% nel punteggio F1. Supera inoltre modelli più grandi da 32 miliardi di parametri e altri metodi VLRM e VRAG allo stato dell'arte.
Riduzione delle Allucinazioni: Il framework riduce sostanzialmente le allucinazioni visive. In scenari con recupero errato, EVisRAG mostra un aumento controllato dell'astensione (rifiuto di rispondere) invece di generare risposte errate, indicando una maggiore fedeltà al contenuto recuperato.
Studi di Ablazione:
- Sostituire il CoT generico con il Ragionamento Guidato dalle Prove produce guadagni costanti, provando il valore della localizzazione strutturata delle prove.
- RS-GRPO supera DAPO e StepGRPO, confermando che l'assegnazione del credito per scopo è critica per le prestazioni.
Analisi dell'Attenzione: EVisRAG raggiunge il più alto rapporto di attenzione alle prove visive (concentrazione sui box delle prove annotati dagli umani) tra i metodi confrontati, correlandosi fortemente con una maggiore accuratezza del ragionamento.
Efficienza: Nonostante la generazione multi-stadio, EVisRAG mantiene una latenza di inferenza competitiva (circa 100s) e una lunghezza dell'output competitiva, superando i baseline come R1-Router che comportano costi computazionali più elevati per una precisione simile o inferiore.

Significato

Il paper afferma che la raccolta esplicita delle prove e il design della ricompensa per scopo sono meccanismi efficaci per migliorare il grounding visivo e l'affidabilità del ragionamento in scenari multi-immagine. Decoupling (disaccoppiando) la percezione dal ragionamento e applicando una supervisione mirata, EVisRAG affronta le cause profonde delle allucinazioni visive nel VRAG. Il lavoro dimostra che un modello da 7B equipaggiato con questo framework può eccedere le prestazioni di modelli significativamente più grandi, offrendo un percorso pratico e scalabile verso sistemi di generazione aumentata da recupero visivo più affidabili, interpretabili e resistenti alle allucinazioni.