Sintesi Tecnica: Quando il RAG Fa Male: Diagnosi e Mitigazione della Distrazione dell'Attenzione nei Modelli LVLM con RAG

Definizione del Problema

Sebbene la Generazione Aumentata dal Recupero (RAG) sia un paradigma dominante per potenziare i Large Vision-Language Models (LVLM) in compiti di Visual Question Answering basati sulla conoscenza (KB-VQA), osservazioni recenti indicano che il RAG non migliora universalmente le prestazioni. Nello specifico, il documento identifica una modalità di fallimento distinta denominata Distrazione dell'Attenzione (AD), in cui l'introduzione di un contesto testuale recuperato causa il fallimento degli LVLM su domande che precedentemente avrebbero saputo rispondere correttamente in un setting closed-book, anche quando le informazioni recuperate sono accurate e altamente rilevanti.

Gli autori diagnosticano l'AD come una sistematica allocazione errata dell'attenzione durante il processo di generazione multimodale, caratterizzata da due fenomeni specifici:

1. Distrazione dell'Attenzione Cross-Modale: Il contesto recuperato sopprime attivamente l'attenzione globale allocata ai token dell'immagine. Rispetto all'inferenza closed-book, il modello sposta il focus dalla modalità visiva alla modalità testuale, riducendo il rapporto di attenzione dell'immagine del 12,1%–41,1%.
2. Distrazione dell'Attenzione Intra-Immagine: Anche all'interno della modalità visiva, l'attenzione si sposta dalle regioni rilevanti per la domanda verso aree di sfondo o semanticamente irrilevanti. Ciò accade perché il testo recuperato interrompe la capacità del modello di fondare il proprio ragionamento su prove visive specifiche.

Il documento sostiene che i lavori precedenti, che attribuiscono i fallimenti del RAG a un'insufficiente attenzione al contesto (proponendo di aumentare l'attenzione sul testo), trascurano questa interdipendenza intrinseca. Semplicemente aumentare l'attenzione ai token del contesto non riesce ad affrontare il problema centrale: la soppressione del grounding visivo causata dal contesto recuperato.

Metodologia: MAD-RAG

Per affrontare la Distrazione dell'Attenzione, gli autori propongono MAD-RAG (Mitigating Attention Distraction in Retrieval-Augmented Generation for LVLMs). Si tratta di un intervento di intervento al tempo di inferenza, privo di addestramento (training-free), progettato per disaccoppiare il grounding visivo dall'integrazione del contesto. Il metodo consiste in due componenti primarie:

1. Formulazione a Doppia Domanda (Dual-Question Formulation)

Gli input standard del RAG seguono la struttura $[I, Q, C]$ (Immagine, Domanda, Contesto). Gli autori osservano che in questo formato, i token della domanda agiscono come query per l'attenzione visiva ma sono isolati dal contesto recuperato a causa del masking causale, creando un collo di bottiglia informativo.
MAD-RAG ristruttura l'input in $[I, Q_I, C, Q_C]$, dove:

• $Q_I$ (token della domanda-immagine) vengono aggiunti immediatamente dopo i token dell'immagine, costringendo il modello a dare priorità al grounding visivo prima di vedere il contesto.
• $Q_C$ (token della domanda-contesto) vengono aggiunti dopo i documenti recuperati, permettendo al modello di integrare la conoscenza esterna.
  Questo disaccoppiamento assicura che il modello formi un riferimento visivo affidabile prima di incorporare l'informazione esterna, riducendo l'interferenza cross-modale.

2. Miscelazione dell'Attenzione per la Preservazione del Grounding Visivo

Nonostante la struttura a doppia domanda, i contesti recuperati lunghi possono comunque indurre un "bias di recenza" (recency bias), causando al modello di prestare un'attenzione sproporzionata al testo rispetto ai token dell'immagine più distanti. Per contrastare ciò, MAD-RAG introduce un meccanismo di miscelazione dell'attenzione.
In ogni layer del transformer, i pesi dell'attenzione dei token della domanda-contesto ($Q_C$) vengono modificati iniettando i pesi dell'attenzione basati sull'immagine derivati dai token della domanda-immagine ($Q_I$). L'output dell'attenzione miscelata $\hat{O}(Q_C)$ è calcolato come una combinazione convessa:
$$\hat{O}(Q_C) = \alpha \cdot O(Q_I) + (1 - \alpha) \cdot O(Q_C)$$
dove $\alpha \in [0, 1]$ è un peso di miscelazione. Questa operazione preserva esplicitamente il grounding visivo stabilito da $Q_I$ all'interno della fase di integrazione del contesto di $Q_C$, assicurando che il ragionamento rimanga focalizzato sulle regioni dell'immagine rilevanti per la domanda.

Contributi Chiave

Il documento apporta tre contributi primari:

1. Caratterizzazione della Distrazione dell'Attenzione (AD): Gli autori identificano e definiscono l'AD come una modalità di fallimento distinta nei modelli LVLM con RAG, che comprende sia la soppressione cross-modale dell'attenzione visiva sia la deriva dell'attenzione intra-immagine. Dimostrano che questo degrado deriva da dinamiche di attenzione inappropriate durante la generazione, indipendentemente dalla qualità del recupero.
2. Analisi Empirica: Attraverso un'analisi estesa delle mappe di calore dell'attenzione e dei rapporti di attenzione a livello di token, il documento fornisce prove che l'AD scaturisce dall'interazione tra l'aumento del recupero e le dinamiche di attenzione autoregressiva nell'inferenza multimodale a lungo contesto.
3. Framework MAD-RAG: Gli autori introducono un metodo semplice, efficiente e privo di addestramento che allinea robustamente l'attenzione visiva con la domanda. Il metodo non richiede ri-addestramento, non richiede modifiche al retriever e comporta un carico computazionale trascurabile.

Risultati Sperimentali

Gli autori hanno valutato MAD-RAG su tre benchmark di KB-VQA: OK-VQA, E-VQA e InfoSeek, su diverse famiglie di LVLM (LLaVA-1.5, Qwen2.5-VL).

• Guadagni di Prestazione: MAD-RAG supera costantemente il RAG vanilla e gli altri baseline (inclusi i metodi orientati al RAG come CAD, AdaCAD, ALFAR e i metodi di mitigazione delle allucinazioni come DoLA, VCD).
  • I miglioramenti assoluti rispetto al RAG vanilla hanno raggiunto il 4,76% su OK-VQA, il 9,20% su E-VQA e il 6,18% su InfoSeek.
• Recupero dei Modi di Fallimento: Il metodo mira specificamente ai casi di fallimento "Closed-book Corretto, RAG Errato". MAD-RAG ha rettificato fino al 74,68% di questi casi di distrazione dell'attenzione su OK-VQA, con tassi di recupero elevati simili sugli altri dataset.
• Robustezza: Il metodo ha dimostrato robustezza rispetto a variazioni nella lunghezza del contesto e nella qualità del recupero (sia oracle che retriever reali). Ha mantenuto i guadagni di prestazione anche all'aumentare della lunghezza del contesto, mentre i metodi baseline spesso subivano un degrado.
• Efficienza: MAD-RAG introduce un overhead trascurabile, aumentando il tempo di inferenza di soli 9–11% rispetto al RAG vanilla. Al contrario, altri metodi di calibrazione (es. CAD, OPERA) hanno aumentato la latenza di 3 o più volte.

Significato e Rivendicazioni

Il documento afferma che la Distrazione dell'Attenzione è un problema fondamentale nel RAG multimodale che è stato precedentemente trascurato. La significatività di MAD-RAG risiede nella sua capacità di stabilizzare il grounding visivo senza la necessità di costosi ri-addestramenti o complessi cambiamenti architettonici.

Gli autori sottolineano che il loro approccio affronta la causa radice dei fallimenti indotti dal RAG in scenari in cui il modello possiede la conoscenza interna corretta ma viene tratto in inganno dalla presenza di testo recuperato. Ripristinando l'equilibrio tra evidenza visiva e contesto esterno, MAD-RAG consente agli LVLM di sfruttare l'aumento del recupero senza sacrificare le capacità di ragionamento visivo essenziali per i compiti di KB-VQA. Il lavoro suggerisce che i futuri sistemi RAG per i modelli visione-linguaggio debbano gestire esplicitamente le dinamiche dell'attenzione per prevenire la soppressione dell'evidenza visiva da parte del contesto testuale.