Saliency-R1: Enforcing Interpretable and Faithful Vision-language Reasoning via Saliency-map Alignment Reward

1. Il Problema

I modelli Vision-Language (VLM) hanno ottenuto risultati straordinari in compiti che richiedono ragionamento congiunto su immagini e testo. Tuttavia, persistono gravi preoccupazioni riguardo alla loro affidabilità e trasparenza:

• Sovra-dipendenza dal testo: I modelli tendono spesso a ignorare i segnali visivi, basandosi eccessivamente su indizi testuali o conoscenze pregresse.
• Allucinazioni (Hallucinations): I modelli generano risposte non supportate dall'immagine o dettagli inventati.
• Mancanza di fedeltà nel ragionamento: Anche quando i modelli generano spiegazioni (Chain-of-Thought), queste spesso non riflettono fedelmente il processo decisionale reale. Il "pensiero" espresso può essere incoerente con le regioni dell'immagine su cui il modello ha effettivamente focalizzato l'attenzione per arrivare alla risposta.

L'obiettivo è creare VLM che non solo diano la risposta corretta, ma che lo facciano basandosi su evidenze visive pertinenti, rendendo il processo di ragionamento interpretabile e fedele.

2. Metodologia: Saliency-R1

Gli autori propongono Saliency-R1, un framework che allinea le mappe di salienza (saliency maps) generate dal modello con annotazioni umane (bounding box) durante la fase di addestramento, utilizzando l'ottimizzazione della politica.

A. Generazione di Mappe di Salienza Efficiente

Il cuore della metodologia è una nuova tecnica per generare mappe di salienza a livello di token senza overhead computazionale aggiuntivo:

• Decomposizione dei Logit: Sfruttando l'architettura Transformer, il metodo scompone i logit finali in contributi diretti dei token di contesto. Invece di calcolare gradienti complessi o eseguire passi in avanti/indietro multipli (come fanno Grad-CAM o LRP), il metodo estrae i pesi di attenzione e le matrici di valore già presenti nella cache KV.
• Mappatura Visiva: I contributi dei token visivi vengono riorganizzati per creare una mappa di salienza che evidenzia le regioni dell'immagine più rilevanti per la generazione di ogni singolo token.
• Efficienza: Questo approccio non richiede passi di backpropagation aggiuntivi, rendendolo computazionalmente efficiente e adatto all'integrazione nei pipeline di addestramento.

B. Aggregazione Olistica con "Thinking Tokens" come Collo di Bottiglia

Per garantire che il ragionamento sia fedele, il framework traccia il flusso dell'informazione visiva attraverso il processo di pensiero:

• Bottleneck del Pensiero: Il modello genera prima una catena di pensiero (thinking tokens) e poi la risposta finale.
• Attention Rollout: Viene utilizzata un'euristica di "attention rollout" per quantificare come l'informazione visiva fluisce dai token visivi ai token di risposta, passando attraverso i token di pensiero. Questo permette di visualizzare quali regioni dell'immagine hanno guidato sia il ragionamento intermedio che la risposta finale.

C. Allineamento tramite Reward e GRPO

Una volta ottenuta la mappa di salienza olistica, viene confrontata con le annotazioni umane (bounding box che indicano le regioni critiche per la domanda).

• Funzione di Reward: Viene calcolato un punteggio di allineamento basato sul rapporto tra la "massa di salienza" all'interno delle bounding box annotate e la massa totale sull'immagine.
• Ottimizzazione (GRPO): Viene applicato l'algoritmo Group Relative Policy Optimization (GRPO). Il modello viene addestrato per massimizzare questo punteggio di allineamento, insieme a reward per la correttezza della risposta e il formato. Questo incentiva il modello a concentrare la sua attenzione sulle regioni visive rilevanti durante il processo di ragionamento.

3. Contributi Chiave

1. Tecnica di Mappa di Salienza Basata su Attenzione: Un metodo innovativo che evidenzia le regioni importanti a livello di token in modo efficiente, senza bisogno di passi forward/backward aggiuntivi.
2. Meccanismo di Attention Rollout: Un approccio per tracciare come i token visivi contribuiscono ai token di risposta, utilizzando i token di pensiero come collo di bottiglia per la visualizzazione, rivelando il flusso dell'informazione visiva.
3. Allineamento Salienza-Annotazione come Reward: L'uso del punteggio di allineamento tra la mappa di salienza e le annotazioni umane come segnale di reward per il post-training (GRPO), migliorando significativamente la fedeltà e l'interpretabilità del ragionamento VLM.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli basati su Qwen2.5-VL (3B e 7B) e valutati su diversi benchmark.

• Fedeltà delle Mappe di Salienza: La tecnica proposta raggiunge o supera le prestazioni dei metodi SOTA (come Grad-CAM, Attention Rollout, TAM) nei test di cancellazione (deletion) e inserimento (insertion), dimostrando di catturare fedelmente l'importanza causale delle patch visive.
• Prestazioni sui Benchmark VQA: Saliency-R1 mostra miglioramenti significativi su benchmark focalizzati sulla visione (es. POPE, ChartQA, MME, ScienceQA). In particolare, riduce le allucinazioni e migliora la comprensione visiva fine.
  • Su POPE (valutazione delle allucinazioni), il modello 7B supera il modello base di un 4.2%.
  • Su ChartQA, mostra un miglioramento del 4.2% rispetto al modello base.
  • Le prestazioni sono competitive o superiori a modelli proprietari (GPT-4o, Claude-3.5) e altri modelli open-source su diversi dataset.
• Interpretabilità: Le mappe di salienza generate da Saliency-R1 si allineano molto meglio con le regioni critiche (bounding box) rispetto ai modelli base o a quelli addestrati solo con SFT (Supervised Fine-Tuning). Il processo di pensiero diventa anche più conciso e focalizzato, evitando contenuti irrilevanti.
• Robustezza: Il modello mostra una maggiore robustezza al rumore (Gaussian noise) nelle regioni di primo piano e una migliore generalizzazione su domini specifici (es. medico, ReasonVQA).

5. Significato e Impatto

Saliency-R1 rappresenta un passo avanti cruciale verso VLM più affidabili e trasparenti.

• Affidabilità: Costringendo il modello a "guardare" le parti giuste dell'immagine per ragionare, si riduce drasticamente il rischio di allucinazioni e risposte basate su bias testuali.
• Efficienza: A differenza di metodi precedenti che richiedono calcoli intensivi per l'interpretabilità, Saliency-R1 integra la generazione di mappe di salienza direttamente nel processo di inferenza/addestramento senza costi computazionali aggiuntivi significativi.
• Sicurezza: Migliora la fiducia nell'uso dei VLM in contesti ad alto rischio (diagnosi medica, guida autonoma), dove la capacità di spiegare perché una decisione è stata presa basandosi sull'evidenza visiva è fondamentale.

In sintesi, il lavoro dimostra che allineare l'attenzione visiva interna del modello con le aspettative umane attraverso un reward specifico può trasformare un VLM da un generatore di risposte probabilistiche a un ragionatore visivo fedele e interpretabile.