Entropy-Gradient Grounding: Training-Free Evidence Retrieval in Vision-Language Models

1. Il Problema

Nonostante i rapidi progressi nei Modelli Linguistici Visivi (VLM) pre-addestrati, questi modelli continuano a fallire quando la risposta a una domanda dipende da:

• Dettagli visivi fini: Testo piccolo, simboli o oggetti di dimensioni ridotte.
• Evidenze spazialmente disgiunte: Informazioni sparse su regioni diverse dell'immagine (tipico nei documenti, infografiche o query composizionali).

I fallimenti attuali non derivano dalla capacità di generazione, ma dalla percezione selettiva: i modelli non riescono a identificare correttamente le regioni visive rilevanti. Le soluzioni esistenti si basano spesso su mappe di attenzione (attention maps), che richiedono scelte euristica (selezione di layer/testine), sono fragili tra diversi backbones e tendono a focalizzarsi su un'unica regione saliente, ignorando evidenze secondarie o disperse. Inoltre, metodi come ViCrop si limitano a un singolo ritaglio (crop) basato su euristiche, fallendo nel recupero di prove multiple.

2. Metodologia

Gli autori propongono Entropy-Gradient Grounding, un metodo training-free (senza ri-addestramento) e intrinseco al modello, che tratta l'inferenza come un processo di acquisizione attiva di evidenze guidato dall'incertezza del modello stesso.

Il processo si articola in quattro fasi principali:

A. Grounding Visivo basato sull'Entropia

Invece di aggregare segnali dalle mappe di attenzione, il metodo deriva un segnale di grounding direttamente dalla distribuzione del prossimo token generato dal modello.

1. Obiettivo: Si calcola l'entropia di Shannon della distribuzione del prossimo token ($H_t$) a un passo di decodifica (tipicamente il primo).
2. Backpropagazione: L'entropia viene trattata come una funzione di perdita e viene retropropagata fino agli embedding visivi ($V$) del modello.
3. Mappa di Gradiente: Il gradiente dell'entropia rispetto agli embedding visivi ($\frac{\partial \mathcal{L}_{ent}}{\partial V}$) produce una mappa di rilevanza. Le regioni con gradienti elevati sono quelle le cui caratteristiche visive influenzano maggiormente l'incertezza del modello sulla generazione della risposta.
4. Vantaggio: Questo segnale è intrinseco, condizionato dalla query e non richiede detector ausiliari o euristiche sulle mappe di attenzione.

B. Selezione e Ranking Multi-Regionale

Poiché una singola mappa di salienza può collassare su una regione dominante, il metodo estrae regioni coerenti:

1. Smussatura e Binarizzazione: La mappa dei gradienti viene smussata con un filtro Gaussiano e binarizzata utilizzando una soglia adattiva (metodo del "gomito" o elbow method) per separare le risposte salienti dallo sfondo senza parametri manuali.
2. Estrazione Componenti: Vengono identificate le componenti connesse nella maschera binaria.
3. Ranking: Ogni componente riceve un punteggio di importanza basato sulla somma dei gradienti originali all'interno della regione. Vengono selezionati i top-$K$ regioni (ROI) coerenti spazialmente.

C. Rifinitura Iterativa (Iterative Refinement)

Per recuperare dettagli fini o evidenze secondarie che potrebbero essere state soppresse in un passaggio singolo, il metodo introduce un ciclo di feedback:

1. Si applica nuovamente il grounding basato sull'entropia sulle regioni selezionate (zoom).
2. Si generano nuovi ritagli (crops) più stretti.
3. Criterio di Arresto: Il ciclo continua finché l'entropia spaziale delle maschere di attivazione diminuisce (indicando una concentrazione migliore dell'attenzione). Se l'entropia spaziale aumenta, significa che l'ulteriore ritaglio sta disperdendo l'attenzione o perdendo contesto, e il processo si ferma. Questo evita il over-refinement.

D. Generazione Finale

Le regioni selezionate (il crop globale + i ritagli zoomati) vengono concatenati e passati al modello VLM per la generazione finale della risposta.

3. Contributi Chiave

1. Metodo Training-Free Intrinseco: Un approccio che utilizza l'incertezza del modello (entropia del prossimo token) per guidare la percezione visiva senza modificare l'architettura o richiedere dati aggiuntivi.
2. Recupero Multi-Regionale: Una pipeline che estrae e classifica multiple regioni di interesse coerenti, permettendo di aggregare evidenze spazialmente disgiunte (cruciale per documenti e query complesse).
3. Rifinitura Iterativa con Criterio di Arresto: Un meccanismo di "zoom-and-ree-ground" controllato dall'entropia spaziale, che bilancia il recupero di dettagli fini con la conservazione del contesto, evitando cicli infiniti.
4. Generalizzazione: Il metodo funziona su diverse architetture VLM (LLaVA, InternVL, Qwen) e supera i metodi basati su attention map.

4. Risultati Sperimentali

Il metodo è stato valutato su 7 benchmark (inclusi TextVQA, DocVQA, POPE, V*, InfoQA) e su 4 architetture VLM diverse.

• Miglioramenti Generali: Il metodo mostra miglioramenti coerenti rispetto ai modelli base e supera il miglior concorrente training-free (ViCrop).
• Performance su Task Critici: I guadagni più significativi si osservano su task che richiedono dettagli fini o ragionamento multi-regione:
  • V (Visual Search):* Aumento drastico (es. +15.71% su LLaVA-1.6), grazie alla capacità di focalizzarsi su regioni specifiche in immagini ad alta risoluzione.
  • DocVQA e InfoQA: Miglioramenti sostanziali nel recupero di informazioni da documenti e infografiche, dove ViCrop spesso fallisce o peggiora le prestazioni.
  • POPE: Miglioramento nella riduzione delle allucinazioni (hallucination probing).
• Confronto con Metodi Supervisionati: Il metodo training-free supera o raggiunge prestazioni comparabili a modelli che richiedono addestramento specifico (come TEVA) su task come POPE e InfoQA.
• Robustezza: Le performance migliorano all'aumentare della potenza del modello di base (backbone), indicando che il segnale di grounding scala con la qualità delle rappresentazioni del modello.
• Costo Computazionale: Sebbene l'iterazione aggiunga tempo di inferenza (circa 3-4 secondi per campione rispetto a 0.5-1s del base), il criterio di arresto limita le iterazioni inutili, mantenendo il costo pratico.

5. Significato e Impatto

Questo lavoro sposta il paradigma del grounding visivo dall'uso di segnali euristici (attention maps) o detector esterni all'utilizzo dell'incertezza del modello linguistico come segnale di guida.

• Interpretabilità: Fornisce localizzazioni di evidenze più precise e interpretabili, mostrando esattamente dove il modello "guarda" per ridurre la sua incertezza.
• Efficienza: Dimostra che è possibile migliorare drasticamente la comprensione visiva fine-grained senza il costo proibitivo del ri-addestramento di grandi modelli multimodali.
• Versatilità: Offre una soluzione generale per problemi di ragionamento spaziale e documentale, aprendo la strada a sistemi VLM più capaci di agire come agenti di percezione attiva durante l'inferenza.