Sintesi Tecnica: Ascoltare rende la Visione Chiara per i VLM

Definizione del Problema

I modelli Vision-Language (VLM) richiedono un allineamento semantico affidabile tra testo e visione per garantire che le predizioni siano fondate sulle corrette regioni visive piuttosto che su prior linguistici. Gli approcci esistenti valutano tipicamente questo allineamento analizzando le distribuzioni di attenzione dei token lato risposta (i token generati durante il processo di decoding).

Tuttavia, gli autori osservano che fare affidamento sui token lato risposta porta spesso a un disallineamento. Nello specifico:

1. Deriva del Decoding (Decoding Drift): Man mano che il modello genera autoregressivamente le risposte, i prior linguistici derivanti dai token precedentemente generati si accumulano nel contesto. Ciò causa una deriva del meccanismo di attenzione, dove le regioni di massima attenzione non corrispondono più al token semantico desiderato (ad esempio, l'attenzione si sposta sul collo di un'anatra invece che sul collo quando viene interrogato per "collo d'anatra").
2. Bias Strutturale: I token strutturali, come i marcatori di confine della modalità (ad esempio, <vision start>, <vision end>), spesso racchiudono l'intero contesto e generano un'alta attenzione verso aree non correlate allo span semantico target, introducendo un rumore sistematico.

Questi problemi risultano in mappe di attenzione che non riescono a riflettere accuratamente la vera evidenza visiva che supporta un determinato token, minando l'affidabilità dell'interpretabilità e delle valutazioni di grounding.

Metodologia: PV-TAM

Per affrontare queste distorsioni, gli autori propongono il Prompt-Vision Token Activation Map (PV-TAM), un framework che sposta la prospettiva dalla generazione dinamica lato risposta alla semantica fissa lato prompt.

Componenti Core

1. Estrazione Lato Prompt (Prompt-Side Extraction):
   Inve di analizzare i token generati nella risposta, PV-TAM estrae le mappe di attivazione token-vision direttamente dai token del prompt (la query di input). Poiché i token del prompt sono input fissi e non soffrono dell'accumulo del contesto autoregressivo, essi forniscono una base più stabile per il grounding token-vision.

2. Denoising dei Token Strutturali (Structural Token Denoising):
   Il framework identifica che i token strutturali speciali (delimitatori) introducono un bias spaziale. Per mitigarlo, PV-TAM impiega un Filtro di Denoising:

   • Estrae le mappe di attivazione del token target ($A^t$) e dei suoi due token strutturali adiacenti ($A^{s_1}, A^{s_2}$).
   • Stima il bias strutturale come la media delle mappe dei token strutturali adiacenti.
   • Sottrae questo bias dalla mappa target: $D_t = A^t - \frac{1}{2}(A^{s_1} + A^{s_2})$.
   • Viene applicata una troncatura ReLU per mantenere solo l'evidenza positiva.
   • Giustificazione Teorica: Sotto le assunzioni di decomposizione additiva e deviazioni di confine non polarizzate, questo processo produce una mappa non polarizzata che rappresenta il segnale semantico del target più un rumore residuo a media zero.

3. Raffinamento Guidato dal Foreground (Opzionale):
   Per ridurre ulteriormente l'interferenza da parte di regioni di sfondo salienti ma irrilevanti, il metodo applica opzionalmente una maschera di probabilità del foreground (generata da un modello di rimozione dello sfondo pre-esistente come rembg) tramite moltiplicazione elemento per elemento.

Metriche di Valutazione

A differenza delle metriche tradizionali di tipo IoU che si basano esclusivamente sulla sovrapposizione di maschere binarizzate, PV-TAM introduce metriche che sfruttano la distribuzione dei picchi di attenzione e l'intensità di attivazione:

• Target–Global Ratio (TGR): Misura la proporzione dell'energia di attivazione totale che ricade all'interno della regione target.
• Target–Dominant Ratio (TDR): Misura la proporzione dell'energia di attivazione nella regione target rispetto alla regione di foreground dominante (isolando il focus del target dal rumore di fondo).
• Min Distance (Min-Dist): Calcola la distanza geometrica tra i picchi di attenzione salienti e il centro della regione target della ground-truth.

Contributi Chiave

1. Prompt-Vision Token Activation Map (PV-TAM): Un nuovo framework che utilizza i token lato prompt per estrarre mappe di attivazione, evitando efficacemente la deriva del decoding e l'entanglement contestuale inerenti alla generazione lato risposta.
2. Denoising dei Token Strutturali: Un metodo per identificare e sottrarre il bias spaziale sistematico introdotto dai marcatori di confine della modalità, producendo una mappa di attivazione "denoised" che riflette meglio il puro allineamento semantico.
3. Valutazione Orientata all'Allineamento: Il design delle metriche TGR e TDR, che quantificano la precisione della localizzazione analizzando la distribuzione e l'intensità dell'attenzione piuttosto che la semplice sovrapposizione di maschere binarie, fornendo una misura più sensibile dei fallimenti di allineamento.

Risultati Sperimentali

Gli autori hanno valutato PV-TAM su PartImageNet (segmentazione fine dei componenti) e RefCOCO (comprensione di espressioni referenziali) utilizzando molteplici backbone VLM, tra cui Qwen2-VL, Qwen2.5-VL e InternVL.

• Performance: PV-TAM ha superato costantemente i baseline allo stato dell'arte (inclusi TAM, Grad-CAM, CP-LRP e Attention Rollout) nelle metriche TGR, TDR e Min-Dist.
• Prompt vs. Answer: In studi controllati in cui lo stesso modello è stato testato con l'estrazione sia lato prompt che lato risposta, l'approccio lato prompt ha prodotto costantemente un allineamento superiore, confermando che i token lato risposta sono soggetti a deriva.
• Generalizzazione: Il metodo ha dimostrato prestazioni robuste attraverso diverse scale di modello (da 1B a 7B parametri) e architetture.
• Ablation: La rimozione della strategia lato prompt o del filtro di denoising ha causato cali significativi nelle performance, validando la necessità di entrambi i componenti.

Significato e Claim

Il paper sostiene che ascoltare il prompt (analizzare i token di input fissi) rende la visione più chiara per i VLM, bypassando il rumore introdotto durante la generazione autoregressiva.

• Utilità Diagnostica: PV-TAM funge da strumento diagnostico pratico per analizzare l'allineamento semantico nei VLM senza dipendere dagli output generati.
• Allineamento Emergente: I risultati suggeriscono che l'allineamento fine parola-regione possa emergere naturalmente come sottoprodotto del processo di generazione di seguito del prompt, anche senza espliciti loss di allineamento a livello di token durante l'addestramento.
• Applicazioni Future: Gli autori propongono che queste spiegazioni lato prompt possano servire come segnali di grounding leggeri per la distillazione della conoscenza (fornendo pseudo-maschere soft per modelli più piccoli) e come base per una regolarizzazione consapevole dell'allineamento durante l'addestramento per potenziare le capacità visivo-linguistiche.

Il lavoro sottolinea che, sebbene l'allineamento dell'attenzione non garantisca una spiegazione causale, esso offre una prospettiva più stabile e accurata per valutare e migliorare le capacità di grounding dei grandi VLM.