Logit Lens Supervision for Patch-Level Explanations in Vision-Language Models

Sintesi Tecnica: Supervisione tramite Logit Lens per Spiegazioni a Livello di Patch in Modelli Vision-Language

Problematica
I moderni modelli Vision-Language (VLM) autoregressivi, come LLaVA e Qwen-VL, combinano encoder visivi con Large Language Models (LLM) per generare testo fluido. Tuttavia, man mano che i token visivi si propagano attraverso gli strati di attenzione dell'LLM, subiscono trasformazioni significative e un mescolamento con i token linguistici. Gli autori sostengono che questo "mescolamento di modalità incontrollato" causa la perdita della corrispondenza diretta tra gli embedding visivi e le specifiche regioni dell'immagine (patch) da cui sono originati. Di conseguenza, il legame tra un token visivo e il contenuto semantico della sua patch di origine viene diluito. Ciò porta a due problemi primari:

1. Debole Spiegabilità a Livello di Patch: Le classiche visualizzazioni Logit Lens (che proiettano gli embedding nelle probabilità del vocabolario) spesso non riescono a produrre mappe di confidenza nitide e localizzate, particolarmente nei nuovi VLM come Qwen2.5-VL.
2. Allucinazione e Degradazione del Grounding: I token visivi possono essere efficacemente ignorati o la loro informazione può essere trasferita interamente ai token linguistici, permettendo ai modelli di allucinare descrizioni di oggetti anche quando l'evidenza visiva corrispondente è stata rimossa o è assente.

Metodologia: Logit Lens Loss (LLL)
Per affrontare il disaccoppiamento dei token visivi dalle loro regioni di origine nell'immagine, gli autori propongono la Logit Lens Loss (LLL), un obiettivo ausiliario leggero applicato durante il fine-tuning.

• Concetto Core: Il metodo sfrutta la tecnica Logit Lens, che proietta gli embedding degli strati intermedi ($h_l$) attraverso la matrice di unembedding dell'LLM ($U_\theta$) per generare una distribuzione di probabilità sul vocabolario.
• Meccanismo: A differenza della standard Next-Token Prediction (NTP) loss, che supervisiona solo la generazione di token testuali, la LLL supervisiona direttamente i token visivi.
  • Per i token visivi ($s$) corrispondenti alle patch d'immagine all'interno di un bounding box di un oggetto target (insieme $\mathcal{P}'$), la loss massimizza la probabilità del token del vocabolario che descrive quell'oggetto (es. <cat>).
  • Per i token visivi al di fuori della regione dell'oggetto (insieme $\mathcal{P} \setminus \mathcal{P}'$), la loss minimizza la probabilità di quel particolare token del vocabolario.
• Formulazione: La loss totale è definita come $L_{total} = L_{NTP} + \lambda L_{LLL}$, dove $\lambda$ è empiricamente impostato a 0.5. Il termine LLL è una cross-entropy loss applicata alla distribuzione del vocabolario derivata dagli embedding dei token visivi nell'ultimo strato dell'LLM.
• Distinzione Chiave: L'approccio non richiede modifiche architettoniche (nessun decoder di maschere, teste di localizzazione o moduli di predizione del bounding box). Si basa esclusivamente sugli esistenti embedding dei token visivi e sulla testa di proiezione del vocabolario. Il segnale di supervisione è derivato direttamente dalle annotazioni dei bounding box per identificare quali patch corrispondono al concetto target, ma il modello non è addestrato per emettere coordinate; è piuttosto addestrato per allineare la rappresentazione interna della patch con il concetto semantico.

Contributi Chiave

1. Nuovo Grounding Visivo: Introduzione di LLL, che vincola esplicitamente gli embedding dei token visivi a rimanere semanticamente allineati con i concetti linguistici che descrivono le loro regioni d'immagine mentre passano attraverso gli strati dell'LLM.
2. Localizzazione Intrinseca: A differenza dei lavori precedenti che predicono bounding box o maschere come output esterni, LLL incorpora la consapevolezza della localizzazione direttamente negli embedding profondi dei token visivi. Ciò crea un legame intrinseco tra le patch visive e i concetti testuali senza modificare l'architettura del modello.
3. Spiegabilità Migliorata: Il metodo migliora significativamente la qualità delle mappe di confidenza degli oggetti del Logit Lens. I modelli sottoposti a fine-tuning con LLL producono mappe più nitide e localizzate che riflettono accuratamente quali patch d'immagine il modello associa a specifici concetti testuali.
4. Segnale di Gradiente Diretto: Gli autori dimostrano che LLL fornisce un segnale di gradiente diretto ai token visivi, laddove il segnale derivante dalla standard NTP deve propagarsi attraverso gli strati di attenzione, risultando spesso in un segnale debole per i token visivi.

Risultati Sperimentali
Gli autori hanno valutato LLL su LLaVA-v1.5-7B e Qwen2.5-VL-7B attraverso diverse metriche:

• Segmentazione di Espressione Referenziale (RES): Utilizzando le mappe Logit Lens per generare maschere di segmentazione (tramite soglia o prompting di un SAM congelato), i modelli fine-tunnati con LLL hanno mostrato miglioramenti significativi nei punteggi cIoU rispetto ai modelli base e solo NTP. Con il post-processing SAM, Qwen2.5-VL+LLL ha raggiunto prestazioni comparabili ai modelli specializzati di SOTA nel grounding.
• Allucinazione di Oggetti (POPE): Sul benchmark POPE, LLL ha ridotto le allucinazioni di oggetti, aumentando l'accuratezza "Yes/No". Notevolmente, i modelli fine-tunnati solo su RefCOCO (dati di localizzazione) e valutati su POPE hanno mostrato un miglioramento dell'accuratezza con LLL, mentre il fine-tuning solo NTP ha degradato le prestazioni rispetto al modello base.
• Pointing Zero-Shot: I modelli fine-tunnati con LLL su RefCOCO hanno dimostrato una forte capacità di trasferimento sul dataset PixMo-Points (categorie di oggetti non visti), ottenendo errori di localizzazione mediani inferiori rispetto a diversi baseline proprietari e modelli specifici per il task addestrati con supervisione esplicita delle coordinate.
• Visual Question Answering (VQA): LLL ha preservato o leggermente migliorato le prestazioni sui benchmark VQAv2 e GQA, indicando che il potenziamento del grounding visivo non compromette le capacità di generazione del linguaggio del modello.
• Visualizzazione: I risultati qualitativi (Fig. 2) hanno mostato come LLL trasformi segnali Logit Lens sparsi e confusi in mappe di confidenza nitide e allineate agli oggetti.

Significatività e Claim
Il paper sostiene che LLL offre un meccanismo semplice ed efficace per preservare la "località" dell'informazione visiva all'interno dei VLM autoregressivi senza la complessità di aggiungere nuovi componenti architettonici. Ancorando direttamente gli embedding visivi nello spazio del vocabolario, il metodo rende i modelli di fondazione più interpretabili (tramite mappe Logit Lens fedeli) e più robusti contro le allucinazioni. Gli autori sottolineano che LLL non mira a insegnare nuovi concetti, ma piuttosto a prevenire la degradazione della comprensione localizzata esistente durante il processo di modellazione del linguaggio. I risultati suggeriscono che un migliore grounding interno è ottenibile attraverso una supervisione ausiliaria che allinea i token visivi con le loro descrizioni semantiche, portando a modelli che sono sia più efficaci che più spiegabili.