Blind to Position, Biased in Language: Probing Mid-Layer Representational Bias in Vision-Language Encoders for Zero-Shot Language-Grounded Spatial Understanding

1. Il Problema

I modelli Vision-Language Encoder (VLE) pre-addestrati (come CLIP, SigLIP) sono diventati lo standard per l'Segmentazione di Immagini con Riferimento (RIS) in modalità zero-shot, permettendo di localizzare regioni specifiche basandosi su descrizioni testuali senza addestramento specifico. Tuttavia, gli autori identificano due bias critici nascosti nelle rappresentazioni di questi modelli che limitano le prestazioni, specialmente in scenari multilingue e di localizzazione spaziale precisa:

1. Cecità Posizionale (Spatial Blindness): Le rappresentazioni dell'ultimo strato (final-layer) dei VLE sono ottimizzate per l'allineamento semantico globale. Di conseguenza, perdono la sensibilità ai dettagli posizionali fini. Le patch visive che dovrebbero corrispondere all'oggetto target spesso mostrano una bassa similarità o addirittura correlazioni inverse rispetto alla query testuale negli strati finali.
2. Bias Linguistico (Language Bias): Nel contesto multilingue, anche se le frasi sono semanticamente equivalenti (es. "l'uccello più vicino a noi" in inglese, cinese, tedesco), le loro rappresentazioni negli strati finali subiscono spostamenti geometrici sistematici nello spazio latente condiviso. Questo rende il punteggio di similarità instabile e dipendente dalla lingua, portando a errori di localizzazione quando si traducono le query.

Il problema centrale è che le informazioni spaziali precise e le rappresentazioni linguistiche stabili esistono ancora all'interno degli strati intermedi del modello, ma vengono attenuate o distorte dall'interfaccia di allineamento finale.

2. Metodologia: B2G (Biased to Grounded)

Gli autori propongono B2G, un framework training-free (senza addestramento) che agisce come un plugin per migliorare i pipeline esistenti di RIS zero-shot. Il metodo segue un paradigma unificato Probe $\rightarrow$ Select $\rightarrow$ Ground:

A. Sondaggio e Selezione degli Strati (Probe & Select)

• Sondaggio Visivo (Spatial Probe): Utilizzando una permutazione controllata di "tile" (blocchi) dell'immagine, gli autori dimostrano che gli strati intermedi sono sensibili alla disposizione spaziale, mentre l'ultimo strato è quasi invariante alla posizione. Vengono selezionate dinamicamente o fissate (tramite euristica) le layer intermedie più sensibili alla posizione.
• Sondaggio Testuale (Multilingual Probe): Analizzando le traduzioni parallele della stessa frase in diverse lingue, viene identificato lo strato intermedio in cui le rappresentazioni testuali mostrano la massima coerenza geometrica (minimo spostamento tra lingue).

B. Mappatura Spaziale (P-Map)

Una volta selezionato lo strato visivo intermedio, B2G costruisce una Mappa Spaziale Densa (P-Map):

1. Si estraggono le embedding delle patch a livello di pixel dallo strato intermedio selezionato.
2. Si calcola la similarità coseno con l'embedding del testo.
3. Inversione del Segno: Viene osservato che negli strati intermedi le patch di primo piano spesso hanno una similarità negativa rispetto alla query. B2G applica un'inversione deterministica del segno alle embedding delle patch prima della normalizzazione per correggere questo fenomeno ("opposite visualization"), ottenendo una mappa di attivazione interpretabile dove le regioni target hanno valori alti.
4. Questa mappa viene utilizzata per generare una maschera di guida spaziale che raggruppa le patch rilevanti.

C. Centroid Multilingue (Multilingual Centroid)

Per mitigare il bias linguistico:

1. Si generano embedding per la stessa query in $N$ lingue diverse fino allo strato intermedio selezionato.
2. Si calcola un centroide multilingue (la media delle embedding) a quel livello intermedio.
3. Questo centroide viene iniettato nello stato nascosto della query originale (lingua di riferimento) prima che questa prosegua attraverso gli strati successivi fino all'output finale. Questo stabilizza la geometria della rappresentazione, rendendola invariante alla lingua.

D. Reranking delle Maschere

Il sistema non sostituisce il generatore di maschere (es. Mask2Former, SAM), ma migliora la fase di punteggio e riordinamento:

• Le maschere candidate vengono valutate non solo sulla similarità globale testo-immagine, ma anche sulla sovrapposizione (IoU) con la P-Map generata.
• Un punteggio combinato ($S' = S_{baseline} + \lambda \cdot IoU_{mask, P-Map}$) viene usato per selezionare la maschera finale migliore.

3. Contributi Chiave

1. Analisi Strutturale: Dimostrazione empirica che i VLE pre-addestrati contengono informazioni spaziali precise e rappresentazioni linguistiche stabili negli strati intermedi, che vengono perse negli strati finali a causa dell'ottimizzazione per l'allineamento semantico globale.
2. Framework Training-Free: B2G migliora le prestazioni senza richiedere gradienti, backpropagation o ri-addestramento del modello base. Funziona su VLE congelati.
3. Risoluzione del Bias Multilingue: Introduzione di una strategia di iniezione del centroide a livello intermedio che risolve lo spostamento geometrico tra lingue, migliorando la robustezza senza bisogno di nuovi encoder multilingue.
4. Mappa Spaziale P-Map: Un metodo efficiente per estrarre mappe di attivazione spaziale precise dagli strati intermedi, superando i limiti delle mappe di attenzione o Grad-CAM tradizionali.

4. Risultati Sperimentali

Il metodo è stato valutato su diversi benchmark, mostrando miglioramenti significativi rispetto agli stati dell'arte (SOTA) zero-shot:

• RIS in Lingua Inglese:
  • Su RefCOCO, RefCOCO+ e RefCOCOg, B2G supera i migliori baseline training-free (come HybridGL e Global-Local).
  • Miglioramenti medi di +1–7 mIoU a seconda del backbone (es. +5.70 mIoU su RefCOCO+ con CLIP ViT-B/16).
  • Performance superiori anche su dataset difficili come PhraseCut.
• RIS Multilingue Zero-Shot:
  • Su 9 benchmark tradotti (RefCOCO family in 10 lingue), B2G aumenta l'IoU@50 da 45.13 a 53.41 e il mIoU da 42.42 a 49.62.
  • Recupera drasticamente le performance per lingue con bias geometrico forte (es. Tedesco, Cinese, Russo), riducendo il divario con l'inglese.
• Recupero Immagine da Testo (Text-to-Image Retrieval):
  • Miglioramento del Recall@1 in modalità multilingue (+4.22 in media su RefCOCO), dimostrando che la stabilizzazione geometrica aiuta anche compiti di retrieval, non solo di segmentazione.
• Efficienza:
  • Il metodo introduce un overhead computazionale moderato (circa 1.5x-1.7x il tempo di inferenza) ma evita il costo di ri-addestramento o l'uso di modelli aggiuntivi pesanti.

5. Significato e Impatto

Questo lavoro ribalta l'assunzione comune che gli strati finali dei VLE siano l'unica interfaccia utilizzabile per compiti di grounding.

• Implicazioni Teoriche: Rivela che l'ottimizzazione per l'allineamento semantico globale sacrifica la struttura fine (spaziale e linguistica) negli strati finali, ma che queste informazioni sono preservate negli strati intermedi.
• Implicazioni Pratiche: Fornisce una soluzione immediata e universale per migliorare l'accuratezza spaziale e la robustezza multilingue di qualsiasi VLE pre-addestrato, rendendo i sistemi di visione artificiale più accessibili e affidabili in contesti globali e robotici (es. navigazione, manipolazione) dove le istruzioni possono essere date in lingue diverse e richiedono precisione spaziale.
• Futuro: Apre la strada all'uso di rappresentazioni intermedie per compiti che richiedono ragionamento strutturale fine, suggerendo che l'analisi del "bias rappresentazionale" è una chiave per sbloccare il potenziale latente dei modelli foundation.