Beyond the Vision Encoder: Identifying and Mitigating Spatial Bias in Large Vision-Language Models

Sintesi Tecnica: Oltre l'Encoder Visivo: Identificare e Mitigare il Bias Spaziale nei Grandi Modelli Vision-Language

1. Definizione del Problema

I Grandi Modelli Vision-Language (LVLM) hanno ottenuto un successo significativo nei compiti multimodali, ma mostrano un'insufficienza di robustezza rispetto alle variazioni spaziali. Nello specifico, gli attuali LVLM producono spesso output inconsistenti o contraddittori quando la stessa informazione visiva chiave viene posizionata in diverse località all'interno di un'immagine. Questo fenomeno, denominato bias spaziale, suggerisce che la comprensione semantica dei modelli non sia invariante rispetto alla posizione, ma piuttosto influenzata da preferenze spaziali specifiche.

Sebbene ricerche precedenti abbiano collegato il bias spaziale all'allucinazione di oggetti o al decadimento a lungo termine dell'Embedding di Posizione Rotatoria (RoPE), questo lavoro sostiene che tali spiegazioni manchino di generalizzabilità o non riescano ad affrontare la causa radice nella comprensione semantica fondamentale. Il paper postula che il bias non derivi dalle capacità di percezione o di codifica del vision encoder, ma da un disallineamento nei meccanismi di attenzione tra il vision encoder e il backbone del Large Language Model (LLM).

2. Metodologia e Analisi

A. Probing Sistematico della Robustezza Spaziale
Per quantificare il bias spaziale, gli autori hanno costruito un dataset di probing controllato basato sul matching immagine-testo.

• Costruzione del Dataset: 10.000 coppie immagine-didascalia sono state campionate da LAION. Per ogni immagine chiave, sono stati recuperati 8 immagini distrattore. L'immagine chiave e i distruttori sono stati disposti in una griglia $3 \times 3$ per formare un'immagine composita.
• Configurazione Sperimentale: L'immagine chiave è stata spostata sistematicamente in ciascuna delle 9 posizioni della griglia ($n=0$ a $8$) mantenendo costanti la didascalia e i distruttori. Al modello è stata posta una domanda binaria per determinare se il composito contenesse l'immagine target.
• Risultati: Gli esperimenti su sei LVLM rappresentativi (tra cui Qwen2.5-VL, LLaVA-v1.6 e InternVL3) hanno rivelato fluttuazioni significative di accuratezza attraverso le diverse posizioni della griglia. Notevolmente, le prestazioni non correlavano fortemente con la distanza dei token, suggerendo che il bias non sia causato principalmente dal decadimento a lungo termine di RoPE.

B. Analisi della Causa Radice
Gli autori hanno scomposto la pipeline di elaborazione visiva in due fasi per isolare la fonte del bias:

1. Fase di Percezione (Eraser Search): Utilizzando esperimenti di masking, lo studio ha confermato che gli LVLM identificano coerentemente le regioni critiche indipendentemente dalla loro posizione spaziale. La percezione è spazialmente robusta.
2. Fase di Comprensione Semantica (Vision Encoder): Misurando la similarità del coseno tra le feature visive e gli embedding testuali attraverso diverse posizioni, lo studio ha scoperto che il vision encoder produce rappresentazioni stabili e semanticamente allineate, indipendenti dalla localizzazione.
3. Il Collo di Bottiglia dell'LLM: Poiché sia la percezione che l'encoding visivo sono robusti, il bias ha origine nel ragionamento cross-modale dell'LLM. Gli autori ipotizzano che il meccanismo di auto-attenzione causale negli LLM (che limita i token all'attenzione solo verso i token precedenti) interrompa il flusso di informazioni globale bidirezionale stabilito dal Vision Transformer (ViT) encoder. Questa interruzione causa la perdita di accesso al contesto globale olistico per i token dell'immagine mentre si propagano attraverso i layer dell'LLM, rendendo il loro contributo eccessivamente dipendente dalla posizione.

C. Soluzione Proposta: Adaptive Global Context Injection (AGCI)
Per mitigare questo problema senza modifiche architettoniche, gli autori propongono AGCI, un meccanismo leggero che inietta dinamicamente il contesto visivo globale condiviso in ogni token dell'immagine.

• Meccanismo:
  1. Calcolare il contesto globale dell'immagine $\tilde{g}$ come la rappresentazione media di tutti i token dell'immagine.
  2. Calcolare la similarità semantica $w_i$ tra ogni token dell'immagine $\tilde{v}_i$ e il contesto globale.
  3. Iniettare il contesto globale in ogni token con una forza adattiva proporzionale a $(1 - w_i)$:
     $$\tilde{v}'_i = \tilde{v}_i + \lambda(1 - w_i)\tilde{g}$$
  4. Qui, $\lambda$ è un iperparametro che funge da valvola di sicurezza per preservare i dettagli fini. I token con minore rilevanza semantica globale ricevono un supplemento più forte.

3. Risultati Chiave

A. Robustezza Spaziale (Compito di Probing)

• AGCI ha ridotto significativamente la varianza dell'accuratezza ($\Delta$) tra le posizioni della griglia per tutti i modelli testati.
• Per i modelli con alto bias iniziale (es. LLaVA-v1.6), AGCI ha ridotto la varianza da 14.93 a 8.05 e migliorato l'accuratezza media da 70.82 a 80.75.
• Per i modelli più grandi (es. Qwen2.5-VL-72B), AGCI ha migliorato l'accuratezza media da 70.12 a 86.11 mantenendo una bassa varianza.

B. Performance sui Task a Valle (Downstream)
AGCI è stato valutato su sei benchmark a valle tramite fine-tuning leggero con LoRA:

• Ragionamento Complesso (MMMU-Pro, ScienceQA): AGCI ha migliorato le prestazioni, particolarmente nelle configurazioni a 10 opzioni, indicando una migliore integrazione dei segnali visivi e della comprensione globale.
• Benchmark di Allucinazione (CRPE, HallusionBench, POPE): AGCI ha generalmente ridotto le tendenze all'allucinazione e migliorato l'affidabilità delle predizioni. Ad esempio, su POPE, l'accuratezza media di Qwen3-VL è passata da 84.51 a 86.96.
• Task OCR (TextVQA): AGCI ha mostrato forti guadagni (es. +4.93 per LLaVA-v1.6), suggerendo che il contesto globale aiuti ad aggregare le regioni testuali disperse.

C. Visualizzazione del Flusso di Informazioni
Le visualizzazioni delle mappe di attenzione hanno dimostrato che i modelli baseline spesso si concentravano su regioni spaziali irrilevanti (es. l'angolo in alto a sinistra) a causa del bias posizionale. Dopo l'applicazione di AGCI, l'attenzione è diventata più concentrata sulle regioni rilevanti per il compito (es. testo OCR specifico), confermando che AGCI ripristina una rappresentazione contestuale bilanciata.

4. Significato e Rivendicazioni

Il paper rivendica tre contributi primari:

1. Investigazione Sistematica: Fornisce prove empiriche che le predizioni degli LVLM variano significativamente con la posizione spaziale del contenuto visivo identico, evidenziando una debolezza critica nella comprensione spaziale attuale.
2. Identificazione della Causa Radice: Individua la fonte del bias spaziale nella perdita del contesto globale dell'immagine causata dal meccanismo di attenzione causale negli LLM, escludendo esplicitamente il vision encoder e il decadimento di RoPE come principali responsabili.
3. Mitigazione Efficace: Introduce AGCI, un metodo semplice e indipendente dall'architettura che migliora la robustezza spaziale e le performance a valle senza sacrificare le capacità intrinseche.

Gli autori sottolineano che AGCI funziona ripristinando l'accesso stabile al contesto globale durante il ragionamento cross-modale, alleviando così l'inconsistenza causata dal disallineamento tra l'encoding visivo bidirezionale e la modellazione del linguaggio causale. Il lavoro suggerisce che il rinforzo esplicito della semantica visiva globale sia cruciale per ottenere una comprensione multimodale robusta e invariante rispetto alla posizione.