Sintesi Tecnica: I Probi Foveali Recuperano Informazioni di Legame Localizzate nei Modelli di Visione Fondamentale

Definizione del Problema

I modelli di visione fondamentale (VFM) vengono valutati prevalentemente utilizzando un singolo embedding globale dell'immagine (ad esempio, un token di classe, un output mediato o un global average pooling). Sebbene questo sia conveniente per i compiti di allineamento immagine-testo, tale interfaccia introduce un'ambiguità critica quando i modelli falliscono in compiti spaziali, relazionali o di legame (binding): l'informazione rilevante è assente nella rappresentazione dell'encoder congelato, o è stata scartata dal readout globale?

La letteratura esistente documenta fallimenti nel matching compositivo, nel legame attributo-oggetto e nel ragionamento spaziale localizzato in modelli come CLIP e SigLIP. Al contrario, i metodi di predizione densa suggeriscono che i token dei patch conservino informazioni locali utili. Questo articolo postula una distinzione tra fallimento della rappresentazione (l'informazione è realmente assente) e cecità spaziale a livello di readout (l'informazione esiste nei token dei patch ma diventa inaccessibile dopo essere stata collassata in un vettore globale). Gli autori sostengono che il pooling globale diluisca le prove di variazione del label localizzato, esponendo al contempo il probe a variazioni di disturbo (nuisance) provenienti da oggetti irrilevanti.

Metodologia

Lo studio isola l'interfaccia di readout mantenendo l'encoder di visione congelato e variando solo il meccanismo utilizzato per aggregare i token dei patch per un compito di classificazione a valle. Nessun gradiente aggiorna i tower di visione o di testo.

Protocolli di Readout

1. Global Readouts (Baseline):
   • Global Average Pooling (GAP): Media uniformemente tutti i token dei patch.
   • Summary Token: Utilizza l'embedding di riepilogo preaddestrato (ad esempio, il class token di CLIP).
   • Question-Only (Compiti VLM): Utilizza solo l'embedding del testo per misurare la conoscenza a priori.
2. Foveated Readout (Proposto):
   • Un pooling di attenzione a singola query leggero su patch tokens congelati.
   • Una query $q$ (appresa per compiti di sola visione o derivata dall'embedding della domanda per i compiti VLM) assegna punteggi di attenzione ai token.
   • L'output è una somma pesata dei token, che seleziona l'evidenza prima del collasso spaziale.
   • Fondamentalmente, questo readout è addestrato senza alcuna supervisione di posizione (nessun bounding box); impara a selezionare i token basandosi esclusivamente sulla perdita del compito (task loss).
3. Oracle Readout:
   • Aggrega i token strettamente all'interno di una regione target annotata.
   • Serve come limite superiore diagnostico per confermare se l'informazione è presente nei token.

Metrica Diagnostica: Rapporto Segnale-Disturbo Controfattuale (NSR)

Per quantificare perché i readout globali falliscono, gli autori introducono l'NSR, calcolato direttamente sugli embedding:

• Segnale ($S$): La variazione media al quadrato della rappresentazione quando il fattore che definisce il label (ad esempio, colore/forma del target) viene modificato tramite controfatti.
• Disturbo ($N$): La varianza nella rappresentazione quando il contenuto della scena irrilevante (distrattori) viene cambiato mentre il label rimane fisso.
• NSR: $N / S$. Un basso NSR indica che la rappresentazione è sensibile al label e stabile rispetto al rumore. Un alto NSR indica che la rappresentazione è dominata da variazioni irrilevanti.

Compiti di Valutazione

1. Legame Colore-Forma Sintetico (CSB): Un compito controllato in cui la congiunzione colore-forma di un oggetto target deve essere identificata in presenza di distrattori avversari (lure) che corrispondono a uno dei due attributi.
2. Rilevamento di Forme Affollate (CSD): Una variante del CSB priva di colore per testare il legame della forma senza indizi cromatici.
3. Legame del Colore Localizzato derivato da GQA (GQA):* Un compito su immagini naturali in cui domande accoppiate chiedono il colore di due diverse istanze della stessa categoria di oggetto all'interno della stessa immagine.

Risultati Chiave

Compiti Sintetici (CSB & CSD)

• Gap di Performance: I readout globali (GAP/Summary) operano vicino al livello del caso sulla precisione controfattuale accoppiata (circa il 3,5% per CSB, dove il caso è il 2,8%). Al contrario, il readout foveale raggiunge il 93,5%, avvicinandosi all'99,3% dell'oracle.
• Sensibilità al Clutter: All'aumentare del numero di distrattori, l'accuratezza del readout globale scende monotonicamente, mentre l'accuratezza del readout foveale rimane vicina al valore massimo.
• Analisi NSR: I readout globali mostrano un alto NSR (7–15), il che significa che le modifiche di disturbo spostano l'embedding da 7 a 15 volte più di quanto facciano le modifiche del label. Il readout foveale mantiene un basso NSR (~0,3), simile all'oracle.
• Lure Avversari: La performance del readout globale fluttua selvaggiamente in base alla composizione dei lure (ad esempio, aumenta con i lure di forma-target, diminuisce con i lure di controparte-forma), indicando una dipendenza dalle statistiche a livello di scena. Il readout foveale rimane invariante rispetto alla composizione dei lure.

Compito su Immagini Naturali (GQA*)

• Accuratezza Accoppiata: Gli embedding globali indipendenti dalla domanda migliorano solo modestamente rispetto ai priori della sola domanda (circa il 4% rispetto al 2,3% del caso).
• Impatto della Foveazione: La foveazione condizionata dalla domanda raggiunge il 17,0% di accuratezza accoppiata, circa 4 volte superiore alla performance del readout globale.
• Gap dell'Oracle: L'oracle raggiunge il 33,0%, indicando che, sebbene il readout foveale recuperi un segnale significativo, la rappresentazione congelata contiene ancora ulteriori informazioni specifiche dell'oggetto (come il colore) non ancora pienamente recuperate dal selettore leggero.

Contributi

1. Formulazione della Cecità Spaziale a Livello di Readout: Il documento definisce e distingue questo fenomeno dal fallimento della rappresentazione, introducendo l'NSR controfattuale come strumento diagnostico.
2. Protocollo di Probing Foveale: Introduzione di un readout di pooling di attenzione minimo e apprendibile che recupera l'informazione di legame localizzata senza fine-tuning dell'encoder o uso di supervisione di posizione.
3. Evidenza Empirica: Dimostrazione che il collasso globale può far apparire assente l'informazione disponibile. Lo studio mostra che un selettore leggero può recuperare la maggior parte del segnale accessibile dall'oracle, suggerendo che la "cecità spaziale" nei modelli congelati è spesso un artefatto dell'interfaccia dell'embedding globale piuttosto che una mancanza di informazioni spaziali nei token dei patch.

Significato e Rivendicazioni

Il documento conclude che la domanda "I modelli di visione congelati sono spazialmente ciechi?" è mal specificata; la risposta dipende interamente dall'interfaccia utilizzata per accedere ai token dei patch.

• Rivalutazione dei Fallimenti: I fallimenti nei compiti spaziali e compositivi non dovrebbero essere immediatamente attribuiti a una mancanza di rappresentazione nel modello di fondazione. Inveve, potrebbero derivare dal fatto che l'informazione è soppressa dal pooling globale.
• Principio di Valutazione: Prima di attribuire i fallimenti localizzati alla rappresentazione appresa, i ricercatori dovrebbero testare se la conclusione sopravvive a un readout che preserva o accede selettivamente ai token spaziali.
• Limitazioni: Gli autori notano che il probe foveale è un intervento diagnostico, non un sostituto per architetture con interazioni cross-modali più ricche. Lo studio si concentra sul legame degli attributi localizzati; estendere queste diagnostiche ad altri compiti relazionali e architetture è un lavoro futuro.

I risultati indicano che, sebbene gli embedding globali siano riassunti utili, non dovrebbero essere scambiati per account completi di ciò che un modello di visione congelato conosce effettivamente.