Density-Aware Translation of Spurious Correlations in Zero-Shot VLMs

Sintesi Tecnica: Traduzione Consapevole della Densità delle Correlazioni Spurie nei VLM Zero-Shot

Problematica
I modelli visione-linguaggio (VLM), come CLIP, hanno dimostrato potenti capacità di classificazione zero-shot allineando gli embedding immagine e testo in uno spazio latente condiviso. Tuttavia, questi modelli rimangono altamente suscettibili alle correlazioni spurie, dove le predizioni si basano su indizi contestuali frequenti ma semanticamente irrilevanti (ad es. lo sfondo) piuttosto che su contenuti significativi.

Il documento identifica una causa radice geometrica di questo fallimento: gli embedding di CLIP esibiscono una struttura anisotropa ed ellissoidale nello spazio delle caratteristiche. I pattern comuni (spesso correlati ad attributi spuri) si raggruppano vicino alla media della distribuzione, mentre i pattern rari ma semanticamente significativi giacciono in regioni periferiche più sparse. Questa geometria crea un allineamento diseguale in cui:

1. Le correlazioni spurie sono amplificate perché i campioni frequenti si allineano strettamente con il vettore medio della modalità.
2. Gli indizi semanticamente significativi ma rari sono marginalizzati, ricevendo punteggi di similarità inferiori rispetto ai campoli allineati in modo spurio.
3. La similarità del coseno standard, che assume distribuzioni isotrope, non tiene conto di questa variazione di densità, portando a un bias sistematico contro i gruppi sottorappresentati.

Le strategie di mitigazione esistenti si affidano spesso al fine-tuning (compromettendo la generalizzazione zero-shot), al prompt engineering (propenso all'allucinazione e al disallineamento) o alla scoperta supervisionata di concetti (che richiede etichette per gli attributi spuri).

Metodologia: Traduzione Consapevole della Densità (DAT)
Gli autori propongono la Traduzione Consapevole della Densità (DAT), un meccanismo di calibrazione zero-shot che affina i punteggi di similarità immagine-testo utilizzando un termine di densità geometrica locale derivato da set di riferimento di gruppo. Il metodo opera senza aggiornare i parametri del modello e senza richiedere l'accesso alle etichette degli attributi spuri al momento del test.

I componenti principali di DAT sono:

1. Costruzione del Reference di Gruppo: Un piccolo set bilanciato di campioni di riferimento è costruito per ogni gruppo (definito dalla classe $y$ e dall'attributo spurio $a$) utilizzando una procedura di campionamento. Per garantire la stabilità, viene utilizzato l'herding di esemplari deterministico nello spazio delle caratteristiche per selezionare gli embedding la cui media mobile corrisponde alla media del gruppo.
2. Stima della Densità: Per un'immagine di query, la densità locale rispetto al set di riferimento di un gruppo è stimata utilizzando il Simplified Local Outlier Factor (SLOF). Un valore SLOF più alto indica che il campione si trova in una regione sparsa (meno rappresentativo), mentre un valore più basso indica una regione densa.
3. Traduzione della Densità: I punteggi di similarità grezzi tra l'immagine e i prompt di gruppo sono riscalati in base alla densità stimata. Nello specifico, i punteggi per i campioni in regioni diffuse (sparse) sono soppressi, mentre i punteggi per i campioni in regioni dense e semanticamente coerenti sono preservati. La traduzione è formulata come:
   $$\tilde{s}_{y,a}(x) = \frac{s_{y,a}(x)}{(D_{y,a}(z) + \epsilon)^\lambda}$$
   dove $s_{y,a}$ è la similarità grezza, $D_{y,a}$ è il proxy di densità, $\lambda$ controlla la forza della traduzione e $\epsilon$ garantisce la stabilità.
4. Aggregazione delle Predizioni: Le predizioni finali sono effettuate massimizzando sia gli score corretti per gruppo che uno score marginale di classe (mediato per attributo), garantendo robustezza attraverso diverse strategie di aggregazione.

Una variante, DAT*, viene introdotta per scenari in cui le etichette degli attributi spuri non sono disponibili. Essa inferisce l'appartenenza al gruppo in modalità zero-shot selezionando il prompt dell'attributo che massimizza la similarità con l'embedding dell'immagine.

Analisi Teorica
Il documento fornisce una giustificazione teorica per DAT modellando le distribuzioni di gruppo tramite la distribzione di Kent (Fisher-Bingham), che cattura la natura anisotropa degli embedding di CLIP.

• Bias nella Similarità del Coseno: Gli autori dimostrano che la similarità del coseno grezza devia sistematicamente dai confini decisionali Bayes-ottimali in spazi anisotropi. Essa recupera il termine assiale lineare del logaritmo della densità ma ignora il termine di anisotropia quadratica.
• Allineamento Bayes: Sotto l'assunto che il logaritmo del proxy di densità (SLOF) sia fedele al logaritmo negativo della densità, gli autori mostrano che DAT reinserisce i termini di log-verosimiglianza mancanti e sensibili all'anisotropia. Di conseguenza, il discriminante DAT si allinea con le regole di scoring Bayes-ottimali, correggendo il bias inerente allo scoring puro del coseno.

Contributi Chiave

1. Meccanismo DAT: Introduzione di un meccanismo zero-shot che riscala le similarità immagine-testo usando le densità dei set di riferimento di gruppo, senza richiedere fine-tuning, prompt engineering o accesso alle etichette degli attributi spuri al tempo del test.
2. Correzione Teorica: Un'analisi teorica che dimostra come DAT corregga il bias della similarità del coseno sotto embedding anisotropi reinserendo i termini di log-verosimiglianza mancanti e allineandosi con le regole decisionali Bayes-ottimali.
3. Validazione Empirica: Esperimenti esaustivi su molteplici benchmark di correlazione spuria (Waterbirds, CelebA, COVID-19, FMoW) e backbone VLM (varianti di CLIP, ALIGN, AltCLIP) che mostrano miglioramenti costanti nell'accuratezza del Worst-Group (WG) e della Average.

Risultati Sperimentali
Gli autori hanno valutato DAT su standard benchmark di correlazione spuria:

• Waterbirds: DAT ha raggiunto la più alta accuratezza Worst-Group (WG) su tutti i backbone CLIP, superando il più forte baseline precedente (TIE) di circa il 4-14% a seconda del backbone. Ad esempio, con CLIP ViT-L/14, DAT ha raggiunto un'accuratezza WG dell'83.33% rispetto al 78.82% di TIE.
• CelebA: DAT e DAT* hanno ottenuto le prestazioni più forti nella maggior parte delle metriche, in particolare nell'accuratezza WG, superando spesso metodi allo stato dell'arte come TIE e ROBOSHOT.
• Domini Medici e Multi-Label: Sul dataset COVID-19 (usando BiomedCLIP), DAT ha migliorato l'accuratezza WG di oltre il 20% rispetto agli ultimi baseline. Sul complesso dataset FMoW, DAT ha ottenuto la più alta accuratezza WG e Average, riducendo significativamente il divario tra di esse.
• Generalizzazione: Il metodo ha dimostrato robustezza attraverso diversi VLM, inclusi ALIGN e AltCLIP, superando costantemente i precedenti approcci di debiasing.

Significatività e Rivendicazioni
Il documento sostiene che DAT offra un meccanismo di calibrazione semplice ed efficace per una classificazione zero-shot affidabile. La sua significatività risiede nel risolvere i limiti geometrici dei VLM senza compromettere il regime zero-shot. Modellando esplicitamente l'anisotropia e la densità locale, DAT mitiga l'amplificazione delle correlazioni spurie che affliggono l'inferenza basata sulla similarità standard.

Gli autori posizionano DAT non come un sostituto del debiasing basato sull'addestramento, ma come una necessaria correzione post-hoc per i bias geometrici inerenti ai pre-trained multimodal embeddings. Concludono che il lavoro futuro dovrebbe esplorare approcci multimodali adattivi per la stima della densità che siano meno sensibili alla selezione dei reference e al design dei prompt, ma sottolineano che l'attuale metodo fornisce una solida base parameter-free per migliorare la robustezza dei gruppi.