Revisiting Compositionality in Dual-Encoder Vision-Language Models: The Role of Inference

1. Il Problema: Il Limite della Similarità Globale

I modelli Vision-Language (VLM) a doppio encoder, come CLIP, sono diventati fondamentali per compiti come il recupero immagine-testo e il riconoscimento zero-shot. Tuttavia, mostrano prestazioni scadenti nel ragionamento composizionale (la capacità di distinguere configurazioni diverse degli stessi elementi, es. "un cane nero e un gatto bianco" vs "un cane bianco e un gatto nero").
Spesso questi modelli vengono descritti come sistemi "bag-of-words" (borsa di parole), poiché falliscono nel legare correttamente attributi e relazioni agli oggetti specifici.
L'ipotesi centrale degli autori è che questo limite non derivi da rappresentazioni interne povere, ma dal protocollo di inferenza standard: la similarità coseno globale tra vettori aggregati (pooling). Questo meccanismo collassa le informazioni multimodali in un singolo vettore, perdendo le corrispondenze regione-token necessarie per il binding composizionale.

2. Metodologia

Gli autori hanno adottato un approccio in due fasi per isolare il ruolo dell'allineamento rispetto all'apprendimento delle rappresentazioni:

A. Studio Diagnostico: Inferenza Strutturata (SGI)

Per verificare se le informazioni composizionali sono già presenti nei modelli pre-addestrati, hanno introdotto un protocollo di inferenza chiamato Structure-Guided Inference (SGI):

1. Fase di Input: L'immagine viene suddivisa in crop (regioni) e il testo in segmenti strutturati (frasi oggetto-attributo).
2. Allineamento Esplicito: Invece di confrontare i vettori globali, si calcola la similarità coseno tra ogni crop e ogni segmento testuale.
3. Aggregazione: Si seleziona il miglior match per ogni segmento e si calcola un punteggio medio.
   Nota: Gli encoder (visione e testo) rimangono congelati (frozen). Questo esperimento dimostra se l'adeguata strutturazione dell'inferenza è sufficiente a sbloccare le capacità composizionali.

B. Apprendimento dell'Allineamento da Rappresentazioni Congelate

Per superare la dipendenza da annotazioni esterne (usate nell'SGI diagnostico), gli autori hanno introdotto un Trasformatore di Allineamento Leggero:

• Architettura: Un piccolo transformer che opera direttamente sugli embedding dei patch (visivi) e dei token (testuali) estratti dagli encoder congelati.
• Obiettivo: Imparare a mappare le corrispondenze cross-modali fine-grained senza aggiornare i pesi degli encoder principali.
• Confronti: Il metodo è stato confrontato con:
  • Full Fine-Tuning: Aggiornamento completo degli encoder.
  • Global Transformer: Un transformer applicato solo agli embedding globali (per testare se la capacità di modellazione aggiuntiva è sufficiente senza accesso ai dettagli locali).
  • Metodi End-to-End: Approcci precedenti che modificano l'obiettivo di training (es. NegCLIP, FSC-CLIP).

C. Dataset e Valutazione

• BISCOR-CTRL: Un nuovo benchmark controllato basato su scene sintetiche (CLEVR) progettato per isolare il ragionamento composizionale da correlazioni spurie. Include casi di "SWAP" (scambio di attributi/oggetti) in condizioni Out-of-Distribution (OOD).
• Benchmark In-Domain: SUGARCREPE e BIVLC (basati su immagini naturali).
• Metriche: Punteggio di gruppo (Group Score) che richiede un recupero corretto in entrambe le direzioni (Immagine->Testo e Testo->Immagine).

3. Risultati Chiave

1. L'inferenza strutturata sblocca le capacità latenti: Applicando l'SGI su encoder congelati, le prestazioni su BISCOR-CTRL sono aumentate drasticamente (es. da ~1.4 a ~56 punti per alcuni modelli), dimostrando che le rappresentazioni pre-addestrate contengono già informazioni composizionali, ma il matching globale non le sfrutta.
2. Allineamento Locale vs. Fine-Tuning Globale:
   • Il Fine-Tuning completo migliora le prestazioni in-domain (su dati simili al training), ma fallisce nel generalizzare su BISCOR-CTRL (OOD).
   • Il Trasformatore di Allineamento Locale (TFLocal) su encoder congelati raggiunge o supera il fine-tuning completo sui benchmark in-domain e offre miglioramenti sostanziali (fino a 4x) sui benchmark OOD composizionali.
3. Insufficienza della sola capacità di modellazione: Applicare un transformer solo agli embedding globali (TFGlobal) non migliora significativamente le prestazioni composizionali, confermando che il collo di bottiglia è l'assenza di allineamento fine-grained, non la mancanza di capacità computazionale.
4. Limiti dei metodi End-to-End: I metodi che modificano l'obiettivo di training per favorire il ragionamento composizionale migliorano i benchmark in-domain, ma non generalizzano bene su BISCOR-CTRL, a differenza dell'approccio proposto che apprende l'allineamento su rappresentazioni congelate.

4. Contributi Principali

• Ridefinizione del problema: Spostano il focus dalla "mancanza di capacità rappresentativa" alla "inefficienza del protocollo di inferenza" (global matching) come causa principale del fallimento composizionale.
• Nuovo Benchmark: Introduzione di BISCOR-CTRL, un dataset controllato OOD per valutare la robustezza del ragionamento composizionale.
• Metodologia Efficiente: Dimostrazione che è possibile ottenere un ragionamento composizionale robusto senza ri-addestrare massicciamente i modelli, ma semplicemente apprendendo un modulo di allineamento leggero su rappresentazioni congelate.
• Evidenza Empirica: Provano che l'allineamento locale è il fattore critico per la generalizzazione composizionale, superando i metodi di fine-tuning tradizionali in scenari di distribuzione shift.

5. Significato e Implicazioni

Questo lavoro ha implicazioni profonde per lo sviluppo futuro dei VLM:

• Rivalutazione dell'Inferenza: Suggerisce che le architetture dual-encoder attuali potrebbero essere sottoutilizzate a causa di protocolli di inferenza troppo semplici.
• Efficienza: Offre una via per migliorare le capacità composizionali senza i costi computazionali enormi del fine-tuning completo, rendendo i modelli più accessibili e robusti.
• Robustezza: Dimostra che per una generalizzazione reale (specialmente su dati fuori distribuzione), è cruciale esplicitare le corrispondenze tra regioni visive e segmenti testuali durante la fase di inferenza, piuttosto che affidarsi a vettori globali aggregati.

In sintesi, il paper conclude che i fallimenti composizionali dei VLM dual-encoder sono dovuti principalmente a meccanismi di allineamento inadeguati durante l'inferenza, non a una carenza intrinseca di comprensione del modello.