CLIP Is Shortsighted: Paying Attention Beyond the First Sentence

1. Il Problema: Il Bias "Vista Corta" di CLIP

I modelli CLIP (Contrastive Language-Image Pre-training) sono fondamentali per l'elaborazione visione-linguaggio, ma presentano limitazioni significative quando si tratta di testi lunghi. Sebbene recenti lavori (come Long-CLIP) abbiano tentato di estendere la finestra contestuale di CLIP per gestire didascalie lunghe, il paper identifica un bias sistematico che persiste anche dopo il fine-tuning:

• Bias sui Token Iniziali: I modelli CLIP pre-addestrati su dati internet (didascalie brevi) tendono a concentrare la loro attenzione quasi esclusivamente sui primi token del testo.
• Dipendenza dalla Frase Riassuntiva: Le didascalie lunghe (sia umane che generate da LLM) seguono spesso una struttura specifica: una prima frase riassuntiva seguita da dettagli granulari. I modelli sfruttano questa frase iniziale come una "scorciatoia" (shortcut) per minimizzare la funzione di perdita contrastiva, senza necessariamente apprendere a integrare le informazioni presenti nelle frasi successive.
• Fragilità: Di conseguenza, se la frase riassuntiva viene rimossa o se l'ordine delle frasi viene permutato (spostando i dettagli importanti dopo il riassunto), le prestazioni di recupero (retrieval) crollano drasticamente. L'attenzione del modello decade rapidamente dopo i primi 10-20 token, rendendo il modello "vinto corto" (shortsighted) rispetto al contesto completo.

2. Metodologia: DeBias-CLIP

Gli autori propongono DeBias-CLIP, un metodo semplice che agisce a livello di augmentazione dei dati durante l'addestramento, senza richiedere parametri aggiuntivi o architetture complesse. L'obiettivo è forzare il modello a distribuire l'attenzione su tutta la didascalia, non solo sull'inizio.

La strategia si basa su tre augmentations principali applicate alle didascalie lunghe:

1. Rimozione della Frase Riassuntiva (Drop Summary):

   • Invece di usare la prima frase come didascalia breve (come faceva Long-CLIP), il metodo rimuove la prima frase (il riassunto) dalla didascalia corta di addestramento.
   • Questo costringe il modello a imparare ad allineare l'immagine con i dettagli granulari presenti nelle frasi successive, evitando la scorciatoia del riassunto.

2. Campionamento Casuale delle Frasi (Sentence Sub-sampling):

   • Dalle frasi rimanenti (escluso il riassunto), il modello ne campiona un sottoinsieme casuale per creare la didascalia corta.
   • L'ordine delle frasi non viene preservato. Questo introduce varianza e impedisce al modello di affidarsi a una struttura fissa o a una posizione specifica delle informazioni.

3. Padding dei Token (Token Padding):

   • Per contrastare il bias verso le posizioni iniziali (early tokens) e garantire che le posizioni successive vengano addestrate efficacemente, vengono aggiunti token di padding (PAD) all'inizio della sequenza tokenizzata della didascalia corta (dopo il token SOT - Start of Text).
   • Questo spinge i token informativi verso posizioni più profonde nella finestra contestuale, costringendo il modello a imparare a gestire l'attenzione anche su token non iniziali.

Il processo di addestramento utilizza una combinazione di perdite contrastive per la didascalia lunga completa e per la didascalia corta campionata/padded, con un coefficiente di peso ($\lambda_s$) ottimizzato per bilanciare le prestazioni su testi brevi e lunghi.

3. Contributi Chiave

• Analisi Empirica del Bias: Dimostrazione empirica che i modelli CLIP e Long-CLIP soffrono di un forte bias verso i token iniziali e le frasi riassuntive, portando a un degrado delle prestazioni quando le informazioni vengono spostate o rimosse.
• Strategia di Augmentation Semplice ed Efficace: Introduzione di un metodo "drop-in" (sostituibile senza modifiche architetturali) che risolve il problema tramite manipolazione del testo (rimozione riassunto, campionamento, padding) senza aggiungere parametri trainabili.
• Robustezza e Generalizzazione: Il metodo migliora la robustezza del modello rispetto alla permutazione delle frasi e alla rimozione del riassunto, rendendo il recupero delle informazioni più affidabile indipendentemente dalla posizione nel testo.

4. Risultati Sperimentali

I risultati sono stati valutati su diversi benchmark di recupero testo-immagine (Urban1k, DCI, DOCCI) e su dataset a testo breve (COCO, Flickr30k).

• Recupero a Testo Lungo (Long-Text Retrieval):

  • DeBias-CLIP stabilisce nuovi record dello stato dell'arte (SOTA) su tutti i benchmark principali.
  • Rispetto a Long-CLIP, mostra miglioramenti significativi (es. +10% o più su Urban1k e DOCCI).
  • Rispetto a SmartCLIP (un altro metodo SOTA), ottiene guadagni consistenti, specialmente su Urban1k (+5.6% per ViT-B).

• Recupero a Testo Breve (Short-Text Retrieval):

  • Contrariamente alla preoccupazione che l'addestramento su testi lunghi possa degradare le prestazioni su testi brevi, DeBias-CLIP migliora anche le prestazioni su COCO e Flickr30k rispetto a Long-CLIP.

• Robustezza alla Permutazione:

  • Mentre Long-CLIP subisce un calo di prestazioni del -9.7% quando la frase riassuntiva viene spostata, DeBias-CLIP riduce questo calo a soli -3.5%.
  • La rimozione della frase riassuntiva causa un calo del -17.1% per Long-CLIP, ma solo del -12.1% per DeBias-CLIP.

• Analisi dell'Attenzione:

  • L'analisi dei pesi di attenzione mostra che Long-CLIP ha un picco di attenzione sui primi token che decade rapidamente. DeBias-CLIP, invece, mantiene un'attenzione più uniforme e costante su tutto il token sequence, permettendo di sfruttare informazioni presenti nelle parti finali della didascalia.

• Generazione di Immagini:

  • Sostituendo l'encoder di testo di SDXL con DeBias-CLIP, si osserva una generazione di immagini che cattura meglio i dettagli granulari presenti nelle parti successive delle didascalie lunghe (es. colori specifici, oggetti minori), riducendo errori di allineamento semantico.

5. Significato e Impatto

Questo lavoro è significativo perché:

1. Smaschera un limite nascosto: Dimostra che estendere semplicemente la finestra di contesto (positional embeddings) non è sufficiente se il bias di addestramento sui riassunti iniziali non viene mitigato.
2. Efficienza: Offre una soluzione ad alto impatto ma a basso costo computazionale, senza richiedere architetture complesse o fasi di distillazione multi-stadio.
3. Versatilità: Il metodo funziona bene su diverse varianti di CLIP (OpenAI, OpenCLIP, SigLIP) e migliora sia il recupero che la generazione di immagini.
4. Implicazioni per il RAG: Le scoperte sono rilevanti per i sistemi di Retrieval-Augmented Generation (RAG), dove le informazioni critiche spesso non si trovano all'inizio del documento, e i modelli attuali potrebbero ignorarle.

In sintesi, DeBias-CLIP risolve il problema della "vista corta" di CLIP insegnando al modello a prestare attenzione all'intera narrazione, non solo all'incipit, rendendo i sistemi visione-linguaggio più robusti e capaci di comprendere contesti complessi e densi di informazioni.