Reevaluating the Intra-Modal Misalignment Hypothesis in CLIP

1. Il Problema: L'Ipotesi di Disallineamento Intra-Modale

Negli ultimi anni, modelli come CLIP (Contrastive Language-Image Pre-training) hanno rivoluzionato il campo della visione artificiale permettendo l'adattamento zero-shot a compiti open-vocabulary. Tuttavia, ricerche recenti hanno sollevato preoccupazioni riguardo all'efficacia di questi modelli per compiti solo-visivi (image-only tasks), come il recupero di immagini (image retrieval) o la classificazione few-shot senza testo.

L'ipotesi del disallineamento intra-modale sostiene che:

• L'addestramento contrastivo linguaggio-immagine si concentra esclusivamente sull'allineamento inter-modale (immagine-testo), trascurando l'allineamento intra-modale (immagine-immagine).
• Questo porterebbe a distanze tra embedding di immagini non calibrate o "disallineate".
• Di conseguenza, la similarità coseno diretta tra due immagini sarebbe inaffidabile, rendendo necessarie strategie complesse (come la conversione delle immagini in token testuali) per ottenere buone prestazioni.

Il paper di Herzog e Wang mette in discussione radicalmente questa ipotesi, sostenendo che le prove a suo supporto sono errate e che il problema reale risiede nell'ambiguità del compito, non nella geometria dello spazio di embedding.

2. Metodologia

Gli autori adottano un approccio tripartito per confutare l'ipotesi:

A. Analisi Teorica dei Gradi di Libertà

L'argomento teorico precedente sosteneva che, dato un vincolo fisso di similarità immagine-testo, esistessero "gradi di libertà" arbitrari per le similarità immagine-immagine, permettendo distanze mal calibrate.

• Contro-argomentazione: Gli autori dimostrano matematicamente che, in uno spazio di embedding di dimensione $d$, se si hanno almeno $d$ ancoraggi testuali (embedding di testo) fissi, è possibile ricostruire univocamente tutti gli embedding delle immagini.
• Conclusione: Le similarità intra-modali ($S_{intra}$) sono una conseguenza deterministica delle similarità inter-modali ($S_{inter}$). Non esistono gradi di libertà arbitrari; la struttura immagine-immagine è vincolata dalla struttura immagine-testo appresa.

B. Sperimentazione Empirica con Modelli di Controllo

Per isolare l'effetto della mancanza di un obiettivo di training intra-modale, gli autori confrontano modelli addestrati solo con loss inter-modale (CLIP, SigLIP) con modelli che includono anche loss intra-modale (DINO, SigLIP2).

• Indicatori testati: Distribuzioni di similarità coseno (istogrammi) per classi (stessa classe vs classe diversa) e per modalità (immagine-testo vs immagine-immagine).
• Risultato atteso vs osservato: Se l'ipotesi fosse vera, i modelli con loss intra-modale (es. SigLIP2) dovrebbero mostrare distribuzioni "corrette" (bassa sovrapposizione tra classi diverse, gap ridotto). Invece, gli indicatori risultano indistinguibili tra modelli CLIP-like e DINO-like, suggerendo che i fenomeni osservati (come la sovrapposizione degli istogrammi) sono comportamenti normali e non segni di disallineamento.

C. Metodo Alternativo Semplice (PCA)

Gli autori propongono che i miglioramenti ottenuti in lavori precedenti da metodi complessi (come OTI - Optimization-based Textual Inversion) non derivino dal "correggere un disallineamento", ma dal fatto che questi metodi costringono l'informazione visiva a collassare su un singolo concetto dominante (un token testuale).

• Soluzione proposta: Invece di convertire l'immagine in testo, proiettano semplicemente gli embedding delle immagini su un sottospazio definito dalle componenti principali (PCA) degli embedding testuali dei nomi delle classi (es. "una foto di [classe]").
• Obiettivo: Filtrare il rumore e focalizzarsi solo sugli assi semantici rilevanti per il compito specifico.

3. Risultati Chiave

Distribuzioni di Similarità

• Gli istogrammi di similarità mostrano una sovrapposizione significativa tra immagini della stessa classe e di classi diverse, anche per modelli come SigLIP2 (che ha training intra-modale).
• Il "gap" tra le distribuzioni di similarità inter-modale e intra-modale persiste anche nei modelli con training intra-modale, confermando che è una proprietà intrinseca dello spazio di embedding (dovuta al clustering separato di testo e immagine) e non un errore di calibrazione.

Classificazione Few-Shot e Retrieval

• Classificazione Few-Shot: I metodi che evitano la similarità immagine-immagine (come Tip-X o Coder) non superano approcci semplici che operano direttamente nello spazio delle immagini, come la selezione delle feature (APE) o l'analisi discriminante lineare (LDA).
• Performance: I modelli addestrati solo inter-modale (SigLIP) spesso superano o eguagliano i modelli addestrati solo intra-modale (DINOv2) nei compiti di classificazione basata su similarità immagine-immagine.
• Retrieval: Il metodo proposto PCA (proiezione su assi di varianza) supera costantemente il metodo OTI (che converte immagine in testo) su tutti i dataset e modelli testati.
• Ablazione: Il metodo PCA funziona bene quando le etichette del dataset corrispondono al concetto semantico dominante dell'immagine (es. "cane" vs "gatto"). Fallisce quando il compito richiede dettagli contestuali (es. meteo o ora del giorno), dimostrando che il problema non è il disallineamento, ma la necessità di allineare la rappresentazione visiva alla specifica ambiguità del compito.

4. Contributi Principali

1. Smentita Teorica: Dimostrazione che non esistono gradi di libertà arbitrari per le distanze intra-modali; queste sono determinate dalle similarità inter-modali apprese.
2. Rivalutazione Empirica: Evidenza che gli indicatori usati in letteratura (istogrammi di similarità, gap modale) non sono diagnostici affidabili di un disallineamento, poiché appaiono anche in modelli addestrati specificamente per l'allineamento intra-modale (DINO).
3. Nuova Interpretazione: Il successo di metodi complessi basati su testo non deriva dal correggere un difetto di CLIP, ma dalla capacità di focalizzare la similarità su assi semantici specifici, riducendo l'ambiguità del compito.
4. Metodologia Semplice: Introduzione di un metodo basato su PCA che ottiene prestazioni superiori o pari a tecniche complesse di inversione testuale, senza bisogno di addestramento aggiuntivo.

5. Significato e Implicazioni

Questo lavoro ha un impatto significativo sulla comunità della visione artificiale:

• Ridimensionamento del "Gap": Il "modality gap" (la separazione tra cluster di testo e immagine) non è un problema da risolvere, ma una caratteristica naturale e non dannosa.
• Validazione di CLIP per compiti visivi: Le embeddings di CLIP sono già ben allineate per compiti intra-modali; non è necessario evitare la similarità immagine-immagine o ricorrere a surrogati testuali complessi.
• Focus sull'Ambiguità del Compito: Il vero ostacolo alle prestazioni non è la calibrazione delle distanze, ma la capacità di isolare le feature rilevanti per il compito specifico (task-specific axes) in presenza di ambiguità semantica.
• Guida per Futuri Lavori: Invece di cercare di "correggere" la geometria dello spazio di embedding, i ricercatori dovrebbero concentrarsi su metodi per selezionare o proiettare le feature su assi rilevanti per il compito (come suggerito dal metodo PCA).

In sintesi, gli autori concludono che l'ipotesi del disallineamento intra-modale in CLIP è un malinteso derivante da una cattiva interpretazione delle metriche e che le prestazioni ottimali si ottengono gestendo l'ambiguità del compito, non modificando la struttura di base del modello.