Your CLIP has 164 dimensions of noise: Exploring the embeddings covariance eigenspectrum of contrastively pretrained vision-language transformers

Riepilogo Tecnico: "Il tuo CLIP ha 164 dimensioni di rumore"

Enunciato del Problema
I Modelli Vision-Language (VLM) pre-addestrati in modo contrastivo, come CLIP e SigLIP, sono ampiamente utilizzati come estrattori di caratteristiche per compiti che vanno dalla classificazione zero-shot al recupero cross-modale. Tuttavia, questi spazi latenti condivisi presentano anomalie strutturali, agendo come repository per rumore multimodale non semantico. Sebbene ricerche precedenti abbiano identificato fenomeni come l'"effetto cono", il "gap di modalità" e il "collasso dimensionale" nei modelli a modalità singola, è necessario comprendere come questi modelli codifichino dati irrilevanti all'interno dei loro spazi latenti ad alta dimensionalità. Gli autori ipotizzano che una porzione significativa della geometria latente nei moderni VLM sia governata da rumore condiviso a livello di architettura piuttosto che da semantica rilevante per il compito.

Metodologia
Gli autori impiegano la decomposizione spettrale delle matrici di covarianza per analizzare la geometria degli spazi latenti dei VLM.

1. Stima della Covarianza: Calcolano matrici di covarianza empiriche ($\Sigma_{text}$ e $\Sigma_{img}$) per gli embedding di testo e immagine separatamente, derivate da dataset su larga scala (ImageNet-1K e LAION-2B). Viene definita una matrice di covarianza cross-modale media ($\Sigma_{avg}$) per analizzare lo spazio latente congiunto.
2. Decomposizione Spettrale: Le matrici vengono decomposte per identificare autovalori e autovettori. Gli autori osservano un calo netto e coerente degli autovalori attraverso vari modelli (varianti di CLIP e SigLIP) oltre una specifica soglia (circa $10^{-3.6}$).
3. Soglia del Rumore: Utilizzando il "metodo del gomito" su $\Sigma_{avg}$, identificano una soglia di taglio per separare il "segnale" (i principali autovalori) dal "rumore" (la massa inferiore degli autovalori). Le dimensioni che cadono al di sotto di questa soglia sono identificate come il "sottospazio di rumore condiviso".
4. Allineamento del Sottospazio: Per verificare l'universalità di queste dimensioni di rumore, gli autori calcolano il Coseno Quadratico Medio degli Angoli del Sottospazio (mSCSA) tra i vettori di rumore estratti globalmente e gli autovettori a bassa varianza di sottoinsiemi di dati specifici (ad esempio, singole classi di ImageNet).
5. Potatura e Valutazione: Costruiscono una matrice di proiezione per la rimozione del rumore ($P = I - VV^T$) per proiettare gli embedding sul complemento ortogonale del sottospazio di rumore. Valutano l'impatto di questa potatura su compiti downstream: classificazione zero-shot su ImageNet e allineamento immagine-testo su LAION-2B.

Risultati Chiave

• Esistenza di Rumore Condiviso: L'analisi rivela un distinto "sottospazio di rumore" che comprende la massa inferiore degli autovalori di covarianza. Per CLIP ViT-L/14, ciò corrisponde a 164 dimensioni (il 21% dello spazio a 768 dimensioni).
• Invarianza del Sottogruppo: Le dimensioni di rumore identificate mostrano una forte invarianza attraverso sottoinsiemi di dati distinti. I punteggi mSCSA tra il sottospazio di rumore globale e i sottospazi a bassa varianza specifici per classe sono elevati (spesso >90% per modelli più grandi), indicando che queste direzioni di rumore sono onnipresenti e non specifiche di alcuna singola classe o sottoinsieme di dati.
• Impatto della Potatura:
  • Classificazione: La rimozione delle dimensioni di rumore comporta un calo trascurabile nell'accuratezza Top-5 zero-shot su ImageNet (ad esempio, CLIP ViT-L/14 scende dal 91,2% al 91,1%). La rimozione casuale dello stesso numero di dimensioni produce prestazioni significativamente peggiori, confermando che le dimensioni di rumore portano poca informazione semantica.
  • Allineamento: Contrariamente all'ipotesi che la potatura possa danneggiare l'allineamento, gli autori osservano un aumento sistematico della similarità coseno media per le coppie immagine-testo su LAION-2B dopo la rimozione del rumore. Questo miglioramento scala con la dimensione della dimensione latente.
• Ispezione Qualitativa: L'ispezione visiva di campioni con alta attivazione nel sottospazio di rumore rivela che spesso corrispondono a segnaposto di immagini non disponibili o ad artefatti fuori distribuzione (ad esempio, argomenti di film Marvel quando stimati su ImageNet da solo), sostenendo ulteriormente la natura non semantica di queste dimensioni.

Significato e Affermazioni
Il documento afferma di fornire nuove intuizioni meccanicistiche sulla struttura rappresentativa dei moderni VLM. Decomponendo formalmente lo spazio latente in segnali semantici multimodali e un sottospazio di rumore condiviso, gli autori dimostrano che:

1. Una frazione sostanziale della geometria latente nei modelli pre-addestrati in modo contrastivo è governata da rumore condiviso a livello di architettura piuttosto che da semantica rilevante per il compito.
2. La potatura di queste dimensioni di rumore condivise è "principalmente innocua" e può attivamente migliorare le prestazioni di allineamento downstream senza degradare le capacità di classificazione.
3. Il fenomeno del collasso dimensionale persiste nei moderni VLM ma si manifesta come un repository per dati irrilevanti piuttosto che come un collasso totale dello spazio.

Gli autori mantengono una posizione modesta, riconoscendo che la soglia ottimale del rumore può dipendere da specifiche architetture di modello e distribuzioni di dati. Osservano che, sebbene il calo dello spettro degli autovalori sia netto, non è istantaneo come la transizione di fase osservata negli studi precedenti su modalità singola, suggerendo un meccanismo sottostante complesso per l'allocazione della capacità latente. Viene proposto un lavoro futuro per espandere questa valutazione a un più ampio spettro di backbones e per stabilire un quadro teorico formale che colleghi questo meccanismo di rumore all'emergere del gap di modalità.