Your CLIP has 164 dimensions of noise: Exploring the embeddings covariance eigenspectrum of contrastively pretrained vision-language transformers

Technische Samenvatting: "Jouw CLIP heeft 164 dimensies ruis"

Probleemstelling
Contrastief voorgetrainde Vision-Language Modellen (VLM's), zoals CLIP en SigLIP, worden veelvuldig ingezet als feature-extractoren voor taken variërend van zero-shot classificatie tot cross-modale retrieval. Deze gedeelde latente ruimten vertonen echter structurele anomalieën en fungeren als opslagplaatsen voor niet-semantische, multi-modale ruis. Hoewel eerdere onderzoek fenomenen zoals het "kegel-effect", de "modality gap" en "dimensional collapse" in single-modal modellen hebben geïdentificeerd, is er behoefte aan inzicht in hoe deze modellen irrelevante data coderen binnen hun hoogdimensionale latente ruimten. De auteurs stellen dat een aanzienlijk deel van de latente geometrie in moderne VLM's wordt gedicteerd door gedeelde, architectuurniveau-ruis in plaats van taakrelevante semantiek.

Methodologie
De auteurs maken gebruik van spectrale decompositie van covariantiematrices om de geometrie van VLM-latente ruimten te analyseren.

1. Covariantie-schatting: Ze berekenen empirische covariantiematrices ($\Sigma_{text}$ en $\Sigma_{img}$) voor tekst- en afbeeldingsembeddings afzonderlijk, afgeleid van grootschalige datasets (ImageNet-1K en LAION-2B). Een gemiddelde cross-modale covariantiematrix ($\Sigma_{avg}$) wordt gedefinieerd om de gezamenlijke latente ruimte te analyseren.
2. Spectrale decompositie: De matrices worden gedecomposeerd om eigenwaarden en eigenvectoren te identificeren. De auteurs observeren een consistente, scherpe daling in eigenwaarden bij verschillende modellen (CLIP- en SigLIP-varianten) boven een specifieke drempel (ongeveer $10^{-3.6}$).
3. Ruis-drempelwaarde: Met behulp van de "elbow-methode" op $\Sigma_{avg}$ identificeren ze een afsnijdrempel om het "signaal" (top-eigenwaarden) te scheiden van de "ruis" (de lagere massa van eigenwaarden). Dimensies die onder deze drempel vallen, worden geïdentificeerd als de "gedeelde ruissubruimte".
4. Subruimte-uitlijning: Om de universaliteit van deze ruisdimensies te verifiëren, berekenen de auteurs de Mean Squared Cosine of Subspace Angles (mSCSA) tussen de globaal geëxtraheerde ruisvectoren en de laag-variatie eigenvectoren van specifieke datasubsets (bijvoorbeeld individuele ImageNet-classes).
5. Pruning en evaluatie: Ze construeren een projectiematrix voor ruisverwijdering ($P = I - VV^T$) om embeddings te projecteren op het orthogonale complement van de ruissubruimte. Ze evalueren de impact van deze pruning op downstream-taken: ImageNet zero-shot classificatie en LAION-2B afbeelding-tekst-uitlijning.

Belangrijkste resultaten

• Aanwezigheid van gedeelde ruis: De analyse onthult een distincte "ruissubruimte" die bestaat uit de lagere massa van de covariantie-eigenwaarden. Voor CLIP ViT-L/14 komt dit overeen met 164 dimensies (21% van de 768-dimensionale ruimte).
• Subgroep-invariantie: De geïdentificeerde ruisdimensies vertonen sterke invariantie over verschillende datasubsets. De mSCSA-scores tussen de globale ruissubruimte en class-specifieke laag-variatie subruimten zijn hoog (vaak >90% voor grotere modellen), wat aangeeft dat deze ruisrichtingen overal aanwezig zijn en niet specifiek zijn voor een enkele klasse of datasubset.
• Impact van pruning:
  • Classificatie: Het verwijderen van de ruisdimensies resulteert in een verwaarloosbare daling van de ImageNet zero-shot Top-5 nauwkeurigheid (bijvoorbeeld CLIP ViT-L/14 daalt van 91,2% naar 91,1%). Het willekeurig verwijderen van hetzelfde aantal dimensies levert aanzienlijk slechtere prestaties op, wat bevestigt dat de ruisdimensies weinig semantische informatie dragen.
  • Uitlijning: In tegenstelling tot de hypothese dat pruning de uitlijning zou kunnen schaden, observeren de auteurs een systematische toename in de gemiddelde cosinussimilariteit voor afbeelding-tekstparen op LAION-2B na ruisverwijdering. Deze verbetering schaalt met de grootte van de latente dimensie.
• Kwalitatieve inspectie: Visuele inspectie van samples met hoge activatie in de ruissubruimte onthult dat deze vaak corresponderen met niet-beschikbare afbeeldingplaceholders of out-of-distribution artefacten (bijvoorbeeld Marvel-filmthema's wanneer geschat op ImageNet alleen), wat verder het niet-semantische karakter van deze dimensies ondersteunt.

Betekenis en claims
Het artikel claimt nieuwe mechanistische inzichten te bieden in de representatieve structuur van moderne VLM's. Door de latente ruimte formeel te decomponeren in multi-modale semantische signalen en een gedeelde ruissubruimte, demonstreren de auteurs dat:

1. Een substantieel deel van de latente geometrie in contrastief voorgetrainde modellen wordt gedicteerd door gedeelde, architectuurniveau-ruis in plaats van taakrelevante semantiek.
2. Het pruning van deze gedeelde ruisdimensies "voornamelijk onschadelijk" is en actief de downstream-uitlijningsprestaties kan verbeteren zonder de classificatiecapaciteiten te degraderen.
3. Het fenomeen van dimensional collapse aanhoudt in moderne VLM's, maar zich manifesteert als een opslagplaats voor irrelevante data in plaats van een totale instorting van de ruimte.

De auteurs houden een bescheiden standpunt aan en erkennen dat de optimale ruisdrempel afhankelijk kan zijn van specifieke modelarchitecturen en data-distributies. Ze merken op dat hoewel de dip in het eigenspectrum scherp is, deze niet zo direct is als de fase-overgang die in eerdere single-modal studies werd waargenomen, wat wijst op een complex onderliggend mechanisme voor toewijzing van latente capaciteit. Voor toekomstig werk wordt voorgesteld om deze evaluatie uit te breiden naar een breder spectrum aan backbones en een formeel theoretisch kader te ontwikkelen dat dit ruismechanisme koppelt aan het ontstaan van de modality gap.