🤖 machine learning

Your CLIP has 164 dimensions of noise: Exploring the embeddings covariance eigenspectrum of contrastively pretrained vision-language transformers

Dieser Artikel zeigt, dass kontrastiv vortrainierte Vision-Language-Modelle einen erheblichen, invarianten Unterraum gemeinsamen multimodalen Rauschens enthalten, der sicher entfernt werden kann, ohne die Leistung in nachgelagerten Aufgaben zu beeinträchtigen, und damit neue mechanistische Einblicke in ihre latente Repräsentationsstruktur liefert.

Ursprüngliche Autoren: Jakub Grzywaczewski, Dawid Płudowski, Przemysław Biecek

Veröffentlicht 2026-05-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jakub Grzywaczewski, Dawid Płudowski, Przemysław Biecek

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen superschlaun Roboterassistenten (wie CLIP), der darauf trainiert wurde, sowohl Bilder als auch Wörter zu verstehen. Sie bitten ihn: „Zeig mir ein Bild von einem Hund," und er findet sofort eines. Es scheint perfekt. Doch diese Arbeit argumentiert, dass dieser Roboter eigentlich einen schweren, nutzlosen Rucksack voller unnötigen Ballasts mit sich herumträgt, den er für seine Aufgabe gar nicht benötigt.

Hier ist die Aufschlüsselung dessen, was die Forscher unter Verwendung einfacher Analogien herausfanden:

1. Das „Rauschen" im Signal

Stellen Sie sich das Gehirn des Roboters als einen riesigen Radioempfänger mit 768 verschiedenen Kanälen (Dimensionen) vor, die die Welt abhören.

Die guten Kanäle: Die meisten dieser Kanäle sind auf das „Signal" abgestimmt – die eigentliche Bedeutung des Bildes oder des Wortes (wie „Hund", „Kirche" oder „glücklich").
Die schlechten Kanäle: Die Forscher entdeckten, dass etwa 164 dieser Kanäle lediglich „Rauschen" senden. Dies ist kein zufälliges Rauschen; es ist eine spezifische, gemeinsame Art von Rauschen, das in jedem Bild und jedem Wort erscheint, das der Roboter sieht, unabhängig davon, was der Inhalt ist.

2. Das „Geister"-Muster

Das Überraschendste ist, dass dieses „Rauschen" über verschiedene Gruppen hinweg identisch ist.

Die Analogie: Stellen Sie sich vor, Sie machen ein Foto von einem Sibirischen Husky und ein Foto von einem Kirchengebäude. Sie haben nichts gemeinsam. Doch wenn Sie den „Müll"-Teil des Speichers des Roboters für beide Bilder betrachten, sieht der Müll fast exakt gleich aus (91 % Überlappung).
Die Erkenntnis: Der Roboter hat ein „Geister"-Muster, das auf alles, was er sieht, aufgedrückt wird. Es ist so, als hätte ein Drucker einen Schmutzfleck auf der Linse; jedes einzelne Dokument, das er druckt, sei es ein Rezept oder ein Liebesbrief, hätte diesen gleichen Schmutzfleck in der Ecke. Die Forscher stellten fest, dass dieser Schmutzfleck so konsistent ist, dass sie ihn perfekt kartieren können.

3. Das „Junk-Drawer"-Experiment

Die Forscher beschlossen zu testen, was passiert, wenn sie diesen „Junk-Drawer" (die 164 Dimensionen an Rauschen) einfach wegwerfen.

Das Ergebnis: Sie nahmen den Roboter, entfernten diese 164 Kanäle und baten ihn, seine üblichen Aufgaben zu erledigen (wie das Identifizieren von Tieren auf Fotos oder das Zuordnen von Wörtern zu Bildern).
Die Überraschung: Der Roboter wurde nicht schlechter. Tatsächlich wurde er beim Zuordnen von Wörtern zu Bildern sogar leicht besser. Es war, als würde man einem Läufer einen Rucksack voller Steine abnehmen; sie wurden nicht langsamer, sondern liefen tatsächlich schneller, weil sie nicht mehr beschwert waren.

4. Warum passiert das?

Die Arbeit legt nahe, dass dieses „Rauschen" kein Fehler im Code ist, sondern eine Nebenwirkung der Art und Weise, wie der Roboter gebaut wurde.

Die Analogie: Stellen Sie sich eine Fabrik vor, die Autos baut. Die Ingenieure haben die Fließbandstraße so effizient gestaltet, dass die Autos großartig sind, aber die Vibration der Maschinen versehentlich einen winzigen, nutzlosen Kratzer auf jede einzelne Autotür aufprägt. Der Kratzer verhindert nicht, dass das Auto fährt, aber er ist auf jedem einzelnen davon vorhanden.
Die Forscher stellten fest, dass dieser „Kratzer" (das Rauschen) ein fundamentaler Bestandteil der Architektur ist und nicht nur ein Fehler bei einem bestimmten Datensatz.

Zusammenfassung

Die Arbeit behauptet, dass moderne KI-Modelle wie CLIP eine massive Menge an „gemeinsamem Rauschen" (in einigen Versionen etwa 164 Dimensionen) mit sich herumtragen, das nichts mit der eigentlichen Bedeutung der Bilder oder Texte zu tun hat.

Die gute Nachricht: Sie können dieses Rauschen herausschneiden, ohne die Leistung der KI zu beeinträchtigen.
Das große Ganze: Ein riesiger Teil des „Gehirnraums" der KI speichert tatsächlich nur dieses repetitive, bedeutungslose Muster, anstatt nützliches Wissen. Durch das Bereinigen wird die KI etwas effizienter und genauer.

Technisches Fazit: „Ihr CLIP verfügt über 164 Dimensionen an Rauschen"

Problemstellung
Kontrastiv vortrainierte Vision-Language-Modelle (VLMs) wie CLIP und SigLIP werden weit verbreitet als Merkmalsextraktoren für Aufgaben eingesetzt, die von der Zero-Shot-Klassifizierung bis zur cross-modalen Retrieval reichen. Diese gemeinsamen latenten Räume weisen jedoch strukturelle Anomalien auf und fungieren als Speicherorte für nicht-semantische, multimodale Rauschsignale. Während frühere Forschungen Phänomene wie den „Kegel-Effekt", die „Modality Gap" und den „dimensionalen Kollaps" in einmodalen Modellen identifiziert haben, besteht die Notwendigkeit zu verstehen, wie diese Modelle irrelevante Daten innerhalb ihrer hochdimensionalen latenten Räume kodieren. Die Autoren gehen davon aus, dass ein erheblicher Teil der latenten Geometrie moderner VLMs durch gemeinsames, architekturebene Rauschen und nicht durch aufgabenrelevante Semantik bestimmt wird.

Methodik
Die Autoren wenden eine spektrale Zerlegung von Kovarianzmatrizen an, um die Geometrie der latenten Räume von VLMs zu analysieren.

Kovarianzschätzung: Sie berechnen empirische Kovarianzmatrizen ( $\Sigma_{text}$ und $\Sigma_{img}$ ) separat für Text- und Bild-Embeddings, abgeleitet aus großskaligen Datensätzen (ImageNet-1K und LAION-2B). Eine durchschnittliche cross-modale Kovarianzmatrix ( $\Sigma_{avg}$ ) wird definiert, um den gemeinsamen latenten Raum zu analysieren.
Spektrale Zerlegung: Die Matrizen werden zerlegt, um Eigenwerte und Eigenvektoren zu identifizieren. Die Autoren beobachten einen konsistenten, steilen Abfall der Eigenwerte bei verschiedenen Modellen (CLIP- und SigLIP-Varianten) jenseits eines bestimmten Schwellenwerts (ca. $10^{-3.6}$ ).
Rauschschwellenwert: Mittels der „Elbow-Methode" an $\Sigma_{avg}$ identifizieren sie einen Grenzwert, um das „Signal" (höchste Eigenwerte) vom „Rauschen" (unterer Bulk der Eigenwerte) zu trennen. Dimensionen, die unter diesen Schwellenwert fallen, werden als „gemeinsamer Rausch-Unterraum" identifiziert.
Unterraum-Alignment: Um die Universalität dieser Rauschdimensionen zu verifizieren, berechnen die Autoren den mittleren quadratischen Kosinus der Unterraumwinkel (mSCSA) zwischen den global extrahierten Rauschvektoren und den niedrigvarianzigen Eigenvektoren spezifischer Datenteilmengen (z. B. einzelne ImageNet-Klassen).
Beschneiden und Evaluation: Sie konstruieren eine Projektionsmatrix zur Rauschentfernung ( $P = I - VV^T$ ), um Embeddings auf das orthogonale Komplement des Rauschunterraums zu projizieren. Sie evaluieren die Auswirkungen dieses Beschneidens auf nachgelagerte Aufgaben: ImageNet Zero-Shot-Klassifizierung und LAION-2B Bild-Text-Alignment.

Hauptergebnisse

Existenz gemeinsamen Rauschens: Die Analyse offenbart einen distincten „Rausch-Unterraum", der den unteren Bulk der Kovarianz-Eigenwerte ausmacht. Für CLIP ViT-L/14 entspricht dies 164 Dimensionen (21 % des 768-dimensionalen Raums).
Invarianz gegenüber Untergruppen: Die identifizierten Rauschdimensionen zeigen eine starke Invarianz über verschiedene Datenteilmengen hinweg. Die mSCSA-Werte zwischen dem globalen Rausch-Unterraum und klassenspezifischen niedrigvarianzigen Unterräumen sind hoch (oft >90 % bei größeren Modellen), was darauf hindeutet, dass diese Rauschrichtungen allgegenwärtig und nicht spezifisch für eine einzelne Klasse oder Datenteilmenge sind.
Auswirkung des Beschneidens:
- Klassifizierung: Das Entfernen der Rauschdimensionen führt zu einem vernachlässigbaren Abfall der ImageNet Zero-Shot Top-5-Genauigkeit (z. B. fällt CLIP ViT-L/14 von 91,2 % auf 91,1 %). Das zufällige Entfernen derselben Anzahl von Dimensionen ergibt deutlich schlechtere Leistungen, was bestätigt, dass die Rauschdimensionen wenig semantische Information tragen.
- Alignment: Entgegen der Hypothese, dass Beschneiden das Alignment beeinträchtigen könnte, beobachten die Autoren eine systematische Zunahme der durchschnittlichen Kosinusähnlichkeit für Bild-Text-Paare auf LAION-2B nach der Rauschentfernung. Diese Verbesserung skaliert mit der Größe der latenten Dimension.
Qualitative Inspektion: Die visuelle Inspektion von Proben mit hoher Aktivierung im Rausch-Unterraum zeigt, dass sie oft nicht verfügbaren Bildplatzhaltern oder Out-of-Distribution-Artefakten entsprechen (z. B. Marvel-Filmthemen, wenn sie nur auf ImageNet geschätzt werden), was die nicht-semantische Natur dieser Dimensionen weiter untermauert.

Bedeutung und Behauptungen
Die Arbeit behauptet, neue mechanistische Einblicke in die repräsentationale Struktur moderner VLMs zu liefern. Durch die formale Zerlegung des latenten Raums in multimodale semantische Signale und einen gemeinsamen Rausch-Unterraum demonstrieren die Autoren, dass:

Ein erheblicher Anteil der latenten Geometrie in kontrastiv vortrainierten Modellen durch gemeinsames, architekturebene Rauschen und nicht durch aufgabenrelevante Semantik bestimmt wird.
Das Beschneiden dieser gemeinsamen Rauschdimensionen „hauptsächlich harmlos" ist und die nachgelagerte Alignment-Leistung aktiv verbessern kann, ohne die Klassifizierungsfähigkeiten zu verschlechtern.
Das Phänomen des dimensionalen Kollapses in modernen VLMs fortbesteht, sich jedoch als Speicherort für irrelevante Daten manifestiert und nicht als ein totaler Kollaps des Raums.

Die Autoren nehmen eine bescheidene Haltung ein und erkennen an, dass der optimale Rauschschwellenwert von spezifischen Modellarchitekturen und Datenverteilungen abhängen kann. Sie stellen fest, dass zwar der Dip im Eigenspektrum scharf ist, er jedoch nicht so instantan ist wie der Phasenübergang, der in früheren einmodalen Studien beobachtet wurde, was auf einen komplexen zugrundeliegenden Mechanismus für die Zuweisung latenter Kapazitäten hindeutet. Als zukünftige Arbeit wird vorgeschlagen, diese Evaluation auf ein breiteres Spektrum an Backbones auszuweiten und einen formalen theoretischen Rahmen zu etablieren, der diesen Rauschmechanismus mit dem Entstehen der Modality Gap verknüpft.