🤖 machine learning

On the modality gap and the contrastive loss in multi-modal representation learning

Dieses Paper identifiziert die Modalitätslücke im CLIP-artigen kontrastiven Lernen als ein Versagen der InfoNCE-Zielfunktion bei niedriger Temperatur mit unabhängigen Encodern und schlägt xNCE vor, eine modifizierte Verlustfunktion, die Intra-Modalitäts-Negative einbezieht, wodurch diese Lücke eliminiert wird, während gleichzeitig die Zero-Shot-Klassifikationsleistung verbessert wird, ohne die Retrieval-Genauigkeit zu beeinträchtigen.

Ursprüngliche Autoren: Fabian Mager, Hiba Nassar, Lars Kai Hansen

Veröffentlicht 2026-07-14

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Fabian Mager, Hiba Nassar, Lars Kai Hansen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben zwei beste Freunde: einen, der nur „Bild“ spricht, und einen anderen, der nur „Wort“ spricht. Sie möchten, dass diese beiden Freunde sich in demselben Raum aufhalten (einem gemeinsamen digitalen Raum), damit sie einander perfekt verstehen. Das ist das, was KI-Modelle wie CLIP versuchen zu erreichen: Sie lernen, Bilder mit ihren Beschreibungen abzugleichen.

Aber hier ist das Merkwürdige: Selbst nach dem Training stehen diese beiden Freunde oft in gegenüberliegenden Ecken des Raumes. Sie können zwar miteinander kommunizieren, aber sie vermischen sich nie wirklich. Die Bild-Embeddings drängen sich in einem Cluster zusammen, und die Text-Embeddings drängen sich in einem anderen zusammen. Dies wird als „Modality Gap“ (Modalitätslücke) bezeichnet.

Lange Zeit glaubten Wissenschaftler, dass diese Trennung geschah, weil die Freunde unterschiedliche Persönlichkeiten hatten (zufällige Initialisierung) oder weil sie aus unterschiedlichen Nachbarschaften kamen (unterschiedliche Daten). Aber dieses Paper von Fabian Mager, Hiba Nassar und Lars Kai Hansen sagt: „Moment mal. Das ist es nicht.“

Der wahre Übeltäter: Ein schlechtes Spielchen namens „Hot Potato“

Die Autoren führst ein kluges Experiment durch, um ihren Punkt zu beweisen. Sie nahmen zwei identische Zwillinge (zwei unabhängige Encoder mit exakt denselben Startgewichten) und fütterten sie mit genau denselben Bildern, die jedoch leicht verändert waren (wie etwa durch Drehen oder Zoomen). In einer perfekten Welt sollten diese Zwillinge identische Ausgaben produzieren.

Doch als sie die Standard-Trainingsmethode verwendeten (genannt InfoNCE) mit einer sehr spezifischen Einstellung (einer „niedrigen Temperatur“, die die KI sehr wählerisch macht), driften die Zwillinge trotzdem auseinander. Ein Zwilling begann „Bild“ zu sprechen, und der andere „Text“, obwohl sie dasselbe betrachteten!

Dies beweist, dass die Lücke nicht durch die Daten oder den Startpunkt verursacht wird. Stattdessen argumentiert das Paper, dass die InfoNCE-Formel selbst einen Fehler hat, wenn sie mit zwei separaten Encodern verwendet wird.

Stellen Sie es sich so vor: Das Trainingsspiel sagt der KI: „Mache das passende Paar (Bild + Text) super nah und mache alle nicht-passenden Paare super weit weg.“

Der Fehler: Um die nicht-passenden Paare „weit weg“ zu machen, findet die KI eine faule Abkürzung. Sie schiebt die gesamte „Bild“-Gruppe auf die eine Seite des Raums und die gesamte „Text“-Gruppe auf die andere Seite. Dies erfüllt die Regel „halte sie getrennt“, ohne dass die KI tatsächlich lernt, sie zu vermischen. Das Paper nennt dies einen „Mode-Failure“ (Modus-Fehler) – die KI hat ein lokales Minimum gefunden, in dem sie glaubt, gute Arbeit zu leisten, aber eigentlich nur die beiden Gruppen in separate Ecken versteckt.

Dies geschieht speziell dann, wenn die KI auf sehr streng eingestellt ist (niedrige Temperatur). Wenn man die KI lockerer einstellt (hohe Temperatur), vermischen sich die Gruppen, aber dann vergisst die KI, wie man verschiedene Objekte voneinander unterscheidet, was ihre Fähigkeit zur späteren Erkennung ruiniert.

Die Lösung: xNCE (Der „Mixologist“)

Die Autoren schlagen eine einfache Lösung namens xNCE vor.

Stellen Sie sich das Trainingsspiel wieder vor. In der alten Version versuchte die KI, wenn sie ein „nicht-passendes“ Bild von einem „nicht-passenden“ Text wegdrückte, sie einfach in entgegengesetzte Ecken zu schieben.
In der neuen xNCE-Version ändern sich die Regeln des Spiels: „Du kannst den Text nicht nur vom Bild wegdrücken. Du musst den Text auch von anderen Texten wegdrücken und das Bild auch von anderen Bildern.“

Indem sie die „negativen“ Beispiele (die Dinge, die die KI nicht matchen sollte) mischen (sodass sie aus beiden Gruppen stammen), wird die KI gezwungen, aufzuhören, sich in den Ecken zu verstecken. Sie muss lernen, die Gruppen gemischt zu halten und gleichzeitig die spezifischen Übereinstimmungen nah beieinander zu halten.

Was geschah im Labor?

Die Autoren testeten dies an zwei Dingen:

MNIST (Handgeschriebene Ziffern): Sie behandelten die beiden Encoder so, als wären sie zwei verschiedene „Modalitäten“.
- Das Ergebnis: Mit der alten Methode bei niedrigen Temperaturen waren die beiden Gruppen völlig getrennt (zu 100 % separierbar). Mit xNCE schrumpfte die Lücke dramatisch, selbst bei jenen strengen niedrigen Temperaturen.
COCO (Bilder und Bildunterschriften): Dies ist der Realwelt-Test.
- Die Lücke: Die Standardmethode hinterließ eine riesige Lücke (Abstand von 0,88). Die neue Methode schrumpfte sie auf 0,12 (mit einem kleinen Mix) und sogar auf 0,05 (mit einem starken Mix).
- Der Kompromiss: Die Autoren fanden einen optimalen Punkt. Wenn sie nur ein wenig mischten (1 % bis 5 % der Negativbeispiele), konnten sie die Lücke fast vollständig schließen, ohne die Fähigkeit der KI zu beeinträchtigen, das richtige Bild für einen Text zu finden (Retrieval).
- Der Bonus: Am wichtigsten ist, dass diese neue Methode die KI besser darin machte, ein Bild ohne vorheriges Training zu erraten (Zero-Shot-Klassifizierung). In vier verschiedenen Tests übertraf die neue Methode die alte. Beispielsweise verbesserte sie die Genauigkeit beim CIFAR-100-Test um 4,2 Prozentpunkte.

Was das Paper nicht sagt

Es ist wichtig zu wissen, was dieses Paper nicht behauptet:

Es sagt nicht, dass hohe Temperaturen die Lösung sind. Tatsächlich zeigt das Paper, dass das bloße Hochdrehen der Temperatur, um die Gruppen zu mischen, die Fähigkeit der KI zerstört, spezifische Objekte zu erkennen (der Abfall der ImageNet-Genauigkeit von 51,9 % auf 15,5 %).
Es sagt nicht, dass das Hinzufügen zusätzlicher „Regularisierung“ (das Erzwingen einer Gleichmäßigkeit der KI) die beste Lösung ist. Die Autoren testeten eine regularisierte Version, und diese verbesserte die Zero-Shot-Leistung nicht so gut wie ihre Mischmethode.
Es behauptet nicht, dass dies ein Allheilmittel für jedes Problem ist. Das Paper legt nahe, dass man für Aufgaben, die extreme Präzision erfordern (wie das Finden der exakten Nummer 1), sehr wenig mischen (1–5 %) sollte. Für Aufgaben, die ein allgemeineres Verständnis benötigen, kann man stärker mischen.

Das Fazit

Das Paper legt nahe, dass die „Modality Gap“ kein Mysterium der Natur ist, sondern ein Fehler im Standard-Trainingsrezept. Durch das einfache Vermischen der „negativen“ Beispiele im Trainingsspiel haben die Autoren eine Methode (xNCE) geschaffen, die die KI dazu zwingt, tatsächlich eine gemeinsame Sprache zu lernen, anstatt sich nur in separaten Ecken zu verstecken. Es ist eine kleine Anpassung, die die KI intelligenter, einheitlicher und besser darin macht, neue Dinge zu erraten, während sie gleichzeitig die strengen „wählerischen“ Einstellungen beibehält, die sie normalerweise so gut darin machen, Details zu erkennen.

Technisches Resümee: Über die Modalitätslücke und den kontrastiven Verlust im Multi-Modalen Repräsentationslernen

Problemstellung

Die Arbeit untersucht die Modalitätslücke (Modality Gap), die in CLIP-ähnlichen Dual-Encoder-Kontrastiv-Lernmodellen beobachtet wird. Trotz des Trainings in einem gemeinsamen Repräsentationsraum besetzen Bild- und Text-Embeddings oft distinkte, nicht überlappende Regionen (Submannigfaltigkeiten) anstatt eine vollständig durchmischte Verteilung zu bilden. Während die bisherige Literatur dieses Phänomen Faktoren wie Initialisierungs-Biases, Datenheterogenität, Dimensionalität oder Temperatur-Einstellungen zuschreibt, argumentieren die Autoren, dass die Lücke fundamental durch ein Versagen der InfoNCE (Information Noise-Contrastive Estimation) Formulierung induziert wird, wenn diese auf unabhängige Encoder angewendet wird.

Die Autoren hypothetisieren, dass in einem multi-modalen Setting mit unabhängigen Encodern der Uniformitäts-Term des InfoNCE-Objektivs nicht bloß als Mechanismus zur Informationserhaltung fungiert, sondern als ein „degenerativer Term“ mit einem Divergenz-Ziel. Konkret kann die Verlustfunktion minimiert werden, indem die beiden Modalitäten weit voneinander entfernt wird, während die korrekte Rangfolge der positiven Paare beibehalten wird, was zu einem lokalen Minimum führt, in dem die Modalitäten getrennt sind, insbesondere bei niedrigen Temperaturen.

Methodik

Theoretische Analyse

Die Autoren liefern eine theoretische Analyse des Grenzwerts des InfoNCE-Verlusts für $\tau \to 0^+$ . Sie zeigen auf, dass die Minimierung des Verlusts bei niedrigen Temperaturen für unabhängige Encoder die negativen Ähnlichkeiten ( $a_{ik}$ ) dazu antreibt, gegen ihren Mittelwert ( $m_i$ ) zu konvergieren, während die Rangfolge der Paare intakt bleibt. Dies resultiert in einer „schmalen Ähnlichkeitsverteilung“, in der alle negativen Proben der anderen Modalität einen dichten Cluster bilden, der fernab des Ankers liegt, was die Modalitätslücke erzeugt. Sie identifizieren dies als einen Mode-Failure (Modus-Versagen) des InfoNCE-Objektivs unter Bedingungen niedriger Temperatur.

Vorgeschlagene Methode: xNCE

Um dies zu adressieren, schlagen die Autoren xNCE (Mixed Noise-Contrastive Estimation) vor, eine einfache Modifikation des Standard-InfoNCE-Verlusts.

Mechanismus: Anstatt negative Paare ausschließlich aus der entgegengesetzten Modalität (inter-modal) zu sampeln, mischt xNCE intra-modale Negative (z. B. Bild-Bild) und inter-modale Negative (Bild-Text) innerhalb des Nenners der Softmax-Wahrscheinlichkeit.
Begründung: Durch die Einbeziehung von intra-modalen Negativen verhindert die Verlustfunktion die triviale Lösung, die beiden Modalitäten voneinander zu trennen. Wenn die Modalitäten auseinanderdriften, würden auch die intra-modalen negativen Paare unähnlich werden, was den Verlust erhöht. Dies zwingt die Encoder dazu, die Modalitäten auszurichten, um die Uniformitäts-Bedingung über den gemischten Satz zu erfüllen.
Implementierung: Ein Mischverhältnis ( $r_{mix}$ ) steuert den Anteil an intra- vs. inter-modalen Negativen. Der Verlust bleibt eine symmetrische Cross-Entropy über die gemischte Ähnlichkeitsmatrix.

Experimentelles Setup

Die Studie führt Experimente in zwei Settings durch:

Uni-modal (Bild-zu-Bild): Verwendung von MNIST/EMNIST mit zwei unabhängigen, identisch initialisierten Encodern (kein Weight-Sharing), um den Effekt der Verlustformulierung von Initialisierung oder Daten-Idiosynkrasien zu isolieren.
Multi-modal (Bild-zu-Text): Fine-Tuning von CLIP (ViT-B/16) auf dem MS-COCO Datensatz.
- Baselines: Standard InfoNCE (mit lernbaren und fixen Temperaturen), Regularisiertes InfoNCE (Hinzufügen expliziter Alignment-/Uniformitäts-Terme) und High-Temperature InfoNCE.
- Evaluierung: Lineare Probes für Modalitäts-Separabilität und Downstream-Utility (Ziffernklassifizierung, Objekterkennung mAP), Retrieval-Performance (R@1, R@5, R@10) und Zero-Shot-Klassifizierung auf CIFAR-10/100, Caltech-101 und ImageNet.

Zentrale Ergebnisse

1. Uni-modale Validierung (MNIST)

Induktion der Lücke: Selbst mit identischer Initialisierung und unabhängigen Encodern erzeugt InfoNCE bei niedrigen Temperaturen ( $\tau=0.01$ ) aktiv eine Modalitätslücke (Modalitätsdistanz $\approx 0.75$ , 100 % Genauigkeit der Modalitätsklassifizierung).
Effektivität von xNCE: xNCE reduziert diese Lücke über alle Temperaturen hinweg signifikant. Bei $\tau=0.01$ sinkt die Modalitätsdistanz auf $0.09$ und die Genauigkeit der Modalitätsklassifizierung fällt unter 100 %, was auf eine erfolgreiche Ausrichtung hindeutet.
Temperatur-Sensitivität: InfoNCE zeigt einen scharfen Übergang der Modalitäts-Überlappung nahe $\tau \approx 0.09$ . xNCE weist einen sanfteren Übergang auf und zeigt konsistent geringere Modalitätsdistanzen.

2. Multi-modale Performance (MS-COCO)

Reduktion der Modalitätslücke: Standard InfoNCE (lernbares $\tau$ ) liefert eine große Lücke (Distanz $0.88$). Regularisiertes InfoNCE reduziert diese auf $0.12$, verursacht jedoch einen Trainings-Overhead von ca. 25–30 %. xNCE reduziert die Lücke auf $0.12$ (bei $r_{mix}=0.01$ ) und auf $0.05$ (bei $r_{mix}=0.50$ ), ohne zusätzliche Verlustterme oder signifikante Rechenkosten.
Retrieval-Performance:
- Standard InfoNCE erzielt die höchsten R@1 Retrieval-Scores.
- xNCE mit kleinen Mischungsverhältnissen ( $r_{mix}=0.01, 0.05$ ) behält eine nahezu gleichwertige Performance zu InfoNCE bei R@5 und R@10 bei, mit nur einem marginalen Abfall bei R@1.
- High-Temperature InfoNCE reduziert die Lücke drastisch, verschlechtert aber die Retrieval-Performance massiv (R@1 sinkt auf $\approx 15 \%$ ).
Zero-Shot Klassifizierung:
- Wichtige Erkenntnis: xNCE mit geringer Mischung ( $r_{mix}=0.01$ ) verbessert die Zero-Shot Top-1 Genauigkeit über alle vier Benchmarks (CIFAR-10, CIFAR-100, Caltech-101, ImageNet) hinweg im Vergleich zur InfoNCE-Baseline.
- Im Gegensatz dazu versagen sowohl Regularisiertes InfoNCE als auch High-Temperature InfoNCE darin, die Zero-Shot-Performance gegenüber der Baseline zu verbessern (und verschlechtern sie oft sogar), was darauf hindeutet, dass explizite Regularisierung oder hohe Temperaturen die für den Transfer erforderliche diskriminative Geometrie beschädigen.
Trade-off: Eine Erhöhung des Mischungsverhältnisses ( $r_{mix}$ ) reduziert die Lücke weiter und erhöht die Instanz-Ebene Semantik (mAP), verschlechtert jedoch monoton die Zero-Shot-Genauigkeit und die Retrieval-Präzision, was auf einen abstimmbaren Trade-off zwischen Modalitäts-Ausrichtung und Intra-Modalität-Semantik hindeutet.

Bedeutung und Ansprüche

Die Arbeit behauptet, dass die Modalitätslücke kein unvermeidliches Nebenprodukt von Daten oder Initialisierung ist, sondern ein Mode-Failure des InfoNCE-Objektivs, wenn dieser bei niedrigen Temperaturen mit unabhängigen Encodern verwendet wird.

Mechanistischer Einblick: Die Autoren demonstrieren, dass die Lücke entsteht, weil der Uniformitäts-Term in InfoNCE durch divergierende Modalitäten erfüllt werden kann. xNCE korrigiert dies durch die Einführung von intra-modalen Negativen, wodurch der „Divergenz-Term“ effektiv entfernt wird.
Praktischer Vorteil: Im Gegensatz zu High-Temperature-Training oder dem Hinzufügen komplexer Regularisierungsterme bietet xNCE eine einfache, recheneffiziente Modifikation, die die Modalitätslücke reduziert, ohne die für Zero-Shot-Transfer und Retrieval notwendige diskriminative Geometrie zu opfern (und diese in einigen Fällen sogar zu verbessern).
Abstimmbarkeit: Die Methode bietet einen kontrollierbaren Trade-off zwischen Modalitäts-Ausrichtung und Intra-Modalität-Semantik, was es Praktikern ermöglicht, das Mischungsverhältnis ( $r_{mix}$ ) basierend auf spezifischen Anforderungen (z. B. strikte Top-1 Retrieval vs. modalitäts-invariante Repräsentationen) anzupassen.

Die Autoren kommen zu dem Schluss, dass xNCE die Modalitätslücke erfolgreich mildert und gleichzeitig die Transferfähigkeiten von Multi-Modalen Modellen bewahrt oder verbessert, womit die Notwendigkeit komplexer Regularisierungsstrategien oder High-Temperature-Regime zur Erzielung von Alignment infrage gestellt wird.