🤖 machine learning

The Loss Is Not Enough: Sampling Conditions and Inductive Bias in Contrastive Representation Learning

Diese Arbeit etabliert einen maßtheoretischen Rahmen, der demonstriert, dass die Diversität des Positive-Pair-Samplings eine kritische Bedingung für die Wiederherstellung einer aussagekräftigen latenten Geometrie im kontrastiven Lernen darstellt, wobei aufgezeigt wird, dass unzureichendes Sampling zu nicht-orthogonalen Lösungen führen kann und entweder korrigierte Verlustfunktionen oder stärkere architektonische Induktionsbiases erfordert, um Identifizierbarkeit zu gewährleisten.

Ursprüngliche Autoren: Justinas Zaliaduonis, Patrick Putzky, Till Richter, Sergios Gatidis

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Justinas Zaliaduonis, Patrick Putzky, Till Richter, Sergios Gatidis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, die Welt zu verstehen, indem Sie ihm Paare von Bildern zeigen. Zum Beispiel zeigen Sie ihm ein Foto einer Katze und dann ein leicht anderes Foto derselben Katze (vielleicht hineingezoomt oder mit einem anderen Filter). Die Aufgabe des Roboters ist es zu lernen, dass diese beiden Bilder dieselbe „Kernidee“ (die Katze) repräsentieren, während er die Unterschiede (den Zoom oder den Filter) ignoriert.

Dieser Prozess wird Kontrastives Lernen genannt. Es ist eine beliebte Methode, mit der Computer ohne menschliche Labels lernen können. Aber diese Arbeit stellt eine kritische Frage: Lernt der Roboter tatsächlich die wahre Struktur der Welt oder lernt er nur zu betrügen?

Die Autoren argumentieren, dass die „Loss Function“ (die Punktzahl, die der Robot minimieren versucht) allein nicht ausreicht. Ob der Roboter die Wahrheit lernt, hängt von zwei Dingen ab: wie Sie ihm die Bilder zeigen und welche Art von Gehirn (Architektur) Sie ihm geben.

Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien:

1. Die „Diversitäts“-Regel (Die Sampling-Bedingung)

Stellen Sie sich vor, Sie versuchen jemandem die Form eines 3D-Objekts, wie etwa einer Kugel, beizubringen, indem Sie ihm nur 2D-Schatten zeigen.

Das ideale Szenario (Volle Diversität): Sie drehen die Kugel in jede erdenkliche Richtung und zeigen der Person den Schatten aus jedem möglichen Winkel. Da sie das Objekt aus jeder möglichen Perspektive sieht, kann sie die 3D-Form in ihrem Geist perfekt rekonstruieren.
Das Real-World-Problem (Verletzte Diversität): In der Praxis können wir oft nicht jeden Winkel zeigen. Vielleicht drehen wir die Kugel nur nach links und rechts, aber nie nach oben und unten. Der „Schatten“ (die Daten) fehlen Informationen über die vertikale Achse.
Der Befund der Arbeit: Wenn Sie die Ansichten einschränken (wie das Drehen nur nach links/rechts), wird der Roboter verwirrt. Er erkennt, dass er die vertikale Achse nicht erfassen kann. Anstatt die wahre 3D-Form zu lernen, lernt er eine verzerrte Version, die den Test „betrügt“. Er findet eine Abkürzung, die eine gute Punktzahl beim Test erzielt, aber die wahre Geometrie des Objekts nicht wirklich versteht.

Die Autoren nennen dies die Diversitäts-Bedingung. Wenn Ihr Datensampling nicht genügend „Boden“ abdeckt (Diversität), lernt der Roboter eine kaputte, verzerrte Landkarte der Realität.

2. Das „Gehirn“ spielt eine Rolle (Induktiver Bias)

Wenn die Daten unvollständig sind (geringe Diversität), kann der Roboter dann trotzdem die Wahrheit lernen? Die Arbeit sagt: Ja, aber nur, wenn Sie ihm das richtige Gehirn geben.

Das „Blank Slate“-Gehirn (Geringer induktiver Bias): Stellen Sie sich einen Roboter mit einem generischen Gehirn vor (einem Standard-Neuronalen-Netzwerk), das keine eingebauten Annahmen darüber hat, wie die Welt funktioniert. Wenn Sie ihm die begrenzten, verzerrten Daten einspeisen, wird er scheitern. Er wird diese „betrügerische“, verzerrte Karte produzieren, weil er keinen Grund hat, die fehlenden Teile korrekt zu erraten.
Das „Spezialisierte“ Gehirn (Hoher induktiver Bias): Stellen Sie sich nun einen Roboter vor, der mit spezifischem Wissen über die Aufgabe gebaut wurde. Wenn Sie ihn zum Beispiel über Katzen lehren, geben Sie ihm ein Gehirn, das darauf ausgelegt ist, Fellmuster und Ohrenformen zu erkennen (wie ein Convolutional Neural Network). Selbst wenn die Daten begrenzt sind, nutzt dieses spezialisierte Gehirn sein eingebautes „gesunden Menschenverstand“, um die Lücken zu füllen. Es ignoriert die schlechten Daten-Abkürzungen und rekonstruiert die wahre Struktur.

Die Analogie:
Betrachten Sie die Daten als ein Jigsaw-Puzzle mit fehlenden Teilen.

Wenn Sie einen generischen Problemlöser (geringer Bias) haben, wird dieser versuchen, die vorhandenen Teile so zusammenzufügen, dass es „ganz okay“ aussieht, aber ein seltsames, verzerrtes Bild ergibt.
Wenn Sie jedoch einen Experten-Problemlöser (hoher Bias) haben, der weiß, wie eine Katze aussehen sollte, kann dieser die wenigen Teile, die er hat, betrachten und korrekt erraten, wo die fehlenden Teile hingehören, und so das wahre Bild rekonstruieren.

3. Der „Fix“ (Korrektur der Loss Function)

Die Autoren versuchten, das Problem zu lösen, indem sie die Regeln des Spiels änderten (die mathematische Formel, die der Roboter verwendet). Sie entwickelten eine „korrigierte“ Version des Bewertungssystems, die den Roboter dazu zwingt, nur die Ansichten zu vergleichen, die angesichts der begrenzten Daten tatsächlich möglich sind.

Das Ergebnis: Dieser Fix stoppt den Roboter beim Betrügen. Er macht es dem Roboter wieder möglich, die wahre Form zu lernen.
Der Haken: Er garantiert nicht, dass der Roboter die Wahrheit lernt. Er entfernt lediglich die Strafe für das Richtigsein. Der Roboter benötigt immer noch das „Spezialisierte Gehirn“ (induktiven Bias), um tatsächlich die korrekte Lösung gegenüber anderen seltsamen Möglichkeiten zu wählen.

Zusammenfassung der wichtigsten Erkenntnisse

Datenvielfalt ist entscheidend: Wenn Sie der KI nicht genug verschiedene Variationen der Daten zeigen (Diversität), wird sie eine verzerrte, kaputte Version der Realität lernen, egal wie intelligent der Algorithmus ist.
Die Architektur ist das Sicherheitsnetz: Wenn die Daten unvollständig sind, wird das Design des KI-Modells (sein „induktiver Bias“) entscheidend. Ein Modell, das mit den richtigen Annahmen entworfen wurde, kann die Wahrheit selbst aus schlechten Daten rekonstruieren; ein generisches Modell kann dies nicht.
Die Loss Function ist keine Magie: Man kann sich nicht allein auf die mathematische Formel (die Loss Function) verlassen, damit sie die Arbeit erledigt. Das Zusammenspiel zwischen wie Sie Daten sampeln und wie Sie das Modell bauen, entscheidet darüber, ob die KI die Wahrheit lernt oder nur lernt, das System zu manipulieren.

Kurz gesagt: Man kann nicht einfach Daten auf eine generische KI werfen und erwarten, dass sie die Wahrheit lernt. Wenn Ihre Daten begrenzt sind, benötigen Sie eine spezialisierte KI, um sie sinnvoll zu interpretieren.

Technisches Resümee: Der Verlust ist nicht genug: Sampling-Bedingungen und induktiver Bias im kontrastiven Repräsentationslernen

Problemstellung

Kontrastives Lernen (CL) hat sich als ein dominantes Paradigma für selbstüberwachtes Repräsentationslernen etabliert, doch die theoretischen Bedingungen, unter denen es erfolgreich aussagekräftige latente Geometrien rekonstruiert, sind noch nicht vollständig verstanden. Während der empirische Erfolg weit verbreitet ist, sind die präzisen Mechanismen, die CL antreiben, oft heuristisch, was zu einer ineffizienten Ressourcennutzung und Designentscheidungen führt, die das Potenzial der Methode möglicherweise nicht voll ausschöpfen.

Bestehende theoretische Erklärungen lassen sich im Wesentlichen in zwei Kategorien unterteilen:

Die Invarianz-Erklärung: Postuliert, dass CL Repräsentationen invariant gegenüber Störfaktoren (Nuisance Factors) induziert. Dieses Framework spezifiziert jedoch nicht, welche Faktoren Störfaktoren sind, noch wie Datenaugmentierungen diese Partition implizit bestimmen. Zudem können Faktoren, die durch das kontrastive Ziel als „Störfaktor“ eingestuft werden, diskriminative Informationen tragen, die für spezifische Downstream-Aufgaben notwendig sind.
Die Rekonstruktions-Erklärung: Nimmt an, dass die Daten auf einem hochdimensionalen Manifold liegen, das eine niedrigdimensionale latente Struktur besitzt, und dass CL diese latente Struktur rekonstruiert. Obwohl dies vielversprechend ist, beruhen vorangegangene Identifizierbarkeitsergebnisse (z. B. Zimmermann et al., 2021) auf starken Annahmen, insbesondere darauf, dass das Sampling von positiven Paaren einer vMises-Fisher-Verteilung (vMF) mit vollem Support folgt.

Das Kernproblem, das hier adressiert wird, ist, dass reale Sampling-Mechanismen (Augmentationen) selten die Full-Support-Annahme erfüllen. Sie schränken oft den Support positiver Paare ein (z. B. indem sie bestimmte semantische Merkmale fixieren, während sie andere perturbieren). Die Arbeit untersucht, ob das kontrastive Ziel allein ausreicht, um die latente Geometrie zu rekonstruieren, wenn diese „Diversitätsbedingung“ verletzt wird, und wie die architektonische induktive Bias mit der Sampling-Diversität interagiert.

Methodik

Theoretischer Rahmen

Die Autoren entwickeln ein maßtheoretisches Framework zur Analyse des kontrastiven Lernens, indem sie den Datengenerierungsprozess als eine injektive Abbildung $g: \mathcal{Z} \to \mathcal{X}$ von einem latenten Raum $\mathcal{Z}$ zu einem Beobachtungsraum $\mathcal{X}$ modellieren. Der Encoder $f: \mathcal{X} \to \mathcal{Z}$ zielt darauf ab, eine Rekonstruktionsabbildung $h = f \circ g$ zu lernen.

Kern-Definitionen:

Diversitätsbedingung (Diversity Condition): Eine Support-Anforderung an das bedingte Gesetz der positiven Paare $P_{\tilde{Z}|Z}$ . Diese gilt, wenn für fast jedes Anker-Element $z$ das Randmaß $P_Z$ absolut stetig bezüglich des bedingten Maßes $P_{\tilde{Z}|z}$ ist ( $P_Z \ll P_{\tilde{Z}|z}$ ). Intuitiv muss der View-Generierungsprozess alle latenten Merkmale perturbieren; wenn eine latente Dimension fixiert bleibt, kann der Encoder Variationen entlang dieser Dimension nicht unterscheiden.
InfoNCE-Loss: Analysiert als ein Cross-Entropy-Minimierungsproblem zwischen der wahren Sampling-bedingten Verteilung $P_{\tilde{Z}|z}$ und der Modell-bedingten Verteilung $Q_{h,z}$ .

Theoretische Analyse

Die Arbeit geht in drei analytische Phasen über:

Fall mit vollem Support: Es wird bewiesen, dass das Standard-vMF-Setting mit vollem Support die Diversitätsbedingung impliziert. Unter Verwendung eines probabilistischen Mazur-Ulam-Arguments zeigen die Autoren, dass jeder globale Minimierer des asymptotischen kontrastiven Verlusts den latenten Raum bis auf eine orthogonale Transformation (Isometrie) rekonstruiert.
Fall mit verletzter Diversität: Die Autoren modellieren Szenarien, in denen der bedingte Support auf einen niedrigdimensionalen Unterraum beschränkt ist (z. B. Fixierung latenter Koordinaten $u$ bei gleichzeitiger Variation von $v$ ). Sie beweisen, dass unter verletzter Diversität nicht-orthogonale Abbildungen einen strikt niedrigeren asymptotischen kontrastiven Verlust erzielen können als jede orthogonale Abbildung. Konkret disincentiviert die Verlustfunktion aktiv geometrieerhaltende Lösungen, was zu schlecht strukturierten latenten Räumen führt, in denen semantische Beziehungen nicht erhalten bleiben.
Korrigiertes Modell: Um die Support-Mismatch zu adressieren, führen die Autoren eine „support-korrigierte“ InfoNCE-Variante ein, bei der die Negativ-Samples aus demselben eingeschränkten Unterraum wie die positiven Paare gezogen werden. Sie beweisen, dass diese Korrektur isometrische (orthogonale) Lösungen erreichbar macht (d. h. sie werden zu globalen Minima), aber entscheidend ist, dass sie nicht garantieren, dass dies auch die einzigartigen Minima sind.

Experimentelle Validierung

Die theoretischen Vorhersagen werden durch zwei Gruppen von Experimenten validiert:

Synthetische Benchmarks: Unter Verwendung eines sphärischen latenten Raums ( $S^2$ $S^{2}$ ) und fünf generativen Prozessen (Identity, Linear, Spiral, Patches, Invertible MLP) vergleichen die Autoren Encoder mit geringem induktivem Bias (MLP) gegenüber Encodern mit hohem induktivem Bias (Inverse-Modelle, die den generativen Prozess widerspiegeln sollen).
- Metriken: Lineare Identifizierbarkeit ( $R^2$ ), Mean Correlation Coefficient (MCC) und Angular Preservation Error (APE).
- Bedingungen: Sampling mit erhaltener Diversität (Full Support) vs. verletzter Diversität (fixierte Dimensionen).
CIFAR-10 Experimente: Anwendung von SimCLR mit drei Architekturen (MLP, ViT, ResNet-18) und variierenden Augmentations-Regimen (All, Crop Only, All w/o crop).
- Ziel: Qualitative Untersuchung, wie die architektonische induktive Bias die begrenzte Sampling-Diversität in realen Daten (wo die Ground-Truth-Latents unbekannt sind) kompensiert.

Zentrale Ergebnisse

Theoretische Erkenntnisse

Notwendigkeit von Diversität: Die Diversitätsbedingung ist notwendig für die isometrische Rekonstruktion des latenten Raums. Wenn diese verletzt wird, versagt das kontrastive Ziel allein darin, die latente Geometrie zu rekonstruieren, selbst bei unendlichen Daten und expressiven Encodern.
Versagen des Standard-InfoNCE: Unter verletzter Diversität begünstigt der Standard-InfoNCE-Loss geometrie-distordierende Abbildungen gegenüber orthogonalen.
Rolle der Support-Korrektur: Ein support-korrigierter InfoNCE-Loss, der Negativ-Samples aus dem eingeschränkten Manifold zieht, stellt die Erreichbarkeit isometrischer Lösungen wieder her, garantiert aber nicht deren Selektion. Der Lösungsraum bleibt ohne zusätzliche Constraints nicht eindeutig.
Kompensatorische Rolle des induktiven Bias: Wenn die Sampling-Diversität unzureichend ist, wird die architektonische induktive Bias kritisch. Encoder mit hohem induktivem Bias (die die Inverse des generativen Prozesses approximieren) können die latente Struktur auch dann rekonstruieren, wenn die Diversitätsbedingung verletzt ist, während Encoder mit geringem Bias scheitern.

Empirische Erkenntnisse

Synthetische Ergebnisse:
- Diversität hält: MLP-Encoder erreichen eine nahezu perfekte lineare Identifizierbarkeit ( $R^2 \ge 0,99$ ), was bestätigt, dass expressive Encoder die latente Geometrie rekonstruieren können, wenn die Diversitätsbedingung erfüllt ist.
- Diversität verletzt: Die MLP-Performance bricht zusammen ( $R^2 \in [0,05, 0,13]$ für die meisten Prozesse). Im Gegensatz dazu halten Inverse-Encoder (hoher induktiver Bias) eine hohe Rekonstruktionsleistung aufrecht ( $R^2 \ge 0,88$ ).
- Adaptierter InfoNCE: Die Anwendung des support-korrigierten Loss stellt die MLP-Performance teilweise wieder her ( $R^2 \approx 0,60\text{--}0,65$ ), erreicht aber nicht die Performance der High-Inductive-Bias-Encoder, was bestätigt, dass eine Korrektur des Supports allein unzureichend für die eindeutige Selektion ist.
CIFAR-10 Ergebnisse:
- Breiterer Sampling-Support („All“ Augmentationen) liefert die höchste Downstream-Genauigkeit über alle Architekturen hinweg.
- Höherer induktiver Bias (ResNet-18 > ViT > MLP) verbessert die Performance konsistent.
- Interaktionseffekt: Die Performance-Lücke zwischen den Architekturen vergrößert sich, je stärker die Diversitätsbedingung verletzt wird (z. B. „All w/o crop“). Unter eingeschränktem Sampling übertrifft der High-Inductive-Bias-ResNet-18 den Low-Inductive-Bias-MLP signifikant, was zeigt, dass architektonische Priors entscheidend sind, wenn die Sampling-Diversität begrenzt ist.

Bedeutung und Ansprüche

Das Paper beansprucht, einen rigorosen Rahmen für das Verständnis der Erfolgs- und Misserfolgsregime im kontrastiven Lernen zu liefern. Die primären Beiträge sind:

Formalisierung der Diversitätsbedingung: Unterscheidung von der Full-Support-vMF-Annahme früherer Arbeiten und Demonstration, dass deren Verletzung die Optimierungslandschaft fundamental verändert, wodurch geometrieerhaltende Lösungen unter Standard-Objectives suboptimal werden.
Klärung der Rolle des induktiven Bias: Feststellung, dass die architektonische induktive Bias bei begrenzter Sampling-Diversität nicht nur eine heuristische Verbesserung, sondern ein notwendiger Mechanismus zur Rekonstruktion aussagekräftiger latenter Strukturen ist.
Limitierung der Loss-Modifikation: Aufzeigen, dass die Korrektur des Support-Mismatch in der Loss-Funktion zwar isometrische Lösungen erreichbar macht, deren Selektion jedoch nicht garantiert, was die Notwendigkeit des induktiven Bias unterstreicht.

Die Autoren kommen zu dem Schluss, dass das Zusammenspiel von Sampling-Mechanismen und der induktiven Bias des Encoders gemeinsam die Qualität der Repräsentation bestimmen. Sie legen nahe, dass Designentscheidungen für Augmentations-Pipelines und Encoder-Architekturen durch diese theoretische Ausrichtung geleitet werden sollten, um den Rechenaufwand durch Trial-and-Error-Experimente potenziell zu reduzieren. Die Arbeit behauptet nicht, alle Identifizierbarkeitsprobleme zu lösen, sondern klärt die spezifischen Bedingungen, unter denen kontrastives Lernen erfolgreich oder erfolglos bei der Rekonstruktion der latenten Geometrie ist.