🤖 machine learning

Optimal Representations for Generalized Contrastive Learning with Imbalanced Datasets

Dieser Artikel charakterisiert die Geometrie optimaler Repräsentationen im kontrastiven Lernen unter Klassenungleichgewicht und zeigt, dass zwar ausgeglichene Klassen einen Neural Collapse aufweisen, ungleiche Klassen jedoch einer proportionalitätsabhängigen Winkelsymmetrie folgen, die bei Überschreitung eines bestimmten Schwellenwerts zu einem „Minority Collapse" führen kann.

Ursprüngliche Autoren: Thuan Nguyen, Shuchin Aeron, D. Richard Brown III, Prakash Ishwar

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC0 1.0

Ursprüngliche Autoren: Thuan Nguyen, Shuchin Aeron, D. Richard Brown III, Prakash Ishwar

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Bild: Ein Roboter lernt, einen unordentlichen Schrank zu sortieren

Stellen Sie sich vor, Sie bringen einem Roboter bei, einen riesigen Haufen Kleidung zu sortieren. Die Aufgabe des Roboters besteht darin zu lernen, was ein „Hemd" wie ein Hemd aussehen lässt und eine „Hose" wie eine Hose.

Beim kontrastiven Lernen (Contrastive Learning, CL) lernt der Roboter, indem er ein Spiel spielt:

Der Anker: Der Roboter nimmt ein einzelnes Teil auf (z. B. ein blaues Hemd).
Das Positive: Er findet ein anderes Teil, das ähnlich ist (ein weiteres blaues Hemd). Er versucht, diese beiden in seinem Inneren eng zusammenzubringen.
Die Negativen: Er betrachtet Teile, die unterschiedlich sind (eine Jeans, ein Hut, eine Socke). Er versucht, diese weit weg vom blauen Hemd zu drängen.

Das Ziel ist es, dass der Roboter eine mentale Landkarte erstellt, auf der ähnliche Dinge eng beieinander gruppiert sind und unterschiedliche Dinge weit voneinander entfernt liegen.

Das Problem: Der „unausgewogene" Schrank

Die meisten Forschungsarbeiten gehen davon aus, dass der Schrank perfekt ausbalanciert ist: 100 Hemden, 100 Hosen, 100 Hüte. Doch in der realen Welt sind Schränke unordentlich. Sie könnten 1.000 Hemden haben, aber nur 5 Hosen und 3 Hüte. Dies sind unausgewogene Datensätze.

Die Autoren dieses Papiers stellten die Frage: Was passiert mit der mentalen Landkarte des Roboters, wenn der Schrank stark verzerrt ist? Sortiert er die Dinge immer noch korrekt?

Die Hauptentdeckung: „Neural Collapse" und „Minority Collapse"

Das Papier beweist zwei Hauptaspekte darüber, wie der Roboter seinen Geist organisiert, wenn er versucht, die bestmögliche Arbeit zu leisten.

1. Der „perfekte Haufen" (Intra-class Variance Collapse)

Wenn der Roboter perfekt lernt, hört er auf, jedes einzelne Hemd als einzigartig zu betrachten. Stattdessen erkennt er: „Hey, all diese blauen Hemden sind im Grunde genommen gleich."

Die Analogie: Stellen Sie sich einen Vogelschwarm vor. Vor dem Lernen fliegen sie in einer zerstreuten Wolke herum. Nach dem Lernen fliegt jeder einzelne Vogel in der Gruppe „blaues Hemd" exakt an denselben Ort am Himmel. Sie kollabieren alle zu einem einzigen Punkt.
Das Ergebnis: Das Papier beweist, dass für jede Klasse (selbst die seltenen) der beste Weg für den Roboter zum Lernen darin besteht, jedes Element dieser Klasse identisch mit dem „Durchschnitt" dieser Klasse zu machen.

2. Der „geometrische Tanz" (Die Form der Haufen)

Sobald der Roboter alle Hemden zu einem Punkt, alle Hosen zu einem anderen und alle Hüte zu einem dritten kollabiert hat, wie sind diese Punkte angeordnet?

Ausgewogener Schrank: Wenn Sie gleiche Anzahlen von Hemden, Hosen und Hüten haben, ordnen sich die Punkte in einer perfekten, symmetrischen Form an (wie ein gleichseitiges Dreieck oder eine perfekte Pyramide). Dies wird als Equiangular Tight Frame (ETF) bezeichnet.
Unaustauschbarer Schrank: Wenn Sie viel mehr Hemden als Hosen haben, bricht die Symmetrie. Der „Hemd"-Punkt bewegt sich, und die „Hosen"- und „Hut"-Punkte verschieben sich, um das Gewicht der Hemden auszugleichen.
Die Entdeckung: Das Papier liefert ein mathematisches Rezept (ein konvexes Optimierungsproblem), um exakt zu berechnen, wo diese Punkte sitzen sollten, um am effizientesten zu sein, selbst wenn die Zahlen ungleich sind.

3. Der „Minority Collapse" (Die gefährliche Schwelle)

Dies ist die dramatischste Erkenntnis. Die Autoren untersuchten, was passiert, wenn das Ungleichgewicht extrem ist.

Das Szenario: Stellen Sie sich vor, Sie haben 95 % Hemden, 2,5 % Hosen und 2,5 % Hüte.
Das Phänomen: Das Papier beweist, dass, wenn die „Minderheiten"-Gruppen (Hosen und Hüte) zu klein werden, sie aufhören, unterscheidbar zu sein. Der Roboter wird verwirrt und entscheidet: „Hosen und Hüte sind so selten, ich behandle sie einfach als exakt dasselbe."
Die Analogie: Stellen Sie sich zwei kleine Inseln in einem weiten Ozean vor. Wenn die Inseln zu winzig werden, verschwindet das Wasser zwischen ihnen, und sie verschmelzen zu einem einzigen, winzigen Fleck. Der Roboter kollabiert den „Hosen"-Punkt und den „Hut"-Punkt zu einem einzigen Vektor, der oft genau in die entgegengesetzte Richtung des „Hemd"-Punkts zeigt.
Die Schwelle: Die Autoren berechneten einen spezifischen „Kipppunkt" (eine Schwelle). Wenn die Mehrheitsklasse mehr als etwa 93 % der Daten einnimmt (für einen bestimmten Typ von Lernalgorithmus), werden die Minderheitenklassen unvermeidlich zu einem einzigen Punkt kollabieren.

Wie sie es bewiesen

Die Autoren haben nicht nur geraten; sie verwendeten schwere Mathematik, um zu beweisen, dass dies im „idealen" Szenario passiert, in dem der Roboter unendliche Rechenkraft besitzt (ein „Unconstrained Features Model").

Untere Schranke: Sie schufen ein „Fundament", wie schlecht die Leistung des Roboters sein könnte. Sie bewiesen, dass der Roboter, um dieses perfekte Fundament zu erreichen, die Elemente in ihre Klassendurchschnitte kollabieren muss.
Konvexe Optimierung: Sie zeigten, dass das Finden der perfekten Anordnung dieser kollabierten Punkte wie das Lösen eines Rätsels ist, bei dem es nur eine korrekte Lösung gibt, und man sie mit Standard-Mathematikwerkzeugen finden kann.
Simulation: Sie führten Computerexperimente mit realen Bilddaten durch (aus dem CIFAR-10-Datensatz). Sie schufen künstlich unausgewogene Datensätze und beobachteten, wie der Roboter lernte.
- Ergebnis: Die Computerergebnisse stimmten perfekt mit der Mathematik überein. Die „Minderheiten"-Bilder kollabierten in der Visualisierung physisch zu einem einzigen Punkt, genau wie die Theorie vorhersagte.

Zusammenfassung der wichtigsten Erkenntnisse

Ungleichgewicht verändert die Geometrie: Wenn Daten unausgewogen sind, ist die perfekte Anordnung erlernter Merkmale keine symmetrische Form mehr; es ist eine verzerrte Form, die durch die Anteile der Daten bestimmt wird.
Alles kollabiert: Um perfekt zu lernen, muss der Roboter jedes Element einer Klasse exakt wie den Durchschnitt dieser Klasse aussehen lassen.
Extreme Ungleichheit ist gefährlich: Wenn eine Klasse zu stark dominiert (z. B. >93 %), verlieren die seltenen Klassen ihre Individualität und verschmelzen zu einem einzigen Punkt, was es dem Roboter unmöglich macht, zwischen ihnen zu unterscheiden.
Es ist lösbar: Obwohl die Geometrie komplex ist, bietet das Papier einen Weg, die optimale Anordnung unter Verwendung der konvexen Optimierung zu berechnen.

Das Papier kartiert im Wesentlichen die „Physik" davon, wie maschinelles Lernmodelle Informationen organisieren, wenn die Welt, aus der sie lernen, unordentlich und unausgewogen ist.

Technische Zusammenfassung: Optimale Repräsentationen für generalisiertes kontrastives Lernen mit unausgewogenen Datensätzen

Problemstellung

Kontrastives Lernen (CL) zielt darauf ab, Repräsentationsabbildungen zu erlernen, die „ähnliche" (positive) Stichproben näher zusammenrücken und „unterschiedliche" (negative) Stichproben voneinander entfernen. Während die Geometrie optimaler Repräsentationen für ausgewogene Datensätze gut verstanden ist – wobei sie ein Neural Collapse (NC) aufweisen, bei dem die Klassenmittelwerte ein Equiangular Tight Frame (ETF) bilden – bleibt das Verhalten von CL unter unausgewogenen Klassenverteilungen weitgehend uncharakterisiert. Bestehende theoretische Arbeiten haben sich primär auf folgende Aspekte konzentriert:

Empirische Versionen des InfoNCE-Verlusts mit spezifischen, nahezu maximalen Anzahlen negativer Stichproben ( $k \approx$ Batch-Größe).
Ausgewogene Klassensettings, bei denen alle Klassen die gleiche Wahrscheinlichkeit aufweisen.
Klassifikator-Netzwerke mit expliziten, labelabhängigen Verlusten (z. B. MSE, Cross-Entropy) anstelle des allgemeinen CL-Risikos.

Dieser Artikel schließt die Lücke im Verständnis der Geometrie optimaler Repräsentationen für generalisierte CL-Verluste unter beliebigen Klassenungleichgewichten, indem er spezifisch untersucht, ob die ETF-Struktur erhalten bleibt, und neue Phänomene wie den Minority Collapse (MC) identifiziert.

Methodik

Die Autoren übernehmen ein Unconstrained Features Model (UFM)-Rahmenwerk, bei dem die Feature-Vektoren der letzten Schicht als freie Optimierungsvariablen und nicht als Netzwerkgewichte behandelt werden. Dies ermöglicht eine handhabbare Analyse des globalen Optimums.

Wichtige Annahmen und Setup

Generalisierte Verlustfunktion: Die Studie betrachtet eine breite Familie von CL-Verlusten, definiert als $\ell_k = \psi(\dots)$ , wobei $\psi: \mathbb{R}^k \to \mathbb{R}$ strikt konvex und argumentweise strikt monoton steigend ist. Dies umfasst populäre Verluste wie InfoNCE.
Stichprobenverteilungen: Die Analyse deckt sowohl Unsupervised CL (UCL), bei dem negative Stichproben aus dem gesamten Datensatz gezogen werden (was „Klassenkollisionen" erlaubt), als auch Supervised CL (SCL) ab, bei dem negative Stichproben aus Klassen gezogen werden, die sich von der Ankerklasse unterscheiden.
Klassenungleichgewicht: Der Artikel modelliert Datensätze, bei denen die Klassenwahrscheinlichkeiten $\lambda_i$ nicht notwendigerweise gleich sind, einschließlich Szenarien mit extremem Ungleichgewicht (eine Mehrheitsklasse und mehrere gleichwahrscheinliche Minderheitsklassen).
Optimierungsstrategie:
1. Konstruktion einer unteren Schranke: Eine enge untere Schranke $G(M)$ für das CL-Risiko wird hergeleitet, die ausschließlich in Bezug auf die Klassenmittelvektoren $M = [\mu_1, \dots, \mu_C]$ ausgedrückt ist.
2. Konvexe Relaxierung: Das Problem der Risikominimierung wird in die Minimierung einer Funktion $S(A)$ über die Gram-Matrix $A = M^\top M$ transformiert. Die Autoren beweisen, dass $S(A)$ über der Menge der gültigen Korrelationsmatrizen strikt konvex ist.
3. Analytische Charakterisierung: Die Eigenschaften des eindeutigen Minimierers $A^*$ werden analysiert, um die geometrische Struktur der optimalen Klassenmittelwerte zu bestimmen.

Hauptbeiträge

1. Generalisierte untere Schranke und Varianzkollaps

Der Artikel etabliert eine neuartige untere Schranke (Lemma 1) für das CL-Risiko, die für jede strikt konvexe, argumentweise monoton steigende Verlustfunktion und jede Anzahl negativer Stichproben $k$ gilt.

Intraklassen-Varianzkollaps: Die Autoren beweisen, dass die Repräsentationsabbildung, um diese untere Schranke zu erreichen, alle Stichproben innerhalb einer Klasse auf ihren Klassenmittelwert kollabieren muss (d. h. $f(x) = \mu_{y(x)}$ ).
Einheitsnorm: Die optimalen Klassenmittelwerte müssen eine euklidische Norm von eins haben.

2. Geometrie optimaler Klassenmittelwerte

Für Repräsentationsdimensionen $d \ge C-1$ :

Rangdefizienz: Die eindeutige optimale Gram-Matrix $A^*$ wird als rangdefizient mit einem Rang von höchstens $C-1$ bewiesen, selbst ohne explizite Rangbeschränkungen.
Konvexe Berechnung: Die optimalen Klassenmittelwerte können durch Lösen eines konvexen Optimierungsproblems über die Gram-Matrix gefolgt von einer spektralen Zerlegung berechnet werden.
Symmetriestruktur: Im Gegensatz zum ausgewogenen Fall, bei dem Mittelwerte ein ETF bilden, weist die optimale Geometrie für unausgewogene Klassen eine äquiangulare Symmetriestruktur auf, die durch die relativen Klassenanteile bestimmt wird. Spezifisch behalten, wenn zwei Klassen die gleiche Wahrscheinlichkeit haben, ihre Mittelwerte identische Skalarprodukte mit allen anderen Klassenmittelwerten bei (Theorem 3).

3. Minority-Collapse (MC)-Phänomen

Der Artikel liefert einen rigorosen theoretischen Beweis für den Minority Collapse in CL.

Definition: Wenn das Klassenungleichgewicht extrem ist (speziell, wenn die Wahrscheinlichkeit der Mehrheitsklasse $\lambda_1$ einen nicht-asymptotischen Schwellenwert $\tau$ überschreitet), kollabieren die optimalen Repräsentationen aller Stichproben der Minderheitsklassen zu einem einzelnen Vektor.
Herleitung des Schwellenwerts: Eine hinreichende Bedingung für MC wird in Bezug auf die Anzahl der Klassen $C$ , die Anzahl der Negativbeispiele $k$ und die Lipschitz-Eigenschaften der Verlustfunktion $\psi$ hergeleitet.
InfoNCE-Spezifika: Für den InfoNCE-Verlust leitet der artikel parameterfreie Schwellenwerte her:
- $\tau \approx 0.9292$ für das UCL-Setting.
- $\tau \approx 0.9438$ für das SCL-Setting.
  Diese Schwellenwerte garantieren MC unabhängig von $C$ oder $k$ .

4. Vereinheitlichung der Settings

Die Ergebnisse gelten für sowohl UCL- als auch SCL-Settings, mit geringfügigen Anpassungen der Wahrscheinlichkeitsverteilungen, wodurch das theoretische Verständnis des kontrastiven Lernens über verschiedene Stichprobenmechanismen hinweg vereinheitlicht wird.

Ergebnisse und Validierung

Theoretische Konsistenz: Die hergeleiteten unteren Schranken und geometrischen Eigenschaften werden mathematisch als notwendig und hinreichend für die Optimalität unter dem UFM bewiesen.
Numerische Experimente:
- Intraklassen-Kollaps: Experimente an unausgewogenen CIFAR-10-Teilsets (3 Klassen) unter Verwendung von ResNet-50 bestätigen, dass trainierte Netzwerke die Intraklassen-Varianz auf Klassenmittelwerte kollabieren. Die resultierenden Gram-Matrizen stimmen mit denen überein, die über konvexe Optimierung (CVX) berechnet wurden.
- Minority Collapse: Experimente mit extremem Ungleichgewicht ( $\lambda_1 = 0.9$ ) zeigen, dass die Mittelwerte der Minderheitsklassen zu einem einzigen Vektor kollabieren, der diametral gegenüber dem Mittelwert der Mehrheitsklasse liegt, was das theoretische MC-Phänomen validiert.
- Geometrie: Die Experimente bestätigen, dass unausgewogene Klassen kein gleichseitiges Dreieck (ETF) bilden, sondern vielmehr ein gleichschenkliges Dreieck, was mit den abgeleiteten Symmetrieeigenschaften konsistent ist.

Bedeutung und Behauptungen

Der Artikel beansprucht, die erste berechenbare Charakterisierung optimaler CL-Repräsentationen unter allgemeinem Klassenungleichgewicht zu liefern. Seine Bedeutung liegt in:

Generalisierung von Neural Collapse: Erweiterung des NC-Phänomens von ausgewogenen auf unausgewogene Settings, wobei gezeigt wird, dass zwar der Intraklassen-Kollaps erhalten bleibt, die Interklassen-Geometrie (ETF) jedoch nicht.
Erklärung von Minority Collapse: Bereitstellung einer theoretischen Grundlage für den empirisch beobachteten „Minority Collapse" in CL, wobei er als optimale (wenn auch potenziell unerwünschte) Lösung des Risikominimierungsproblems unter extremem Ungleichgewicht identifiziert wird.
Rechnerische Effizienz: Demonstration, dass optimale Klassenmittelwerte über konvexe Optimierung gefunden werden können, was darauf hindeutet, dass hochdimensionale Repräsentationsräume für das Erlernen optimaler Merkmale in CL ineffizient sein können.
Robustheit der Theorie: Etablierung, dass diese Phänomene inhärent zur Geometrie der Verlustfunktion und der Stichprobenverteilung sind und keine Artefakte spezifischer Netzwerkarchitekturen oder Trainingsdynamiken darstellen.

Die Autoren schließen mit der Identifizierung offener Probleme, einschließlich der Charakterisierung der optimalen Geometrie, wenn $d < C-1$ (relevant für Large Language Models), und der Analyse von Effekten des Hard-Negative-Samplings.