🤖 machine learning

On the Importance of Embedding Norms in Self-Supervised Learning

Diese Arbeit löst den scheinbaren Widerspruch hinsichtlich der Rolle von Einbettungsnormen im selbstüberwachten Lernen auf, indem sie durch theoretische und experimentelle Analysen nachweist, dass diese Normen trotz der Verbreitung der Kosinusähnlichkeit die Konvergenzraten kritisch steuern und das Vertrauen des Netzwerks kodieren, wobei kleinere Normen auf unerwartete Stichproben hindeuten.

Ursprüngliche Autoren: Andrew Draganov, Sharvaree Vadgama, Sebastian Damrich, Jan Niklas Böhm, Lucas Maes, Dmitry Kobak, Erik Bekkers

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Andrew Draganov, Sharvaree Vadgama, Sebastian Damrich, Jan Niklas Böhm, Lucas Maes, Dmitry Kobak, Erik Bekkers

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Das „Spiky Ball“-Problem (Das Problem der stacheligen Kugel)

Stellen Sie sich vor, Sie bringen einem Computer bei, Bilder zu erkennen (wie Katzen und Hunde), ohne ihm dafür Etiketten (Labels) zu zeigen. Dies nennt man Self-Supervised Learning (SSL).

Um dies zu tun, wandelt der Computer jedes Bild in einen mathematischen Punkt in einem riesigen, mehrdimensionalen Raum um. Damit die Mathematik funktioniert, zwingt der Computer diese Punkte normalerweise dazu, auf der Oberfläche einer perfekten, glatten Kugel (einer Hypersphäre) zu liegen. Er tut dies, indem er misst, wie ähnlich sich zwei Punkte basierend auf ihrer Richtung sind (wie die Prüfung, ob zwei Pfeile in dieselbe Richtung zeigen), wobei die Länge der Pfeile ignoriert wird.

Die Entdeckung des Papers:
Die Autoren fanden heraus, dass der Computer die Länge dieser Pfeile (die „Embedding Norm“) zwar eigentlich ignorieren sollte, die Länge aber dennoch eine große Rolle spielt. Tatsächlich sorgt der Trainingsprozess natürlicherweise dafür, dass die Pfeile für häufig vorkommende, leicht erkennbare Bilder sehr lang werden, während die Pfeile für seltene oder verwirrende Bilder kurz bleiben.

Dies verwandelt die „perfekte glatte Kugel“ des Computers in eine „spiky ball“ (eine stachelige Kugel). Die Spitzen sind die langen Pfeile für vertraute Daten, und die flachen Bereiche sind die kurzen Pfeile für unbekannte Daten.

Die zwei Hauptregeln des Papers

Das Paper erklärt zwei wesentliche Dinge über diese „Pfeillängen“ (Normen):

1. Der „Schwerer-Rucksack“-Effekt (Konvergenzgeschwindigkeit)

Die Analogie: Stellen Sie sich vor, Sie versuchen, zu einem Ziel zu laufen (das richtige Ergebnis zu lernen). Wenn Sie einen schweren Rucksack tragen (einen langen Pfeil/eine große Norm), bewegen Sie sich viel langsamer. Wenn Sie leicht sind (ein kurzer Pfeil), können Sie sprinten.

Was das Paper sagt:
Die Mathematik zeigt, dass der Computer langsamer lernt, je länger der Pfeil wird. Speziell sinkt die Lerngeschwindigkeit um das Quadrat der Pfeillänge.

Das Catch-22 (Teufelskreis): Um zu lernen, muss der Computer die Pfeile zusammenführen. Aber der Akt des Zusammenführens führt natürlicherweise dazu, dass die Pfeile länger werden.
Das Ergebnis: Der Computer gerät in eine Schleife, in der er versucht zu lernen, aber sein eigenes Lernen den „Rucksack“ schwerer macht und ihn dadurch ausbremst.

2. Der „Konfidenz-Meter“ (Netzwerk-Konfidenz)

Die Analogie: Betrachten Sie die Pfeillänge als Lautstärkeregler für das Vertrauen (Confidence).

Laut (Langer Pfeil): Der Computer ist sich bei diesem Bild sehr sicher. Er sieht diesen Typ von Katze oft, also hat er ein starkes, langes Signal dafür.
Leise (Kurzer Pfeil): Der Computer ist unsicher. Das könnte ein seltsamer Winkel einer Katze sein oder ein Bild eines Hundes, das wie eine Katze aussieht. Das Signal ist schwach und kurz.

Was das Paper sagt:
Die Länge des Pfeils kodiert auf natürliche Weise, wie sicher sich das Modell ist.

Gemeinsame Daten: Wenn ein Bild wie die Trainingsdaten aussieht, wird der Pfeil lang (Hohe Konfidenz).
Seltsame Daten: Wenn ein Bild völlig neu oder merkwürdig ist (Out-of-Distribution), bleibt der Pfeil kurz (Niedrige Konfidenz).
Ungleichmäßige Daten: Wenn der Computer 1.000 Mal „Katzen“ sieht und nur 10 Mal „Hunde“, werden die „Katzen“-Pfeile riesig und die „Hund“-Pfeile bleiben winzig. Dies macht den Computer voreingenommen (biased) und instabil.

Die Lösungen: Wie man die stachelige Kugel repariert

Die Autoren testeten drei Wege, um zu verhindern, dass die Pfeile unkontrolliert wachsen, und um die Lerngeschwindigkeit zu korrigieren.

1. „Weight Decay“ (Die Leine)

Was es ist: Ein Standardwerkzeug im maschinellen Lernen, das die Gewichte sanft in Richtung Null zurückzieht.
Das Ergebnis des Papers: Es hilft dabei, die Pfeile daran zu hindern, zu lang zu werden, ist aber eine langsame, graduelle Korrektur. Wenn man zu stark zieht, vergisst der Computer alles (die Kugel kollabiert). Wenn man nicht genug zieht, werden die Pfeile zu lang und das Lernen verlangsamt sich.

2. „Cut-Initialization“ (Die Startlinie)

Was es ist: Bevor das Training überhaupt beginnt, nehmen die Autoren alle internen Zahlen des Computers und teilen sie durch eine Konstante (wie 3 oder 9).
Die Analogie: Stellen Sie sich vor, man startet ein Rennen, und alle tragen schwere Stiefel. Stattdessen lassen wir sie barfuß starten.
Das Ergebnis des Papers: Dies ist ein riesiger Erfolg. Indem man mit kurzen Pfeilen beginnt, lernt der Computer viel schneller. Es verhindert das „Schwerer-Rucksack“-Problem von der allerersten Sekunde an. Es funktioniert besonders gut für Modelle, die keine „negativen“ Beispiele verwenden (nicht-kontrastive Modelle wie SimSiam).

3. „GradScale“ (Der Lautstärkeregler)

Was es ist: Eine spezielle Schicht, die verändert, wie der Computer lernt. Sie betrachtet die Länge des Pfeils und passt den Lernschritt an.
Die Analogie: Wenn der Pfeil lang ist (schwerer Rucksack), macht der Computer einen winzigen Schritt. Wenn der Pfeil kurz ist, macht er einen großen Schritt.
Das Ergebnis des Papers: Dies hebt den „Schwerer-Rucksack“-Effekt vollständig auf. Es macht die Lerngeschwindigkeit konsistent, unabhängig davon, wie lang der Pfeil ist. Das Paper merkt jedoch an, dass dies schwierig abzustimmen sein kann und der Computer manchmal verwirrt wird, wenn die Daten zu „unordentlich“ sind.

Zusammenfassung der Ergebnisse

Das Problem: SSL-Modelle erzeugen natürlicherweise „stachelige“ Repräsentationen, bei denen häufige Daten lange Pfeile und seltene Daten kurze Pfeile haben. Dies verlangsamt das Lernen und erzeugt Bias.
Die gute Nachricht: Die Länge des Pfeils ist tatsächlich ein nützliches Signal! Sie verrät Ihnen, wie sicher sich das Modell ist.
Die Lösung: Man kann die Probleme mit Geschwindigkeit und Stabilität lösen, indem man:
1. Mit kleineren Zahlen beginnt (Cut-Initialization).
2. Eine spezielle Schicht verwendet, um Lernschritte basierend auf der Pfeillänge anzupassen (GradScale).
3. Sorgfältig abstimmt, wie stark man die Gewichte zurückzieht (Weight Decay).

Das Paper kommt zu dem Schluss, dass wir nicht nur die Richtung der Datenpunkte betrachten sollten; wir müssen auch ihre Länge kontrollieren, um Self-Supervised Learning schneller und zuverlässiger zu machen.

Technisches Resümee: Über die Bedeutung von Einbettungsnormen im selbstüberwachten Lernen

Problemstellung

Das selbstüberwachte Lernen (Self-Supervised Learning, SSL) hat sich zu einem dominierenden Paradigma für das Erlernen von Datenrepräsentationen ohne überwachte Signale entwickelt, insbesondere durch Methoden wie SimCLR, MoCo, SimSiam und BYOL. Diese Methoden basieren typischerweise auf der Optimierung der Kosinusähnlichkeit zwischen Einbettungsvektoren, wodurch die Lernmechanik effektiv auf eine Hypersphäre beschränkt wird. Infolgedessen konzentrierten sich theoretische Analysen weitgehend auf die Verteilung von Punkten auf dieser Hypersphäre und gingen oft davon aus, dass Einbettungsnormen (die Magnitude der Vektoren vor der Normalisierung) irrelevant oder lediglich ein Nebenprodukt der $L_2$ -Normalisierung seien.

Empirische Beobachtungen legen jedoch nahe, dass Einbettungsnormen aussagekräftige Informationen in Bezug auf die Konvergenz des Netzwerks und die Konfidenz enthalten. Vorherige Arbeiten stellten fest, dass Normen die Gradienten unter der Kosinusähnlichkeits-Loss-Funktion invers skalieren und dass sie mit der Sicherheit des Modells korrelieren; dennoch fehlte ein systematisches theoretisches und empirisches Verständnis dieser Beziehung. Dieses Paper adressiert den offensichtlichen Widerspruch: Während SSL auf die Richtung optimiert (Kosinusähnlichkeit), spielt die Magnitude der Einbettungsvektoren eine kritische, oft nachteilige Rolle in der Trainingsdynamik.

Methodik

Die Autoren verwenden eine Kombination aus theoretischer Analyse, kontrollierten Simulationen und umfangreichen empirischen Experimenten, um die Rolle der Einbettungsnormen in SSL zu untersuchen.

Theoretische Analyse:
- Das Paper leitet die Gradienten des attraktiven Terms ( $L^A_{ij}$ ) und des InfoNCE-Loss in Bezug auf einen Einbettungsvektor $z_i$ her.
- Es beweist, dass Gradienten für auf Kosinusähnlichkeit basierende Verluste orthogonal zum Einbettungsvektor selbst sind.
- Unter Verwendung dieser Eigenschaften zeigen die Autoren, dass die Anwendung von Gradientenabstiegs-Schritten zur Maximierung der Kosinusähnlichkeit zwangsläufig die Magnitude (Norm) der Einbettungsvektoren erhöht.
- Es werden theoretische Schranken etabliert, die zeigen, dass die Änderung der Kosinusähnlichkeit pro Gradientenschritt umgekehrt proportional zum Quadrat der Einbettungsnorm ( $\rho^2$ ) ist. Dies impliziert, dass mit wachsenden Normen die effektive Lernrate quadratisch abnimmt, was die Konvergenz verlangsamt.
Simulationen:
- Idealisierte Konvergenz: Die Autoren simulieren den Gradientenabstieg auf Paaren von Punkten auf einer Hypersphäre, um zu verifizieren, dass größere anfängliche Einbettungsnormen zu einer signifikant langsameren Konvergenz führen, was die in der Theorie vorhergesagte quadratische Verlangsamung bestätigt.
- Latente Klassendynamik: Unter Verwendung eines synthetischen Datensatzes, der aus latenten Klassen generiert wurde, simulieren die Autoren das SSL-Training, um zu beobachten, wie sich die Einbettungsnormen entwickeln. Sie stellen fest, dass Einbettungen in dichten Regionen des latenten Raums (häufig beobachtete Stichproben) größere Normen aufweisen als solche in spärlichen Regionen.
Empirische Experimente:
- Konfidenz-Korrelation: Experimente auf CIFAR-10, CIFAR-100 und ImageNet-100 zeigen, dass Einbettungsnormen mit der Konfidenz des Modells korrelieren. Stichproben mit höheren Normen werden eher als In-Distribution eingestuft, werden von einem kNN-Klassifikator korrekt klassifiziert und sind mit hoher Übereinstimmung menschlicher Labeler (niedrige Entropie) assoziiert. Umgekehrt weisen Out-of-Distribution (OOD)-Stichproben signifikant kleinere Normen auf.
- Interventionsstrategien: Das Paper evaluiert drei Mechanismen, um den „Einbettungs-Norm-Effekt“ (die Tendenz, dass Normen wachsen und das Training verlangsamen) zu mildern:
  - Weight Decay: Standardmäßige Regularisierung, die große Gewichte bestraft und so das Wachstum der Einbettungen indirekt kontrolliert.
  - Cut-Initialization: Eine neuartige Initialisierungsstrategie, bei der die Netzwerkgewichte zu Beginn des Trainings durch eine Konstante $c$ geteilt werden, um kleine anfängliche Einbettungsnormen sicherzustellen, die dann durch Weight Decay aufrechterhalten werden.
  - GradScale Layer: Eine benutzerdefinierte PyTorch Autograd-Funktion, die den Gradienten durch die Einbettungsnorm hoch $p$ skaliert. Das Setzen von $p=1$ hebt die inverse Skalierung der Norm auf den Gradienten auf und normalisiert effektiv die Lernrate pro Stichprobe.

Wichtigste Beiträge und Ergebnisse

1. Der Einbettungs-Norm-Effekt und Konvergenz

Das Paper stellt fest, dass die Optimierung der Kosinusähnlichkeit ein „Catch-22“ erzeugt: Kleine Einbettungsnormen sind für eine schnelle Konvergenz erforderlich (um verschwindende Gradienten zu vermeiden), doch der Optimierungsprozess selbst treibt diese Normen zum Wachsen.

Ergebnis: Theoretische Schranken und Simulationen bestätigen, dass Einbettungsnormen eine quadratische Verlangsamung der SSL-Konvergenz bewirken.
Ergebnis: Weight Decay kann dies mildern, aber übermäßiger Decay führt zu Repräsentationskollaps, während unzureichender Decay es zulässt, dass die Normen ungehindert wachsen, was das Training verlangsamt.

2. Einbettungsnormen als Konfidenzmetriken

Die Autoren zeigen, dass Einbettungsnormen die Konfidenz eines Modells in die gelernte Repräsentation natürlich kodieren.

Ergebnis: Hohe Einbettungsnormen entsprechen häufigen, prototypischen Stichproben und hoher Klassifizierungsgenauigkeit.
Ergebnis: Niedrige Einbettungsnormen entsprechen seltenen Stichproben, Out-of-Distribution-Daten und Stichproben mit hoher Diskrepanz zwischen menschlichen Labelern (hohe Entropie).
Ergebnis: Dieses Phänomen gilt sowohl für kontrastive (SimCLR) als auch für nicht-kontrastive (SimSiam) Methoden, was darauf hindeutet, dass es eine intrinsische Eigenschaft von auf Kosinusähnlichkeit basierendem SSL ist.

3. Minderungsstrategien und Leistungssteigerungen

Das Paper schlägt Methoden vor, um Einbettungsnormen zu verwalten, und zeigt signifikante Verbesserungen der Trainingseffizienz und der endgültigen Genauigkeit auf.

Cut-Initialization: Die Kombination von Cut-Initialization mit Standard-Weight-Decay beschleunigt die Konvergenz und verbessert die endgültige kNN-Genauigkeit. Beispielsweise verbesserte SimCLR mit Cut-Initialization ( $c=3$ ) die Genauigkeit auf CIFAR-100 um ca. 1–2 % gegenüber dem Standard, während SimSiam Gewinne von ca. 10 % auf ImageNet-100 erzielte.
GradScale: Diese Methode, die die normabhängige Gradientenskalierung explizit aufhebt, bietet weitere Verbesserungen, insbesondere in klassen-imbalancierten Settings, in denen die Varianz der Einbettungsnormen das Training destabilisieren kann.
Imbalancierte Daten: Der Einbettungs-Norm-Effekt ist in klassen-imbalancierten Datensätzen besonders nachteilig. Die vorgeschlagenen Interventionen (Cut-Initialization und GradScale) liefern zweistellige Genauigkeitsverbesserungen in diesen Szenarien (z. B. Verbesserung von SimSiam auf imbalanciertem CIFAR-100 von 21,6 % auf 31,5 %).
Robustheit: Diese Vorteile bleiben auch bei der Verwendung adaptiver Optimierer wie Adam bestehen.

Bedeutung und Behauptungen

Das Paper behauptet, eine Lücke in der Literatur zu schließen, indem es die erste gründliche Analyse darüber liefert, wie Einbettungsnormen mit SSL-Trainingsdynamiken interagieren. Die Autoren argumentieren, dass Einbettungsnormen nicht bloß ein Nebenprodukt der Normalisierung sind, sondern integraler Bestandteil zum Verständnis und zur Optimierung des Netzwerkverhaltens.

Theoretische Einsicht: Die Arbeit klärt den „Einbettungs-Norm-Effekt“ und zeigt, dass dieser eine unvermeidliche Folge der auf Kosinusähnlichkeit basierenden Optimierung ist, die die Konvergenz quadratisch verlangsamt.
Praktischer Nutzen: Die Ergebnisse legen nahe, dass das Management von Einbettungsnormen für effektives SSL-Training essenziell ist, insbesondere in nicht-kontrastiven Settings und bei imbalancierten Daten. Die vorgeschlagenen Mechanismen „Cut-Initialization“ und „GradScale“ bieten einfache, prinzipielle Wege, um die Trainingsstabilität und Leistung zu verbessern.
Interpretierbarkeit: Das Paper postuliert, dass Einbettungsnormen als natürliches, intrinsisches Maß für die Konfidenz des Modells und die Neuartigkeit von Stichproben dienen und somit eine neue Perspektive zur Analyse von SSL-Repräsentationen bieten, ohne zusätzliche überwachte Signale zu benötigen.

Die Autoren kommen zu dem Schluss, dass der Einbettungs-Norm-Effekt zwar Herausforderungen darstellt, aber auch Chancen bietet, wie etwa die Nutzung von Normen, um das Training auf ungesehenen Eingaben zu leiten oder um prototypische Beispiele zu identifizieren. Sie merken an, dass nicht-kontrastive Architekturen offenbar empfindlicher auf diese Effekte reagieren, was Fragen für zukünftige Arbeiten hinsichtlich des Architekturdesigns und des potenziellen Nutzens des Effekts in spezifischen Transfer-Learning-Kontexten aufwirft.