Technische Samenvatting: Over het belang van het inbedden van normen in zelfgesuperviseerd leren

Probleemstelling

Zelfgesuperviseerd leren (Self-Supervised Learning, SSL) is een dominante paradigma geworden voor het leren van datarepresentaties zonder gesuperviseerde signalen, met name via methoden zoals SimCLR, MoCo, SimSiam en BYOL. Deze methoden vertrouwen doorgaans op het optimaliseren van de cosinusgelijkenis tussen embedding-vectoren, wat de leerdynamiek effectief beperkt tot een hypersfeer. Bijgevolg heeft theoretische analyse zich grotendeels gericht op de distributie van punten op deze hypersfeer, waarbij vaak wordt aangenomen dat de normen van embeddings (de grootte van de vectoren vóór normalisatie) irrelevant zijn of slechts een bijproduct zijn van $L_2$-normalisatie.

Echter, empirische observaties suggereren dat embedding-normen betekenisvolle informatie bevatten met betrekking tot de convergentie en het vertrouwen van het netwerk. Eerdere werken merkten op dat normen de gradiënten onder cosinusgelijkenheidsverlies invers schalen en dat ze correleren met de zekerheid van het model, maar een systematisch theoretisch en empirisch begrip van deze relatie ontbrak. Dit artikel adresseert de schijnbare tegenstrijdigheid: hoewel SSL optimaliseert voor richting (cosinusgelijkenis), speelt de magnitude van de embedding-vectoren een cruciale, vaak nadelige rol in de trainingsdynamiek.

Methodologie

De auteurs maken gebruik van een combinatie van theoretische analyse, gecontroleerde simulaties en uitgebreide empirische experimenten om de rol van embedding-normen in SSL te onderzoeken.

1. Theoretische Analyse:

   • Het artikel leidt de gradiënten van de aantrekkende term ($L^A_{ij}$) en de InfoNCE-loss af met betrekking tot een embedding-vector $z_i$.
   • Het bewijst dat gradiënten voor op cosinusgelijkenis gebaseerde losses orthogonaal zijn aan de embedding-vector zelf.
   • Met behulp van deze eigenschappen demonstreren de auteurs dat het toepassen van gradiëntafdaling-stappen om cosinusgelijkenis te maximaliseren onvermijdelijk de magnitude (norm) van de embedding-vectoren vergroot.
   • Er worden theoretische grenzen vastgesteld die aantonen dat de verandering in cosinusgelijkenis per gradiëntstap omgekeerd evenredig is aan het kwadraat van de embedding-norm ($\rho^2$). Dit impliceert dat naarmate de normen groeien, de effectieve leersnelheid kwadratisch afneemt, wat de convergentie vertraagt.

2. Simulaties:

   • Ideale Convergentie: De auteurs simuleren gradiëntafdaling op paren punten op een hypersfeer om te verifiëren dat grotere initiële embedding-normen leiden tot een aanzienlijk tragere convergentie, waarmee de theoretisch voorspelde kwadratische vertraging wordt bevestigd.
   • Latente Klasse Dynamiek: Met behulp van een synthetische dataset gegenereerd uit latente klassen, simuleren de auteurs SSL-training om te observeren hoe embedding-normen evolueren. Ze ontdekken dat embeddings in dichte regio's van de latente ruimte (veelvoorkomende monsters) grotere normen ontwikkelen dan die in ijle regio's.

3. Empirische Experimenten:

   • Confidentie Correlatie: Experimenten op CIFAR-10, CIFAR-100 en ImageNet-100 demonstreren dat embedding-normen correleren met de mate van vertrouwen van het model. Monsters met hogere normen hebben een grotere kans om 'in-distribution' te zijn, correct geclassificeerd te worden door een kNN-classifier en geassocieerd te zijn met een hoge overeenstemming met menselijke labelaars (lage entropie). Omgekeerd vertonen 'out-of-distribution' (OOD) monsters aanzienlijk kleinere normen.
   • Interventiestrategieën: Het artikel evalueert drie mechanismen om het "embedding-norm effect" (de neiging voor normen om te groeien en training te vertragen) te mitigeren:
     • Weight Decay: Standaard regularisatie die grote gewichten bestraft, wat indirect de groei van embeddings controleert.
     • Cut-Initialization: Een nieuwe initialisatiestrategie waarbij de netwerkgewichten aan het begin van de training door een constante $c$ worden gedeeld om kleine initiële embedding-normen te garanderen, die vervolgens in stand worden gehouden door weight decay.
     • GradScale Layer: Een aangepaste PyTorch autograd-functie die de gradiënt herschaalt door de embedding-norm tot de macht $p$. Het instellen van $p=1$ heft het inverse schalingseffect van de norm op de gradiënt op, wat effectief de leersnelheid per monster normaliseert.

Belangrijkste Bijdragen en Resultaten

1. Het Embedding-Norm Effect en Convergentie

Het artikel stelt vast dat het optimaliseren van cosinusgelijkenis een "catch-22" creëert: kleine embedding-normen zijn vereist voor snelle convergentie (om vanishing gradients te voorkomen), maar het optimalisatieproces zelf drijft deze normen aan om te groeien.

• Resultaat: Theoretische grenzen en simulaties bevestigen dat embedding-normen een kwadratische vertraging opleggen aan de SSL-convergentie.
• Resultaat: Weight decay kan dit mitigeren, maar excessieve decay leidt tot representatie-collapse, terwijl onvoldoende decay toelaat dat normen ongecontroleerd groeien, wat de training vertraagt.

2. Embedding Normen als Confidentie Metrics

De auteurs demonstreren dat embedding-normen op natuurlijke wijze de mate van vertrouwen van een model in de geleerde representatie coderen.

• Resultaat: Hoge embedding-normen komen overeen met frequente, prototypische monsters en een hoge classificatienauwkeurigheid.
• Resultaat: Lage embedding-normen komen overeen met zeldzame monsters, out-of-distribution data en monsters met een hoge mate van menselijke onenigheid (hoge entropie).
• Resultaat: Dit fenomeen houdt stand bij zowel contrastieve (SimCLR) als niet-contrastieve (SimSiam) methoden, wat suggereert dat het een intrinsieke eigenschap is van op cosinusgelijkenis gebaseerde SSL.

3. Mitigatiestrategieën en Prestatiewinst

Het artikel stelt methoden voor en valideert deze om embedding-normen te beheren, waarbij significante verbeteringen in trainingsefficiëntie en uiteindelijke nauwkeurigheid worden getoond.

• Cut-Initialization: Het combineren van cut-initialization met standaard weight decay versnelt de convergentie en verbetert de uiteindelijke kNN-nauwkeurigheid. Bijvoorbeeld, op CIFAR-100 verbeterde SimCLR met cut-initialization ($c=3$) de nauwkeurigheid met ~1-2% ten opzichte van de standaard, terwijl SimSiam winsten van ~10% zag op ImageNet-100.
• GradScale: Deze methode, die expliciet de norm-afhankelijke gradiëntschaling opheft, biedt verdere verbeteringen, vooral in scenario's met klasse-imbalans waar variatie in embedding-normen de training kan destabiliseren.
• Imbalans in Data: Het embedding-norm effect is bijzonder schadelijk in datasets met een klasse-imbalans. De voorgestelde interventies (Cut-Initialization en GradScale) leveren dubbelcijferige nauwkeurigheidsverbeteringen op in deze scenario's (bijv. het verbeteren van SimSiam op imbalanced CIFAR-100 van 21,6% naar 31,5%).
• Robuustheid: Deze voordelen blijven bestaan, zelfs bij het gebruik van adaptieve optimizers zoals Adam.

Betekenis en Claims

Het artikel claimt een gat in de literatuur te hebben gedicht door de eerste grondige analyse te bieden van hoe embedding-normen interageren met SSL-trainingsdynamiek. De auteurs stellen dat embedding-normen niet louter een bijproduct zijn van normalisatie, maar integraal zijn voor het begrijpen en optimaliseren van netwerkgedrag.

• Theoretisch Inzicht: Het werk verheldert het "embedding-norm effect" en laat zien dat dit een onvermijdelijk gevolg is van op cosinusgelijkenis gebaseerde optimalisatie dat de convergentie kwadratisch vertraagt.
• Praktisch Nut: De bevindingen suggereren dat het beheren van embedding-normen essentieel is voor effectieve SSL-training, vooral in niet-contrastieve settings en scenario's met imbalans in de data. De voorgestelde "Cut-Initialization" en "GradScale" mechanismen bieden eenvoudige, principiële manieren om de trainingsstabiliteit en prestaties te verbeteren.
• Interpreteerbaarheid: Het artikel stelt dat embedding-normen dienen als een natuurlijke, intrinsieke maatstaf voor de mate van vertrouwen van een model en de nieuwheid van een monster, wat een nieuw perspectief biedt voor de analyse van SSL-representaties zonder dat daarvoor extra gesuperviseerde signalen nodig zijn.

De auteurs concluderen dat hoewel het embedding-norm effect uitdagingen met zich meebrengt, het ook kansen biedt, zoals het gebruik van normen om training op ongeziene inputs te sturen of om prototypische voorbeelden te identificeren. Ze merken op dat niet-contrastieve architecturen gevoeliger lijken voor deze effecten, wat vragen oproept voor toekomstig werk met betrekking tot architectonisch ontwerp en de potentiële voordelen van het effect in specifieke transfer-learning contexten.