Technische Samenvatting: De Geometrie van Projectiekoppen: Conditionering, Invariantie en Ineenstorting

Probleemstelling

Zelftoezichthoudend leren (SSL) is sterk afhankelijk van een specifiek architectonisch component: de niet-lineaire projectiekop. Ondanks dat deze kop noodzakelijk is voor training, wordt deze doorgaans verwijderd ("het guillotine-effect") voordat downstream fijnafstemming plaatsvindt, wat een theoretisch raadsel opwerpt: als de kop essentieel is voor het minimaliseren van de pretraining-verliesfunctie, waarom is de representatie die deze produceert dan suboptimaal voor inferentie? Bovendien beschrijven bestaande verklaringen (zoals informatie-flessenhalsen of het voorkomen van dimensionale ineenstorting) wel wat er gebeurt, maar falen ze in het uitleggen van de geometrische mechanismen van hoe de kop het optimalisatielandschap verandert om tegelijkertijd informatie te filteren, convergentie te versnellen en ontsnappen aan ingezakte zadelpunten.

Methodologie

De auteurs ontwikkelen een geometrische theorie die de projectiekop modelleert als een trainbare Riemanniaanse metriek op de variëteit van de backbone-representatie. Het kerntheoretische kader omvat:

1. Effectieve Hessiaan-decompositie: Het optimalisatielandschap wordt geanalyseerd via de effectieve Hessiaan ($H_{eff}$) van de SSL-doelfunctie met betrekking tot de backbone-representatie. Deze operator wordt ontbonden in een terugtrekmetriek ($G(z) = J_h^\top \nabla^2_h L J_h$) en een interactieterm gedreven door de intrinsieke kromming van de kop ($\sum [\nabla_h L]_i \nabla^2_z h_i$).
2. Geometrische Conditionering: Het artikel onderzoekt hoe lineaire en niet-lineaire koppen het verlieslandschap conditioneren. Lineaire koppen worden geanalyseerd op hun vermogen tot impliciete subruimte-witmaking, terwijl niet-lineaire koppen worden bestudeerd op hun capaciteit om lokale metrieken aan te passen langs gekromde trajecten.
3. Stabiliteitsanalyse: De stabiliteit van dimensionale ineenstorting (waarbij representaties afbeelden op een constant vector) wordt onderzocht door de eigenwaarden van $H_{eff}$ bij ingezakte evenwichten te analyseren. De auteurs onderscheiden tussen continue-tijd gradiëntstroom en discrete-tijd dynamica.
4. Metrische Singulariteit en Invariantie: De relatie tussen invariantiedoelen en metrische degeneratie wordt geformaliseerd. De auteurs bewijzen dat het afdwingen van invariantie ten opzichte van augmentatiebanen een singuliere terugtrekmetriek vereist, wat effectief informatie vernietigt langs augmentatie-raakruimten.
5. Empirische Validatie: De theorie wordt gevalideerd via Hessiaan-tracking (monitoring van conditienummers en negatieve eigenwaarden), analyse van orbitcompressie (meten van variatiereductie in augmentatievariëteiten) en ablatiestudies op activatiefuncties (ReLU versus gladde activaties zoals Swish/GELU) en kopdiepte over verschillende architecturen (ResNet, ViT) en datasets (CIFAR-10/100).

Belangrijkste Bijdragen

1. Lineaire Koppen als Impliciete Subruimte-Witmaking

De auteurs bewijzen dat lineaire projectiekoppen impliciete subruimte-witmaking uitvoeren. Door een gewichtsmatrix $W$ te leren, induceert de kop een Mahalanobis-metriek die de relevante subruimte van de representatieruimte isometrisch afbeeldt op de embeddingruimte. Deze conditionering is echter globaal en ontoereikend voor gekromde variëteiten waar de lokale kromming varieert.

2. Niet-lineaire Koppen als Lokale Metriek-Adapters

Niet-lineaire koppen (MLP's) blijken de capaciteit te bezitten om de metriek lokaal aan te passen langs gekromde optimalisatietrajecten. Het artikel bewijst dat terwijl lineaire koppen een gekromd verliesvariëteit niet globaal kunnen afvlakken (Propositie 3.3), voldoende diepe niet-lineaire koppen een ideale metriek kunnen benaderen die de effectieve Hessiaan $\epsilon$-isotroop maakt langs het traject (Stelling 3.2).

3. Kromming-Geïnduceerde Instabiliteit van Ineenstorting

Een centrale bijdrage is de geometrische oplossing voor waarom niet-contrastieve methoden (zoals BYOL, SimSiam) dimensionale ineenstorting vermijden zonder expliciete negatieve samples.

• Stelling 4.1: De auteurs bewijzen dat voor gladde niet-lineaire koppen de interactieterm in de effectieve Hessiaan negatieve eigenwaarden injecteert bij ingezakte evenwichten. Dit transformeert de ingezakte toestand van een stabiel minimum naar een instabiel zadelpunt, wat een natuurlijk ontsnappingsmechanisme biedt voor gradiëntafname.
• De ReLU-Gap: Gedeeltelijk-lineaire activaties (zoals ReLU) missen intrinsieke tweede-orde kromming ($\nabla^2 \text{ReLU} = 0$). Bijgevolg kunnen ze onder continue-tijdstroom geen negatieve kromming genereren. Het artikel stelt dat ReLU-koppen ineenstorting alleen vermijden via discrete-tijdruis (eindige stapgroottes) en BatchNorm, terwijl gladde activaties (Swish, GELU) een native geometrische garantie van instabiliteit bieden.

4. Metrische Degeneratie en de Informatie-Invariantie Trade-off

Het artikel formaliseert de strategie "trainen met, implementeren zonder" door middel van metrische singulariteit.

• Propositie 5.2: Om aan invariantiedoelen te voldoen, moet de projectiekop een singuliere terugtrekmetriek induceren waarbij de augmentatie-raakruimte ligt in de nult ruimte ($v^\top G(z) v = 0$).
• Stelling 5.3: Deze singulariteit veroorzaakt een rangtekort in de Fisher-informatiematrix ten opzichte van de backbone. De kop fungeert als een geometrische laagdoorlaatfilter, die informatie vernietigt langs augmentatierichtingen.
• Conclusie: Het verwijderen van de kop is een theoretische noodzaak. De backbone behoudt de volledige dimensionaliteit van de data-variëteit, terwijl de kop de metrische degeneratie absorbeert die nodig is om invariantie af te dwingen. Het gebruik van de kop voor inferentie zou de vernietigde informatie (of het gebrek daaraan) behouden, terwijl de ruwe backbone de lineair scheidbare semantics behoudt.

Resultaten

• Hessiaan-tracking: Empirische tracking bevestigt dat gladde koppen actief negatieve eigenwaarden injecteren in de effectieve Hessiaan, wat een "faseovergang" triggert die ingezakte toestanden ontvlucht. In tegenstelling hiermee vertonen ReLU- en lineaire koppen geen dergelijke negatieve kromming en blijven ze gevangen in ingezakte bassins onder continue-achtige stroom, tenzij ze worden bijgestaan door discrete dynamica.
• Orbitcompressie: Experimenten tonen aan dat de projectiekop augmentatiebanen comprimeert met factoren van ~20x (ResNet) tot ~4000x (ViT), terwijl inter-class semantische scheiding behouden blijft. Dit bevestigt dat de kop fungeert als een selectieve geometrische compressor.
• Fundamentele Modellen: Analyse van vooringestelde modellen (DINO, VICReg, Barlow Twins) onthult een geometrisch dualisme. DINO-koppen fungeren als geometrische compressoren (banen ineenstorten om invariantie af te dwingen), terwijl redundantiereductie-koppen (VICReg) fungeren als dimensionale expanders (variatie behouden om decorrelatiebeperkingen te voldoen). In beide gevallen ontkoppelt de kop de backbone van de rigide beperkingen van de doelstelling.
• Diepte-Ablatie: Diepere koppen (3-laags MLP's) tonen een superieure capaciteit om de variëteit te vervormen en metrische singulariteiten te isoleren, wat resulteert in betere downstream-backbone-accuraatheid in vergelijking met ondiepe of lineaire koppen, die de backbone onvoldoende beschermen tegen metrische degeneratie.

Betekenis

Het artikel claimt een mechanistische geometrische verklaring te bieden voor de empirische noodzaak van projectiekoppen in SSL. Het lost twee centrale raadsels op:

1. Ineenstorting Vermijden: Het demonstreert dat de intrinsieke kromming van gladde niet-lineaire koppen voldoende is om triviale ingezakte oplossingen te destabiliseren, en biedt een geometrisch alternatief voor verklaringen die uitsluitend vertrouwen op BatchNorm of discrete-tijdruis.
2. Het Guillotine-effect: Het bewijst dat de kop moet worden verwijderd omdat deze een metrische singulariteit induceert die informatie vernietigt die nodig is voor downstream taken. De kop dient als een "universele geometrische buffer", die de destructieve beperkingen van de pretraining-doelstelling absorbeert om de semantische backbone te beschermen.

Het werk suggereert dat het vervangen van ReLU door gladde activaties niet louter een heuristiek is, maar een topologische vereiste voor robuuste optimalisatie in SSL, en dat de standaard 2-3 laags MLP-architectuur empirisch gevalideerd is als de minimale capaciteit die nodig is om aan deze geometrische voorwaarden te voldoen.