Radial Basis Function Networks as Projection Heads in Self-Supervised Learning

Technische Samenvatting: Radial Basis Function Networks als Projectiekoppen in Self-Supervised Learning

Probleemstelling
In standaard Self-Supervised Learning (SSL) pipelines wordt een backbone-encoder (bijv. ResNet, ViT) gekoppeld aan een ondiepe Multilayer Perceptron (MLP) projectiekop. Hoewel de MLP-kop cruciaal is voor trainingsstabiliteit en de kwaliteit van de representatie, wordt deze conventioneel weggegooid na de pre-training. De kwaliteit van de backbone wordt vervolgens beoordeeld via een kostbare linear probing-procedure op gelabelde data. De auteurs stellen dat het weggooien van de getrainde projector computationeel en informatie-theoretisch verspillend is. Bovendien creëert de afhankelijkheid van gelabelde data voor evaluatie een bottleneck, omdat dit de beoordeling van de kwaliteit van de representaties in werkelijk ongesuperviseerde of label-arme scenario's verhindert.

Methodologie
Het artikel stelt voor om de standaard MLP-projectiekop te vervangen door een Radial Basis Function Network (RBFN) kop. Deze architecturale verandering dient twee doelen: het handhaven van concurrerende prestaties in representatie-leren en het mogelijk maken van kwaliteitsbeoordeling zonder labels.

1. RBFN Projectiekop:

   • De auteurs implementeren een drop-in vervanging voor MLP-koppen die compatibel is met het LightlySSL-framework.
   • De architectuur bestaat uit lineaire lagen gevolgd door RBF-lagen. De niet-lineariteit wordt geleverd door radial basis functies (specifiek Gaussisch, inverse multiquadric, multiquadric en thin-plate spline) in plaats van ReLU.
   • De RBF-laag leert een set kernelcentra ($c_i$) en vormparameters ($\varepsilon_i$). De output is een lineaire combinatie van deze radial basis functies.
   • De auteurs testen dit over vijf canonieke SSL-architecturen: MoCo, SimCLR, BYOL, SwAV en SimSiam.

2. Scale-Normalized Separation (SNS) Metriek:

   • Om de kwaliteit van de representaties zonder labels te evalueren, introduceren de auteurs SNS, een metriek die uitsluitend is afgeleid van de geleerde RBFN-parameters ($c_i$ en $\varepsilon_i$).
   • SNS kwantificeert de "scheiding" van kernelcentra ten opzichte van hun schalen. Het berekent een Gaussische interactie-energie tussen paren centra, genormaliseerd door de dimensionaliteit van de ruimte en de som van hun vormparameters.
   • De metriek wordt gemaximaliseerd wanneer de afstanden tussen de centra goed overeenkomen met de kernel-schalen, wat theoretisch wijst op een goed gestructureerde clustering van features in de projectieruimte.

3. Experimentele Opzet:

   • Experimenten werden uitgevoerd op vier datasets: ImageNet-100 en drie subsets van Google's Open Images V7 (10, 30 en 50 klassen).
   • Er werd een grid search uitgevoerd over RBFN-hyperparameters, inclus\n bij de het aantal kernels, de diepte van de projector, normalisatie en het type radial basis functie.
   • Prestaties werden gemeten tegenover standaard MLP-koppen met behulp van linear probing (Logistic Regression) metrieken (Accuracy, Precision, Recall, F1).
   • Correlatieanalyse (Pearson en Spearman) werd uitgevoerd tussen de SNS-scores en de standaard linear probing metrieken.

Belangrijkste Bijdragen

1. RBFN als Drop-in Vervanging: De auteurs demonstreren dat RBFN-projectiekoppen competitief zijn met standaard MLP-projectoren over vijf belangrijke SSL-architecturen, waarbij ze dienen als een directe vervanging zonder significante prestatievermindering.
2. SNS Metriek: Ze introduceren een nieuwe, label-vrije kwaliteitsmetriek (SNS) die sterk correleert met downstream classificatieprestaties. Dit maakt de beoordeling van de kwaliteit van de backbone-representaties mogelijk met enkel de parameters die tijdens de self-supervised training zijn geleerd.
3. Hyperparameter Richtlijnen: Door middel van SHAP-analyse biedt het artikel empirische aanbevelingen voor het construeren van RBFN-koppen:
   • Gebruik Gaussische radial basis functies voor activatie.
   • Construeer koppen met drie lagen (linear-RBF-linear-RBF-linear) in plaats van de standaard twee.
   • Stel het aantal kernels in om overeen te komen met de output-dimensie (bijv. 128).
   • Vermijd normalisatie van de RBFN-architectuur in de meeste gevallen.
4. Nieuwe Dataset Resource: De auteurs publiceren een PyTorch-compatibele implementatie van Open Images V7 subsets (10, 30, 50, 70, 100 klassen) met disjuncte klassen van ImageNet-1K om reproduceerbaar onderzoek te faciliteren.

Resultaten

• Prestatie-gelijkwaardigheid: RBFN-koppen behaalden prestaties die vergelijkbaar zijn met standaard MLP-koppen. Op ImageNet-100 presteerden RBFN-koppen licht beter dan MLPs op SimCLR (+4% accuratesse) en kwamen ze overeen met MLPs op andere datasets. Op Open Images subsets vertoonden RBFNs een kleine achterstand (1–3%) op grotere subsets, maar presteerden ze 2–4% beter dan MLPs wanneer ze werden gebruikt met BYOL.
• Metriek Correlatie: De SNS-metriek vertoonde sterke tot zeer sterke positieve correlaties (Pearson $r$ variërend van 0.79 tot 0.93) met gevestigde logistic regression metrieken (Accuracy, F1, etc.). De p-waarden voor deze correlaties waren extreem laag, wat de hypothese ondersteunt dat SNS een betrouwbare proxy is voor de kwaliteit van de representatie.
• Impact van Hyperparameters: De keuze van de RBF-functie (Gaussisch) en de projector-diepte (3 lagen) hadden de meest significante impact op de prestaties. Het aantal kernels en normalisatie vertoonden verwaarloosbare effecten binnen de geteste bereiken.

Betekenis en Claims
Het artikel claimt dat het vervangen van MLP-projectoren door RBFNs een dubbel voordeel biedt: het behoudt de hoge prestaties die vereist zijn voor SSL, terwijl het de mogelijkheid ontsluit om de kwaliteit van de representaties te evalueren zonder gelabelde data. Door de geleerde centra en vormen van de RBFN te interpreteren, kunnen onderzoekers de kwaliteit van de backbone-representaties beoordelen via de SNS-metriek. De auteurs positioneren dit als een beweging weg van het "computationeel verspillend" weggooien van projectoren naar een meer interpreteerbare en efficiënte evaluatie-pipeline. Ze concluderen dat een getrainde RBFN-projector kan fungeren als een betrouwbare proxy voor de kwaliteit van de backbone, wat potentieel de afhankelijkheid van gelabelde testsets voor modelselectie in self-supervised learning kan verminderen.