🤖 machine learning

Radial Basis Function Networks as Projection Heads in Self-Supervised Learning

Dieses Paper schlägt vor, das standardmäßige MLP-Projektionskopf-Modell im selbstüberwachten Lernen durch ein Radial Basis Function Network (RBFN) zu ersetzen, um eine label-freie Bewertung der Repräsentationsqualität mittels einer neuartigen Scale-Normalized Separation (SNS)-Metrik zu ermöglichen, während gleichzeitig eine wettbewerbsfähige Leistung über mehrere Architekturen und Datensätze hinweg beibehalten wird.

Ursprüngliche Autoren: Andreas Schliebitz, Heiko Tapken, Martin Atzmueller

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Andreas Schliebitz, Heiko Tapken, Martin Atzmueller

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Der „nutzlose“ Kopf

Stellen Sie sich vor, Sie trainieren einen Roboter darauf, verschiedene Tierarten zu erkennen. Um dies zu tun, geben Sie dem Roboter ein „Gehirn“ (genannt Backbone), das Bilder betrachtet und die wichtigen Merkmale herausfiltert.

In der aktuellen selbstüberwachten Lernmethode (Self-Supervised Learning, bei der der Roboter lernt, ohne dass ein Lehrer ihm die Antworten verrät) fügen Forscher einen kleinen „Helfer-Hut“ oben auf das Gehirn. Dieser Hut wird Projection Head genannt. Seine Aufgabe ist es, dem Gehirn während der Trainingsphase dabei zu helfen, besser zu lernen.

Das Problem: Sobald der Roboter das Lernen abgeschlossen hat, werfen Wissenschaftler diesen „Helfer-Hut“ normalerweise weg. Danach müssen sie viel Zeit und Geld investieren, um dem Gehirn eine neue, einfache Methode beizubringen, die Tiere zu sortieren, nur um zu sehen, wie gut das Gehirn tatsächlich arbeitet. Die Autoren dieser Arbeit sagen: „Moment mal! Den Hut wegzuwerfen ist Verschwendung. Warum behalten wir ihn nicht und nutzen ihn, um zu prüfen, ob das Gehirn gute Arbeit leistet?“

Die Lösung: Ein „schlauer Hut“ statt eines „dummen Huts“

Normalerweise ist dieser Helfer-Hut eine standardmäßige, etwas komplexere Maschine (ein MLP), die schwer zu verstehen ist. Man kann nicht einfach sagen, warum sie eine Entscheidung getroffen hat.

Die Autoren schlagen vor, diesen Standard-Hut durch ein Radial Basis Function Network (RBFN) zu ersetzen.

Die Analogie: Betrachten Sie den Standard-Hut als eine Blackbox, die Ihnen einfach nur eine Zahl liefert. Der neue RBFN-Hut ist wie eine Landkarte mit spezifischen Orientierungspunkten.
Wie es funktioniert: Anstatt nur Zahlen zu verarbeiten, lernt das RBFN spezifische „Zentren“ (Orientierungspunkte) und „Formen“ (wie weit der Einfluss eines jeden Orientierungspunkts reicht).
Der Vorteil: Da diese Orientierungspunkte und Formen so klar und interpretierbar sind, können Sie den Hut selbst betrachten und sagen: „Ah, die Orientierungspunkte sind gut verteilt, also muss das Gehirn die Daten hervorragend organisiert haben.“ Sie müssen den Hut nicht wegwerfen oder einen neuen Lehrer engagieren, um die Arbeit zu überprüfen.

Das neue Werkzeug: „SNS“ (Die Qualitätsbewertung)

Um ihre Idee zu beweisen, haben die Autoren eine neue Methode zur Messung der Qualität erfunden, die Scale-Normalized Separation (SNS) genannt wird.

Die Metapher: Stellen Sie sich vor, Sie organisieren eine Party, bei der die Gäste (Datenpunkte) an Tischen (Clustern) sitzen müssen.
- Wenn alle in eine einzige Ecke gedrängt sind, ist die Party ein Chaos (schlechte Qualität).
- Wenn alle perfekt verteilt sind, mit genau dem richtigen Abstand zwischen den Tischen, ist die Party großartig (gute Qualität).
Wie SNS funktioniert: Es betrachtet die „Orientierungspunkte“ (Zentren), die das RBFN-Hut gelernt hat. Es prüft, ob der Abstand zwischen diesen Orientierungspunkten mit der „Größe“ der Tische (den Formparametern) übereinstimmt.
Das Ergebnis: Wenn die Orientierungspunkte perfekt verteilt sind, ist der SNS-Wert hoch. Die Autoren fanden heraus, dass ein hoher SNS-Wert fast immer bedeutet, dass das Gehirn des Roboters tatsächlich sehr gut darin ist, Dinge zu erkennen, selbst ohne dass er markierte Antworten sieht.

Was sie getestet haben

Die Forscher testeten diese Idee an fünf verschiedenen populären Robot-Learning-Systemen (wie MoCo, SimCLR und BYOL) und vier verschiedenen Datensätzen von Bildern (einschließlich eines neuen Datensatzes, den sie basierend auf Googles Open Images erstellt haben).

Sie stellten zwei Hauptfragen:

Funktioniert der neue „schlaue Hut“ genauso gut wie der alte „dumme Hut“?
- Antwort: Ja. Die Roboter lernten mit dem RBFN-Hut genauso gut. In einigen Fällen war es sogar leicht besser. Es ist ein perfekter „Drop-in“-Ersatz.
Können wir dem SNS-Wert vertrauen, um zu sagen, ob der Roboter schlau ist?
- Antwort: Ja. Sie verglichen den SNS-Wert mit der traditionellen, teuren Methode (das Training eines neuen Klassifizierers auf markierten Daten). Sie fanden eine sehr starke Verbindung: Wenn der SNS-Wert hoch war, war auch die tatsächliche Leistung des Roboters hoch.

Die Empfehlungen

Basierend auf ihren Experimenten schlagen die Autoren vor:

Verwenden Sie 3 Schichten: Bauen Sie den RBFN-Hut mit drei Schichten von „Orientierungspunkten“ statt der üblichen zwei. Dies scheint am besten zu funktionieren.
Verwenden Sie Gaußsche Formen: Verwenden Sie eine spezifische mathematische Form (Gauß), da diese besser funktionierte als andere Formen.
Machen Sie sich keine Sorgen um die Normalisierung: Sie müssen keine zusätzliche Mathematik zur „Normalisierung“ des Hutes anwenden; er funktioniert auch so gut.

Zusammenfassung

Die Arbeit argumenttiert, dass wir Ressourcen verschwenden, indem wir den „Helfer-Hut“ nach dem Training wegwerfen. Indem wir den Standard-Hut durch ein Radial Basis Function Network ersetzen, erhalten wir ein Werkzeug, das zwar genauso gut dabei hilft, den Roboter zu trainieren, aber gleichzeitig als eingebautes Qualitätsbericht-System fungiert. Wir können die interne Karte des Huts (die Zentren und Formen) betrachten, um sofort zu wissen, ob der Roboter gut lernt, was uns Zeit und Geld spart.

Technische Zusammenfassung: Radial Basis Function Networks als Projektionsköpfe im Self-Supervised Learning

Problemstellung
In Standard-Pipelines des Self-Supervised Learning (SSL) wird ein Backbone-Encoder (z. B. ResNet, ViT) mit einem flachen Multilayer-Perceptron (MLP)-Projektionskopf kombiniert. Während der MLP-Kopf entscheidend für die Trainingsstabilität und die Qualität der Repräsentation ist, wird er nach dem Pre-Training konventionell verworfen. Der Backbone wird anschließend mittels eines kostspieligen Linear Probing-Verfahrens auf gelabelten Daten bewertet. Die Autoren argumentieren, dass das Verwerfen des trainierten Projektors sowohl computergestützt als auch informationstheoretisch verschwenderisch ist. Darüber hinaus schafft die Abhängigkeit von gelabelten Daten für die Evaluierung einen Engpass, da sie die Bewertung der Repräsentationsqualität in wirklich unüberwachten oder label-armen Szenarien verhindert.

Methodik
Das Paper schlägt vor, den standardmäßigen MLP-Projektionskopf durch ein Radial Basis Function Network (RBFN)-Head zu ersetzen. Diese architektonische Änderung dient zwei Zwecken: die Aufrechterhaltung einer wettbewerbsfähigen Leistung beim Lernen von Repräsentationen sowie die Ermöglichung einer label-freien Qualitätsbewertung.

RBFN-Projektionskopf:
- Die Autoren implementieren einen Drop-in-Ersatz für MLP-Köpfe, der mit dem LightlySSL-Framework kompatibel ist.
- Die Architektur besteht aus linearen Schichten gefolgt von RBF-Schichten. Die Nichtlinearität wird durch radiale Basisfunktionen (speziell Gauß, invers-multiquadratisch, multiquadratisch und dünnplattig/thin-plate spline) anstelle von ReLU bereitgestellt.
- Die RBF-Schicht lernt einen Satz von Kernel-Zentren ( $c_i$ ) und Formparametern ( $\varepsilon_i$ ). Der Output ist eine lineare Kombination dieser radialen Basisfunktionen.
- Die Autoren testen dies über fünf kanonische SSL-Architekturen hinweg: MoCo, SimCLR, BYOL, SwAV und SimSiam.
Scale-Normalized Separation (SNS) Metrik:
- Zur Evaluierung der Repräsentationsqualität ohne Labels führen die Autoren SNS ein, eine Metrik, die ausschließlich aus den gelernten RBFN-Parametern ( $c_i$ und $\varepsilon_i$ ) abgeleitet wird.
- SNS quantifiziert die „Separation“ der Kernel-Zentren im Verhältnis zu ihren Skalen. Es berechnet eine Gaußsche Interaktionsenergie zwischen Paaren von Zentren, normiert durch die Dimensionalität des Raums und die Summe ihrer Formparameter.
- Die Metrik wird maximiert, wenn die Abstände zwischen den Zentren gut auf die Kernel-Skalen abgestimmt sind, was theoretisch auf ein gut strukturiertes Clustering von Features im Projektionsraum hindeutet.
Experimenteller Aufbau:
- Die Experimente wurden auf vier Datensätzen durchgeführt: ImageNet-100 und drei Teilmengen von Google's Open Images V7 (10, 30, 10, 50 Klassen).
- Eine Grid-Suche wurde über RBFN-Hyperparameter durchgeführt, einschließlich der Anzahl der Kernel, der Tiefe des Projektors, der Normalisierung und des Typs der radialen Basisfunktion.
- Die Performance wurde gegen Standard-MLP-Köpfe mittels Linear Probing (Logistische Regression) Metriken (Accuracy, Precision, Recall, F1) verglichen.
- Eine Korrelationsanalyse (Pearson und Spearman) wurde zwischen den SNS-Scores und den Standard-Linear-Probing-Metriken durchgeführt.

Wesentliche Beiträge

RBFN als Drop-in-Ersatz: Die Autoren zeigen, dass RBFN-Projektionsköpfe mit Standard-MLP-Projektoren über fünf große SSL-Architekturen hinweg konkurrenzfähig sind und als direkter Ersatz ohne signifikante Leistungseinbußen dienen.
SNS-Metrik: Sie führen eine neuartige, label-freie Qualitätsmetrik (SNS) ein, die stark mit der Downstream-Klassifizierungsleistung korreliert. Dies ermöglicht die Bewertung der Backbone-Repräsentationsqualität allein durch die während des selbstüberwachten Trainings gelernten Parameter.
Hyperparameter-Leitlinien: Durch eine SHAP-Analyse liefert das Paper empirische Empfehlungen für die Konstruktion von RBFN-Köpfen:
- Verwenden Sie Gauß-Funktionen als Aktivierung.
- Konstruieren Sie Köpfe mit drei Schichten (linear-RBF-linear-RBF-linear) anstelle der standardmäßigen zwei.
- Setzen Sie die Anzahl der Kernel gleich der Ausgabendimensionalität (z. B. 128).
- Vermeiden Sie die Normalisierung der RBFN-Architektur in den meisten Fällen.
Neuer Datensatz-Ressource: Die Autoren veröffentlichen eine PyTorch-kompatible Implementierung von Open Images V7 Teilmengen (10, 30, 50, 70, 100 Klassen) mit disjunkten Klassen zu ImageNet-1K, um reproduzierbare Forschung zu erleichtern.

Ergebnisse

Leistungs-Parität: RBFN-Köpfe erreichten eine vergleichbare Performance wie Standard-MLP-Köpfe. Auf ImageNet-100 übertrafen RBFN-Köpfe MLPs bei SimCLR leicht (+4 % Genauigkeit) und waren auf anderen Datensätzen ebenbürtig. Bei den Open Images Teilmengen zeigten RBFNs ein geringfügiges Defizit (1–3 %) bei größeren Teilmengen, übertrafen jedoch MLPs um 2–4 %, wenn sie mit BYOL verwendet wurden.
Metrik-Korrelation: Die SNS-Metrik wies starke bis sehr starke positive Korrelationen (Pearson $r$ zwischen 0,79 und 0,93) mit etablierten logistischen Regressionsmetriken (Accuracy, F1 usw.) auf. Die p-Werte für diese Korrelationen waren extrem niedrig, was die Hypothese stützt, dass SNS ein zuverlässiger Proxy für die Repräsentationsqualität ist.
Hyperparameter-Einfluss: Die Wahl der RBF-Funktion (Gauß) und die Tiefe des Projektors (3 Schichten) hatten den signifikantesten Einfluss auf die Performance. Die Anzahl der Kernel und die Normalisierung zeigten innerhalb der getesteten Bereiche vernachledigbare Effekte.

Bedeutung und Ansprüche
Das Paper behauptet, dass der Ersatz von MLP-Projektoren durch RBFNs einen doppelten Nutzen bietet: Es erhält die hohe Performance, die für SSL erforderlich ist, und ermöglicht gleichzeitig die Bewertung der Repräsentationsqualität ohne gelabelte Daten. Durch die Interpretation der gelernten Zentren und Formen des RBFN können Forscher die Qualität der Repräsentationen des Backbones über die SNS-Metrik beurteilen. Die Autoren positionieren dies als eine Bewegung weg von „computergestützt verschwendeten“ Projektoren hin zu einer interpretierbaren und effizienteren Evaluierungspipeline. Sie kommen zu dem Schluss, dass ein trainierter RBFN-Projektor als zuverlässiger Proxy für die Backbone-Qualität dienen kann, was potenziell die Abhängigkeit von gelabelten Testsets für die Modellauswahl im Self-Supervised Learning reduziert.