🤖 machine learning

Radial Basis Function Networks as Projection Heads in Self-Supervised Learning

Cet article propose de remplacer la tête de projection MLP standard dans l'apprentissage auto-supervisé par un réseau à fonctions de base radiale (RBFN) afin de permettre une évaluation sans étiquette de la qualité des représentations via une nouvelle métrique de Séparation Normalisée par l'Échelle (SNS), tout en maintenant des performances compétitives sur plusieurs architectures et jeux de données.

Auteurs originaux : Andreas Schliebitz, Heiko Tapken, Martin Atzmueller

Publié 2026-06-23

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Andreas Schliebitz, Heiko Tapken, Martin Atzmueller

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : La tête « inutile »

Imaginez que vous entraînez un robot à reconnaître différents types d'animaux. Pour ce faire, vous donnez au robot un « cerveau » (appelé backbone ou colonne vertébrale) qui regarde les images et identifie les caractéristiques importantes.

Dans l'apprentissage auto-supervisé actuel (où le robot apprend sans qu'un professeur ne lui donne les réponses), les chercheurs ajoutent un petit « chapeau d'aide » sur le dessus du cerveau. Ce chapeau est appelé une tête de projection (projection head). Son rôle est d'aider le cerveau à mieux apprendre pendant la phase d'entraînement.

Le problème : Une fois que le robot a fini d'apprendre, les scientifiques jettent généralement ce « chapeau d'aide ». Ils doivent ensuite passer beaucoup de temps et d'argent à enseigner au cerveau une nouvelle méthode simple pour trier les animaux, juste pour voir si le cerveau est réellement performant. Les auteurs de cet article disent : « Attendez une minute ! Jeter le chapeau est un gaspillage. Pourquoi ne pas le garder et l'utiliser pour vérifier si le cerveau fait du bon travail ? »

La solution : Un « chapeau intelligent » au lieu d'un « chapeau stupide »

Habituellement, ce chapeau d'aide est une machine standard légèrement complexe (un MLP) qui est difficile à comprendre. On ne peut pas facilement dire pourquoi il a pris une décision.

Les auteurs proposent de remplacer ce chapeau standard par un Réseau à Fonction de Base Radiale (RBFN).

L'analogie : Considérez le chapeau standard comme une boîte noire qui vous donne simplement un nombre. Le nouveau chapeau RBFN est comme une carte avec des points de repère spécifiques.
Comment ça marche : Au lieu de simplement traiter des chiffres, le RBFN apprend des « centres » spécifiques (points de repère) et des « formes » (la largeur de l'influence de chaque point de repère).
Le bénéfice : Comme ces points de repère et ces formes sont si clairs et interprétables, vous pouvez regarder le chapeau lui-même et dire : « Ah, les points de repère sont bien espacés, donc le cerveau fait un excellent travail pour organiser les données. » Vous n'avez pas besoin de jeter le chapeau ou d'embaucher un nouveau professeur pour vérifier le travail.

Le nouvel outil : « SNS » (Le score de qualité)

Pour prouver leur idée, les auteurs ont inventé une nouvelle façon de mesurer la qualité appelée Séparation Normalisée par l'Échelle (SNS - Scale-Normalized Separation).

La métaphore : Imaginez que vous organisez une fête où les invités (les points de données) doivent s'asseoir à des tables (les clusters).
- Si tout le monde est entassé dans un coin, la fête est un désastre (mauvaise qualité).
- Si tout le monde est parfaitement réparti, avec juste la bonne quantité d'espace entre les tables, la fête est géniale (bonne qualité).
Comment fonctionne le SNS : Il examine les « points de repère » (centres) que le chapeau RBFN a appris. Il vérifie si la distance entre ces points de repère correspond à la « taille » des tables (les paramètres de forme).
Le résultat : Si les points de repère sont parfaitement espacés, le score SNS est élevé. Les auteurs ont découvert qu'un score SNS élevé signifie presque toujours que le cerveau du robot est très bon pour reconnaître les choses, même sans regarder de réponses étiquetées.

Ce qu'ils ont testé

Les chercheurs ont testé cette idée sur cinq systèmes populaires d'apprentissage robotique (comme MoCo, SimCLR et BYOL) et sur quatre ensembles de données d'images différentes (incluant un nouveau jeu de données qu'ils ont créé à partir de Google Open Images).

Ils ont posé deux questions principales :

Est-ce que le nouveau « chapeau intelligent » fonctionne aussi bien que l'ancien « chapeau stupide » ?
- Réponse : Oui. Les robots ont appris tout aussi bien avec le chapeau RBFN. Dans certains cas, c'était même légèrement meilleur. C'est un remplacement parfait et direct.
Pouvons-nous faire confiance au score SNS pour nous dire si le robot est intelligent ?
- Réponse : Oui. Ils ont comparé le score SNS à la méthode traditionnelle et coûteuse (entraîner un nouveau classificateur sur des données étiquetées). Ils ont trouvé une connexion très forte : quand le score SNS était élevé, la performance réelle du robot était également élevée.

Les recommandations

Sur la base de leurs expériences, les auteurs suggèrent :

Utiliser 3 couches : Construisez le chapeau RBFN avec trois couches de « points de repère » au lieu de deux. Cela semble être ce qui fonctionne le mieux.
Utiliser des formes Gaussiennes : Utilisez une forme mathématique spécifique (Gaussienne) pour les points de repère, car elle a mieux fonctionné que d'autres formes.
Ne vous souciez pas de la normalisation : Vous n'avez pas besoin de faire des calculs supplémentaires pour « normaliser » le chapeau ; il fonctionne très bien tel quel.

Résumé

L'article soutient que nous gaspillons des ressources en jetant le « chapeau d'aide » après l'entraînement. En remplaçant le chapeau standard par un Réseau à Fonction de Base Radiale, nous obtenons un outil qui est tout aussi efficace pour aider le robot à apprendre, mais qui sert aussi de bulletin de notes intégré. Nous pouvons regarder la carte interne du chapeau (les centres et les formes) pour savoir instantanément si le robot apprend bien, ce qui nous fait gagner du temps et de l'argent.

Résumé Technique : Les réseaux à fonctions de base radiale comme têtes de projection dans l'apprentissage auto-supervisé

Énoncé du problème
Dans les pipelines standards d'apprentissage auto-supervisé (SSL), un encodeur de fondation (ex. ResNet, ViT) est associé à une tête de projection de type MLP (Perceptron Multicouche) peu profonde. Bien que la tête MLP soit cruciale pour la stabilité de l'entraînement et la qualité des représentations, elle est conventionnellement écartée après le pré-entraînement. Les auteurs soutiennent que le fait de jeter le projecteur entraîné est une perte de ressources, tant sur le plan computationnel qu'informationnel. De plus, la dépendance aux données étiquetées pour l'évaluation crée un goulot d'étranglement, car elle empêche l'évaluation de la qualité des représentations dans des scénarios véritablement non supervisés ou à faibles ressources en étiquettes.

Méthodologie
Le papier propose de remplacer la tête de projection MLP standard par une tête de réseau à fonctions de base radiale (RBFN). Ce changement architectural sert deux objectifs : maintenir des performances d'apprentissage de représentation compétitives et permettre une évaluation de la qualité sans étiquettes.

Tête de projection RBFN :
- Les auteurs implémentent un remplacement direct (drop-in replacement) pour les têtes MLP, compatible avec le framework LightlySSL.
- L'architecture se compose de couches linéaires suivies de couches RBF. La non-linéarité est fournie par des fonctions de base radiale (spécifiquement Gaussienne, multiquadrique inverse, multiquadrique et spline à plaque mince) plutôt que par ReLU.
- La couche RBF apprend un ensemble de centres de noyaux ( $c_i$ ) et de paramètres de forme ( $\varepsilon_i$ ). La sortie est une combinaison linéaire de ces fonctions de base radiale.
- Les auteurs testent cela à travers cinq architectures SSL canoniques : MoCo, SimCLR, BYOL, SwAV et SimSiam.
Métrique de Séparation Normalisée par l'Échelle (SNS) :
- Pour évaluer la qualité des représentations sans étiquettes, les auteurs introduisent la SNS, une métrique dérivée uniquement des paramètres appris de la RBFN ( $c_i$ et $\varepsilon_i$ ).
- La SNS quantifie la « séparation » des centres de noyaux par rapport à leurs échelles. Elle calcule une énergie d'interaction gaussienne entre les paires de centres, normalisée par la dimensionnalité de l'espace et la somme de leurs paramètres de forme.
- La métrique est maximisée lorsque les distances inter-centres sont bien adaptées aux échelles des noyaux, ce qui indique théoriquement un regroupement (clustering) bien structuré des caractéristiques dans l'espace de projection.
Configuration expérimentale :
- Les expériences ont été menées sur quatre jeux de données : ImageNet-100 et trois sous-ensembles de Google Open Images V7 (10, 30 et 50 classes).
- Une recherche par grille a été effectuée sur les hyperparamètres de la RBFN, incluant le nombre de noyaux, la profondeur du projecteur, la normalisation et le type de fonction de base radiale.
- Les performances ont été comparées aux têtes MLP standard via des métriques de sondage linéaire (régression logistique) (Précision, Rappel, F1).
- Une analyse de corrélation (Pearson et Spearman) a été réalisée entre les scores SNS et les métriques de sondage linéaire standard.

Contributions clés

RBFN comme remplacement direct : Les auteurs démontrent que les têtes de projection RBFN sont compétitives par rapport aux projecteurs MLP standards à travers cinq architectures SSL majeures, servant de remplacement direct sans dégradation significative des performances.
Métrique SNS : Ils introduisent une nouvelle métrique de qualité sans étiquettes (SNS) qui présente une forte corrélation avec les performances de classification en aval. Cela permet d'évaluer la qualité de la représentation du fond de l'architecture en utilisant uniquement les paramètres appris lors de l'entraînement auto-supervisé.
Directives d'hyperparamètres : À travers une analyse SHAP, le papier fournit des recommandations empiriques pour construire des têtes RBFN :
- Utiliser des fonctions de base radiale Gaussiennes pour l'activation.
- Construire des têtes avec trois couches (linéaire-RBF-linéaire-RBF-linéaire) plutôt que les deux couches standards.
- Fixer le nombre de noyaux pour correspondre à la dimension de sortie (ex. 128).
- Éviter la normalisation de l'architecture RBFN dans la plupart des cas.
Nouvelle ressource de données : Les auteurs publient une implémentation compatible avec PyTorch des sous-ensembles d'Open Images V7 (10, 30, 50, 70, 100 classes) avec des classes disjointes d'ImageNet-1K pour faciliter la recherche reproductible.

Résultats

Parité de performance : Les têtes RBFN ont atteint des performances comparables aux têtes MLP par défaut. Sur ImageNet-100, les têtes RBFN ont légèrement surpassé les MLP sur SimCLR (+4 % de précision) et ont égalé les résultats sur les autres jeux de données. Sur les sous-ensembles d'Open Images, les RBFN ont montré un léger déficit (1 à 3 %) sur les sous-ensembles plus larges, mais ont surpassé les MLP de 2 à 4 % lorsqu'elles étaient utilisées avec BYOL.
Corrélation de la métrique : La métrique SNS a présenté des corrélations positives fortes à très fortes (r de Pearson allant de 0,79 à 0,93) avec les métriques établies de régression logistique (Précision, F1, etc.). Les p-values pour ces corrélations étaient extrêmement basses, soutenant l'hypothèse que la SNS est un substitut fiable de la qualité de la représentation.
Impact des hyperparamètres : Le choix de la fonction de base radiale (Gaussienne) et de la profondeur du projecteur (3 couches) ont eu l'impact le plus significatif sur les performances. Le nombre de noyaux et la normalisation ont montré des effets négligeables dans les plages testées.

Signification et affirmations
Le papier affirme que remplacer les projecteurs MLP par des RBFN offre un double avantage : cela maintient la haute performance requise pour le SSL tout en débloquant la capacité d'évaluer la qualité des représentations sans étiquettes. En interprétant les centres et les formes appris de la RBFN, les chercheurs peuvent jauger la qualité des représentations du fond de l'architecture via la métrique SNS. Les auteurs positionnent cela comme un passage d'un processus de mise au rebut « coûteux en calcul » vers un pipeline d'évaluation plus interprétable et efficace. Ils concluent qu'un projecteur RBFN entraîné peut servir de substitut fiable à la qualité du fond de l'architecture, réduisant potentiellement la dépendance aux ensembles de test étiquetés pour la sélection de modèles en apprentissage auto-supervisé.