🤖 machine learning

On the Importance of Embedding Norms in Self-Supervised Learning

Cet article résout la contradiction apparente concernant le rôle des normes d'encodage dans l'apprentissage auto-supervisé en démontrant, par une analyse théorique et expérimentale, que ces normes, malgré la prévalence de la similitude cosinus, régissent de manière critique les taux de convergence et encodent la confiance du réseau, où des normes plus petites indiquent des échantillons inattendus.

Auteurs originaux : Andrew Draganov, Sharvaree Vadgama, Sebastian Damrich, Jan Niklas Böhm, Lucas Maes, Dmitry Kobak, Erik Bekkers

Publié 2026-06-09

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Andrew Draganov, Sharvaree Vadgama, Sebastian Damrich, Jan Niklas Böhm, Lucas Maes, Dmitry Kobak, Erik Bekkers

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Le problème de la « boule épineuse »

Imaginez que vous apprenez à un ordinateur à reconnaître des images (comme des chats et des chiens) sans lui montrer de labels. C'est ce qu'on appelle l'apprentissage auto-supervisé (Self-Supervised Learning ou SSL).

Pour ce faire, l'ordinateur transforme chaque image en un point mathématique dans un espace géant à plusieurs dimensions. Pour que les mathématiques fonctionnent, l'ordinateur force généralement tous ces points à se situer sur la surface d'une boule parfaite et lisse (une hypersphère). Il fait cela en mesurant à quel point deux points sont similaires en se basant sur leur direction (comme vérifier si deux flèches pointent dans la même direction), en ignorant la longueur de ces flèches.

La découverte du papier :
Les auteurs ont découvert que, même si l'ordinateur est censé ignorer la longueur de ces flèches (la « norme d'embedding »), la longueur compte en réalité énormément. En fait, le processus d'entraînement fait naturellement grandir les flèches des images communes et faciles à reconnaître, tandis que les flèches des images rares ou confuses restent courtes.

Cela transforme la « boule parfaitement lisse » de l'ordinateur en une boule épineuse. Les pointes sont les flèches longues pour les données familières, et les zones plates sont les flèches courtes pour les données non familières.

Les deux règles principales du papier

Le papier explique deux choses principales concernant ces « longueurs de flèches » (normes) :

1. L'effet du « sac à dos lourd » (Vitesse de convergence)

L'analogie : Imaginez que vous essayez de marcher vers une destination (apprendre la bonne réponse). Si vous portez un sac à dos lourd (une flèche longue/une norme élevée), vous avancez beaucoup plus lentement. Si vous êtes léger (une flèche courte), vous pouvez sprinter.

Ce que dit le papier :
Les mathématiques montrent que plus la flèche est longue, plus l'ordinateur apprend lentement. Plus précisément, la vitesse d'apprentissage chute selon le carré de la longueur de la flèche.

Le cercle vicieux : Pour apprendre, l'ordinateur doit rapprocher les flèches. Mais l'acte de les rapprocher fait naturellement grandir les flèches.
Le résultat : L'ordinateur se retrouve coincé dans une boucle où il essaie d'apprendre, mais son propre apprentissage rend le « sac à dos » plus lourd, ce qui le ralentit.

2. Le « jauge de confiance » (Confiance du réseau)

L'analie : Considérez la longueur de la flèche comme un bouton de volume pour la confiance.

Fort (Flèche longue) : L'ordinateur est très sûr de cette image. Il voit souvent ce type de chat, il a donc un signal fort et long pour lui.
Faible (Flèche courte) : L'ordinateur est incertain. Il peut s'agir d'un chat sous un angle bizarre, ou d'une image de chien qui ressemble à un chat. Le signal est faible et court.

Ce que dit le papier :
La longueur de la flèche encode naturellement le niveau de confiance du modèle.

Données communes : Si une image ressemble aux données d'entraînement, la flèche devient longue (Haute Confiance).
Données étranges : Si une image est totalement nouvelle ou bizarre (Hors-Distribution ou Out-of-Distribution), la flèche reste courte (Basse Confiance).
Données déséquilibrées : Si l'ordinateur voit des « Chats » 1 000 fois et des « Chiens » seulement 10 fois, les flèches des « Chats » deviendront énormes, et celles des « Chiens » resteront minuscules. Cela rend l'ordinateur biaisé et instable.

Les solutions : Comment réparer la boule épineuse

Les auteurs ont testé trois façons d'empêcher les flèches de grandir de manière incontrôlée et de corriger la vitesse d'apprentissage.

1. La « Décroissance du poids » (Le lien)

Ce que c'est : Un outil standard en apprentissage automatique qui ramène doucement les poids vers zéro.
La découverte du papier : Cela aide à empêcher les flèches de devenir trop longues, mais c'est une correction lente et graduelle. Si vous tirez trop fort, l'ordinateur oublie tout (la boule s'effondre). Si vous ne tirez pas assez, les flèches deviennent trop longues et l'apprentissage ralentit.

2. L'« Initialisation par coupure » (La ligne de départ)

Ce que c'est : Avant même de commencer l'entraînement, les auteurs prennent tous les nombres internes de l'ordinateur et les divisent par une constante (comme 3 ou 9).
L'analogie : Imaginez commencer une course avec tout le monde portant des bottes lourdes. Au lieu de cela, vous les faites partir pieds nus.
La découverte du papier : C'est une victoire majeure. En commençant avec des flèches courtes, l'ordinateur apprend beaucoup plus vite. Cela empêche le problème du « sac à dos lourd » dès la toute première étape. Cela fonctionne particulièrement bien pour les modèles qui n'utilisent pas d'exemples « négatifs » (modèles non-contrastifs comme SimSiam).

3. Le « GradScale » (Le bouton de volume)

Ce que c'est : Une couche spéciale qui change la façon dont l'ordinateur apprend. Elle regarde la longueur de la flèche et ajuste l'étape d'apprentissage.
L'analogie : Si la flèche est longue (sac à dos lourd), l'ordinateur fait un pas minuscule. Si la flèche est courte, il fait un grand pas.
La découverte du papier : Cela annule entièrement l'effet du « sac à dos lourd ». Cela rend la vitesse d'apprentissage constante, quelle que soit la longueur de la flèche. Cependant, le papier note que cela peut être délicat à régler et que cela peut parfois rendre l'ordinateur confus si les données sont trop désordonnées.

Résumé des résultats

Le Problème : Les modèles SSL créent naturellement des représentations « épineuses » où les données communes ont des flèches longues et les données rares ont des flèches courtes. Cela ralentit l'apprentissage et crée des biais.
La Bonne Nouvelle : La longueur de la flèche est en fait un signal utile ! Elle vous indique le niveau de confiance du modèle.
La Solution : Vous pouvez corriger les problèmes de vitesse et de stabilité en :
1. Commençant avec des nombres plus petits (Initialisation par coupure).
2. Utilisant une couche spéciale pour ajuster les étapes d'apprentissage selon la longueur de la flèche (GradScale).
3. Ajustant soigneusement la force avec laquelle vous ramenez les poids vers zéro (Décroissance du poids).

Le papier conclut que nous ne devrions pas seulement regarder la direction des points de données ; nous devons aussi gérer leur longueur pour rendre l'apprentissage auto-supervisé plus rapide et plus fiable.

Résumé technique : Sur l'importance de l'intégration des normes dans l'apprentissage auto-supervisé

Énoncé du problème

L'apprentissage auto-supervisé (SSL - Self-Supervised Learning) est devenu un paradigre dominant pour l'apprentissage de représentations de données sans signaux supervisés, notamment via des méthodes telles que SimCLR, MoCo, SimSiam et BYOL. Ces méthodes reposent généralement sur l'optimisation de la similarité cosinus entre les vecteurs d'embedding, contraignant ainsi la dynamique d'apprentissage à une hypersphère. Par conséquent, les analyses théoriques se sont largement concentrées sur la distribution des points sur cette hypersphère, supposant souvent que les normes d'embedding (la magnitude des vecteurs avant normalisation) sont non pertinentes ou simplement un sous-produit de la normalisation $L_2$ .

Cependant, des observations empiriques suggèrent que les normes d'embedding contiennent des informations significatives liées à la convergence du réseau et à la confiance. Des travaux antérieurs ont noté que les normes modulent inversement les gradients sous une perte de similarité cosinus et qu'elles sont corrélées à la certitude du modèle, mais une compréhension systématique, tant théorique qu'empirique, de cette relation faisait défaut. Cet article traite cette contradiction apparente : bien que le SSL optimise la direction (similarité cosinus), la magnitude des vecteurs d'embedding joue un rôle critique, et souvent délétère, dans la dynamique d'entraînement.

Méthodologie

Les auteurs emploient une combinaison d'analyses théoriques, de simulations contrôlées et d'expériences empiriques approfondies pour étudier le rôle des normes d'embedding dans le SSL.

Analyse théorique :
- L'article dérive les gradients du terme attractif ( $L^A_{ij}$ ) et de la perte InfoNCE par rapport à un vecteur d'embedding $z_i$ .
- Il prouve que les gradients pour les pertes basées sur la similarité cosinus sont orthogonaux au vecteur d'embedding lui-même.
- En utilisant ces propriétés, les auteurs démontrent que l'application d'étapes de descente de gradient pour maximiser la similarité cosinus augmente inévitablement la magnitude (norme) des vecteurs d'embedding.
- Des bornes théoriques sont établies montrant que le changement de similarité cosinus par étape de gradient est inversement proportionnel au carré de la norme de l'embedding ( $\rho^2$ ). Cela implique qu'à mesure que les normes croissent, le taux d'apprentissage effectif diminue de manière quadratique, ralentissant la convergence.
Simulations :
- Convergence idéalisée : Les auteurs simulent la descente de gradient sur des paires de points sur une hypersphère pour vérifier que des normes d'embedding initiales plus grandes entraînent une convergence nettement plus lente, confirmant le ralentissement quadratique prédit par la théorie.
- Dynamique des classes latentes : En utilisant un jeu de données synthétique généré à partir de classes latentes, l'étude simule l'entraînement SSL pour observer comment les normes d'embedding évoluent. Ils constatent que les embeddings dans les régions denses de l'espace latent (échantillons fréquemment observés) développent des normes plus grandes que ceux des régions de faible densité.
Expériences empiriques :
- Corrélation de confiance : Des expériences sur CIFAR-10, CIFAR-100 et ImageNet-100 démontrent que les normes d'embedding sont corrélées à la confiance du modèle. Les échantillons ayant des normes plus élevées sont plus susceptibles d'être "in-distribution", correctement classés par un classifieur kNN, et associés à un fort accord avec les étiqueteurs humains (faible entropie). Inversement, les échantillons hors distribution (OOD) présentent des normes nettement plus faibles.
- Stratégies d'intervention : L'article évalue trois mécanismes pour atténuer l'« effet de norme d'embedding » (la tendance des normes à croître et à ralentir l'entraînement) :
  - Décroissance des poids (Weight Decay) : Une régularisation standard qui pénalise les poids élevés, contrôlant indirectement la croissance de l'embedding.
  - Cut-Initialization : Une nouvelle stratégie d'initialisation où les poids du réseau sont divisés par une constante $c$ au début de l'entraînement pour garantir de petites normes d'embedding initiales, lesquelles sont ensuite maintenues par la décroissance des poids.
  - Couche GradScale : Une fonction personnalisée de l'autograd de PyTorch qui redimensionne le gradient par la norme de l'embedding à la puissance $p$ . Régler $p=1$ annule l'effet de mise à l'échelle inverse de la norme sur le gradient, normalisant ainsi le taux d'apprentissage par échantillon.

Contributions clés et résultats

1. L'effet de la norme d'embedding et la convergence

L'article établit que l'optimisation de la similarité cosinus crée un "catch-22" : de petites normes d'embedding sont nécessaires pour une convergence rapide (pour éviter la disparition des gradients), mais le processus d'optimisation lui-même pousse ces normes à croître.

Résultat : Les bornes théoriques et les simulations confirment que les normes d'embedding imposent un ralentissement quadratique à la convergence du SSL.
Résultat : La décroissance des poids peut atténuer cela, mais une décroissance excessive conduit à l'effondrement des représentations, tandis qu'une décroissance insuffisante permet aux normes de croître sans contrôle, ralentissant l'entraînement.

2. Les normes d'embedding comme mesures de confiance

Les auteurs démontrent que les normes d'embedding encodent naturellement la confiance d'un modèle dans la représentation apprise.

Résultat : Des normes d'embedding élevées correspondent à des échantillons prototypiques et fréquents, et à une précision de classification élevée.
Résultat : Des normes d'embedding faibles correspondent à des échantillons rares, des données hors distribution (OOD) et des échantillons présentant un fort désaccord entre les étiqueteurs humains (entropie élevée).
Résultat : Ce phénomène est valable pour les deux méthodes, contrastive (SimCLR) et non-contrastive (SimSiam), suggérant qu'il s'agit d'une propriété intrinsèque du SSL basé sur la similarité cosinus.

3. Stratégies d'atténuation et gains de performance

L'article propose et valide des méthodes pour gérer les normes d'embedding, montrant des améliorations significatives de l'efficacité de l'entraînement et de la précision finale.

Cut-Initialization : L'association de la Cut-Initialization avec la décroissance des poids standard accélère la convergence et améliore la précision finale du kNN. Par exemple, sur CIFAR-100, SimCLR avec Cut-Initialization ( $c=3$ ) a amélioré la précision d'environ 1 à 2 % par rapport à la version par défaut, tandis que SimSiam a enregistré des gains d'environ 10 % sur ImageNet-100.
GradScale : Cette méthode, qui annule explicitement l'échelle de gradient dépendante de la norme, apporte des améliorations supplémentaires, particulièrement dans les contextes de classes déséquilibrées où la variance des normes d'embedding peut déstabiliser l'entraînement.
Déséquilibre des données : L'effet de la norme d'embedding est particulièrement préjudiciable dans les jeux de données à classes déséquilibrées. Les interventions proposées (Cut-Initialization et GradScale) produisent des améliorations de précision à deux chiffres dans ces scénarios (par exemple, améliorant SimSiam sur CIFAR-100 déséquilibré de 21,6 % à 31,5 %).
Robustesse : Ces bénéfices persistent même lors de l'utilisation d'optimiseurs adaptatifs comme Adam.

Signification et affirmations

L'article affirme résoudre une lacune dans la littérature en fournissant la première analyse approfondie de l'interaction entre les normes d'embedding et la dynamique d'entraînement du SSL. Les auteurs soutiennent que les normes d'embedding ne sont pas de simples sous-produits de la normalisation, mais qu'elles sont essentielles pour comprendre et optimiser le comportement du réseau.

Aperçu théorique : Le travail clarifie l'« effet de la norme d'embedding », montrant qu'il est une conséquence inévitable de l'optimisation basée sur la similarité cosinus qui ralentit la convergence de manière quadratique.
Utilité pratique : Les conclusions suggèrent que la gestion des normes d'embedding est essentielle pour un entraînement SSL efficace, en particulier dans les contextes non-contrastifs et de données déséquilibrées. Les mécanismes proposés ("Cut-Initialization" et "GradScale") offrent des moyens simples et fondés sur des principes pour améliorer la stabilité et la performance de l'entraînement.
Interprétabilité : L'article pose comme hypothèse que les normes d'embedding servent de mesure naturelle et intrinsèque de la confiance du modèle et de la nouveauté des échantillons, offrant un nouveau prisme pour analyser les représentations SSL sans nécessiter de signaux supervisés supplémentaires.

Les auteurs concluent que si l'effet de la norme d'embedding présente des défis, il offre également des opportunités, comme l'utilisation des normes pour guider l'entraînement sur des entrées non vues ou pour identifier des exemples prototypiques. Ils notent que les architectures non-contrastives semblent plus sensibles à ces effets, soulevant des questions pour les travaux futurs concernant la conception architecturale et le potentiel des bénéfices de cet effet dans des contextes spécifiques de transfert d'apprentissage.