📊 statistics

The Geometry of Projection Heads: Conditioning, Invariance, and Collapse

Cet article établit une théorie géométrique des têtes de projection dans l'apprentissage auto-supervisé, les modélisant comme des métriques riemanniennes entraînables qui découplent les backbones sémantiques des contraintes objectives, où la profondeur non linéaire et les activations lisses permettent d'échapper à l'effondrement dimensionnel grâce à une courbure négative, tandis que les têtes linéaires ou basées sur ReLU restent instables sans dynamique en temps discret.

Auteurs originaux : Faris Chaudhry

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Faris Chaudhry

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à reconnaître des chats. Vous lui montrez des milliers de photos de chats, mais vous lui montrez aussi les mêmes chats portant des lunettes de soleil, à l'envers, ou en noir et blanc. L'objectif du robot est d'apprendre que « c'est un chat » indépendamment de ces changements.

Dans l'IA moderne, nous utilisons un système en deux parties pour y parvenir :

Le Backbone (Épine dorsale) : Un cerveau profond et complexe qui voit l'image et en extrait les caractéristiques.
La Tête de Projection : Une couche supplémentaire, plus petite, attachée à la fin du cerveau.

Voici l'énigme : nous entraînons le robot en utilisant cette tête supplémentaire, mais une fois l'entraînement terminé, nous jetons la tête et n'utilisons que le backbone pour les tâches du monde réel. Pourquoi avons-nous besoin de cette tête pour l'entraînement, puis la jetons-nous ensuite ?

Ce papier explique la géométrie de cette tête à l'aide de quelques métaphores simples.

1. La Tête est une « Lentille Métamorphe »

Imaginez les images que le robot voit comme un paysage. Certaines parties du paysage sont du « bruit » (comme les lunettes de soleil ou la rotation), et d'autres sont le « signal » (le chat lui-même).

Sans la tête : Le robot tente d'aplatir le bruit directement sur le chat. C'est comme essayer d'aplatir un morceau de papier froissé sur une table sans le déchirer. C'est difficile, et vous risquez d'écraser le chat par accident.
Avec la tête : La tête agit comme une lentille spéciale et extensible. Elle regarde le papier froissé (l'image bruitée) et l'étire ou le comprime juste ce qu'il faut pour que les parties « chat » s'alignent parfaitement, tandis que les parties « lunettes de soleil » sont écrasées en un minuscule point invisible.

Le papier démontre que cette tête n'est pas simplement un filtre ; c'est une carte entraînable. Elle apprend à déformer l'espace des images afin que le robot puisse facilement apprendre les règles.

2. L'Effet « Guillotine » : Pourquoi nous jetons la tête

Voici la partie étrange : la tête fait son travail si bien qu'elle détruit des informations.

Imaginez que vous essayez d'apprendre à reconnaître un chat par la couleur de son pelage.

Le Problème : Si vous entraînez le robot à ignorer les changements de couleur (car vous voulez qu'il reconnaisse les chats dans n'importe quel éclairage), le robot doit apprendre à « oublier » la couleur.
Le Rôle de la Tête : La tête agit comme une guillotine. Elle tranche la dimension « couleur » des données pour satisfaire aux règles d'entraînement. Elle force le robot à dire : « Chat rouge = Chat noir = Chat blanc ».
Le Résultat : Si vous gardiez la tête, le robot serait excellent pour ignorer la couleur, mais terrible pour les tâches qui nécessitent la couleur (comme trier les chats par couleur de pelage).
La Solution : Nous jetons la tête. Le backbone (le cerveau principal) n'a en réalité jamais perdu l'information sur la couleur ; il l'a simplement transmise à la tête, qui l'a tranchée. En retirant la tête, nous récupérons le cerveau complet et riche, prêt à être affiné pour n'importe quelle tâche spécifique.

3. Le « Piège » et la « Issue de Secours »

Il existe un piège dangereux dans l'entraînement de ces robots appelé Effondrement Dimensionnel. Cela se produit lorsque le robot devient paresseux et décide : « Vous savez quoi ? Je vais juste dire que tout est pareil. » Il effondre toutes les images en un seul point. C'est un échec.

Le papier a découvert un astucieux tour que la tête utilise pour empêcher cela :

Têtes Douces (L'Issue de Secours) : Si la tête utilise des mathématiques « douces » (comme les fonctions Swish ou GELU), elle crée une instabilité géologique. Imaginez que le robot est assis dans une vallée plate (le piège). Une tête douce transforme cette vallée plate en un point selle (comme une selle de cheval). Si le robot s'y asseoit, il roule naturellement sur le côté. Les mathématiques de la tête forcent le robot à continuer à bouger et à explorer, l'empêchant de rester coincé dans le piège « tout est pareil ».
Têtes Rugueuses (Le Piège) : Si la tête utilise des mathématiques « rugueuses » (comme ReLU), elle ne crée pas cette instabilité. C'est comme un sol plat. Le robot peut s'y asseoir pour toujours. Pour s'échapper, il a besoin d'une aide externe (comme du bruit aléatoire provenant du processus d'entraînement de l'ordinateur), ce qui est moins fiable.

4. Le « Bouclier Sacrificiel »

Le papier conclut que la tête de projection est un bouclier sacrificiel.

Les règles d'entraînement (la fonction de perte) sont très rigides et destructrices ; elles exigent des changements extrêmes des données.
Si nous appliquions ces règles directement au cerveau principal, nous briserions la capacité du cerveau à apprendre des choses utiles.
La tête prend le coup. Elle absorbe toute la distorsion géométrique, l'écrasement du bruit et l'instabilité. Elle devient « sale » et « brisée » (en termes d'information) afin que le cerveau principal reste propre et puissant.

En résumé :
La tête de projection est un outil jetable et métamorphe qui déforme le monde pour faciliter l'entraînement et empêche l'IA de rester coincée. Elle le fait en écrasant des détails spécifiques (comme la couleur ou la rotation) que les règles d'entraînement exigent. Une fois l'entraînement terminé, nous jetons cet outil car il a accompli sa tâche de protéger le cerveau principal, nous laissant une IA puissante et flexible, prête pour le monde réel.

Résumé Technique : La Géométrie des Têtes de Projection : Conditionnement, Invariance et Effondrement

Énoncé du Problème

L'apprentissage auto-supervisé (SSL) repose fortement sur un composant architectural spécifique : la tête de projection non linéaire. Malgré sa nécessité pour l'entraînement, cette tête est généralement éliminée (« l'effet guillotine ») avant le fine-tuning en aval, soulevant une énigme théorique : si la tête est essentielle pour minimiser la perte de préentraînement, pourquoi la représentation qu'elle produit est-elle sous-optimale pour l'inférence ? De plus, les explications existantes (par exemple, les goulots d'étranglement informationnels ou la prévention de l'effondrement dimensionnel) décrivent ce qui se produit mais échouent à expliquer les mécanismes géométriques de comment la tête modifie le paysage d'optimisation pour filtrer simultanément l'information, accélérer la convergence et échapper aux points de selle effondrés.

Méthodologie

Les auteurs développent une théorie géométrique modélisant la tête de projection comme une métrique riemannienne apprenable sur la variété des représentations du backbone. Le cadre théorique central implique :

Décomposition du Hessien Effectif : Le paysage d'optimisation est analysé via le Hessien effectif ( $H_{eff}$ ) de l'objectif SSL par rapport à la représentation du backbone. Cet opérateur est décomposé en une métrique de tiré en arrière ( $G(z) = J_h^\top \nabla^2_h L J_h$ ) et un terme d'interaction piloté par la courbure intrinsèque de la tête ( $\sum [\nabla_h L]_i \nabla^2_z h_i$ ).
Conditionnement Géométrique : L'article examine comment les têtes linéaires et non linéaires conditionnent le paysage de perte. Les têtes linéaires sont analysées pour leur capacité à effectuer un blanchiment implicite de sous-espace, tandis que les têtes non linéaires sont étudiées pour leur capacité à adapter les métriques locales le long de trajectoires courbes.
Analyse de Stabilité : La stabilité de l'effondrement dimensionnel (où les représentations mappent vers un vecteur constant) est examinée en analysant les valeurs propres de $H_{eff}$ aux équilibres effondrés. Les auteurs distinguent entre le flot de gradient en temps continu et la dynamique en temps discret.
Singularité de la Métrique et Invariance : La relation entre les objectifs d'invariance et la dégénérescence métrique est formalisée. Les auteurs prouvent que l'imposition de l'invariance aux orbites d'augmentation nécessite une métrique de tiré en arrière singulière, détruisant efficacement l'information le long des espaces tangents d'augmentation.
Validation Empirique : La théorie est validée par le suivi du Hessien (surveillance des nombres de condition et des valeurs propres négatives), l'analyse de la compression d'orbites (mesure de la réduction de variance dans les variétés d'augmentation) et des études d'ablation sur les fonctions d'activation (ReLU vs activations lisses comme Swish/GELU) et la profondeur de la tête à travers diverses architectures (ResNet, ViT) et jeux de données (CIFAR-10/100).

Contributions Clés

1. Têtes Linéaires comme Blanchiment Implicite de Sous-Espace

Les auteurs prouvent que les têtes de projection linéaires effectuent un blanchiment implicite de sous-espace. En apprenant une matrice de poids $W$ , la tête induit une métrique de Mahalanobis qui mappe isométriquement le sous-espace pertinent de l'espace de représentation vers l'espace d'incorporation. Cependant, ce conditionnement est global et insuffisant pour les variétés courbes où la courbure locale varie.

2. Têtes Non Linéaires comme Adaptateurs de Métrique Locale

Les têtes non linéaires (MLP) sont montrées comme ayant la capacité d'adapter localement la métrique le long des trajectoires d'optimisation courbes. L'article prouve que tandis que les têtes linéaires ne peuvent pas aplatir globalement une variété de perte courbe (Proposition 3.3), des têtes non linéaires suffisamment profondes peuvent approximer une métrique idéale qui rend le Hessien effectif $\epsilon$ -isotrope le long de la trajectoire (Théorème 3.2).

3. Instabilité de l'Effondrement Induite par la Courbure

Une contribution centrale est la résolution géométrique de la raison pour laquelle les méthodes non contrastives (par exemple, BYOL, SimSiam) évitent l'effondrement dimensionnel sans échantillons négatifs explicites.

Théorème 4.1 : Les auteurs prouvent que pour des têtes non linéaires lisses, le terme d'interaction dans le Hessien effectif injecte des valeurs propres négatives aux équilibres effondrés. Cela transforme l'état effondré d'un minimum stable en un point de selle instable, fournissant un mécanisme d'échappement naturel pour la descente de gradient.
Le Fossé ReLU : Les activations linéaires par morceaux (comme ReLU) manquent de courbure intrinsèque d'ordre deux ( $\nabla^2 \text{ReLU} = 0$ ). Par conséquent, elles ne peuvent pas générer cette courbure négative sous un flot en temps continu. L'article soutient que les têtes ReLU évitent l'effondrement uniquement via le bruit en temps discret (tailles de pas finies) et BatchNorm, tandis que les activations lisses (Swish, GELU) fournissent une garantie géométrique native d'instabilité.

4. Dégénérescence Métrique et Compromis Information-Invariance

L'article formalise la stratégie « entraîner avec, déployer sans » à travers la singularité métrique.

Proposition 5.2 : Pour satisfaire les objectifs d'invariance, la tête de projection doit induire une métrique de tiré en arrière singulière où l'espace tangent d'augmentation réside dans le noyau ( $v^\top G(z) v = 0$ ).
Théorème 5.3 : Cette singularité provoque une déficience de rang dans la Matrice d'Information de Fisher par rapport au backbone. La tête agit comme un filtre passe-bas géométrique, annihilant l'information le long des directions d'augmentation.
Conclusion : Jeter la tête est une nécessité théorique. Le backbone préserve la pleine dimensionnalité de la variété des données, tandis que la tête absorbe la dégénérescence métrique requise pour imposer l'invariance. Utiliser la tête pour l'inférence conserverait l'information détruite (ou son absence), alors que le backbone brut conserve les sémantiques linéairement séparables.

Résultats

Suivi du Hessien : Le suivi empirique confirme que les têtes lisses injectent activement des valeurs propres négatives dans le Hessien effectif, déclenchant une « transition de phase » qui échappe aux états effondrés. En revanche, les têtes ReLU et linéaires ne montrent aucune courbure négative et restent piégées dans des bassins effondrés sous un flot de type continu, sauf si aidées par des dynamiques discrètes.
Compression d'Orbites : Les expériences montrent que la tête de projection comprime les orbites d'augmentation par des facteurs d'environ 20x (ResNet) à 4000x (ViT), tout en préservant la séparation sémantique inter-classe. Cela confirme que la tête agit comme un compresseur géométrique sélectif.
Modèles de Fondation : L'analyse de modèles préentraînés (DINO, VICReg, Barlow Twins) révèle une dichotomie géométrique. Les têtes DINO agissent comme des compresseurs géométriques (effondrant les orbites pour imposer l'invariance), tandis que les têtes de réduction de redondance (VICReg) agissent comme des expandeurs dimensionnels (préservant la variance pour satisfaire les contraintes de décorrélation). Dans les deux cas, la tête découple le backbone des contraintes rigides de l'objectif.
Ablation de Profondeur : Des têtes plus profondes (MLP à 3 couches) démontrent une capacité supérieure à déformer la variété et à isoler les singularités métriques, résultant en une meilleure précision du backbone en aval par rapport aux têtes peu profondes ou linéaires, qui échouent à protéger adéquatement le backbone de la dégénérescence métrique.

Signification

L'article prétend fournir une explication géométrique mécaniste de la nécessité empirique des têtes de projection en SSL. Il résout deux énigmes centrales :

Évitement de l'Effondrement : Il démontre que la courbure intrinsèque des têtes non linéaires lisses suffit à déstabiliser les solutions triviales effondrées, offrant une alternative géométrique aux explications reposant uniquement sur BatchNorm ou le bruit en temps discret.
L'Effet Guillotine : Il prouve que la tête doit être éliminée car elle induit une singularité métrique qui détruit l'information requise pour les tâches en aval. La tête sert de « tampon géométrique universel », absorbant les contraintes destructrices de l'objectif de préentraînement pour protéger le backbone sémantique.

Le travail suggère que remplacer ReLU par des activations lisses n'est pas simplement une heuristique mais une exigence topologique pour une optimisation robuste en SSL, et que l'architecture standard de MLP à 2-3 couches est empiriquement validée comme la capacité minimale requise pour satisfaire ces conditions géométriques.