🤖 machine learning

The role of class encoding in neural collapse

Cet article étudie comment l'encodage des étiquettes influence l'effondrement neural, démontrant que pour des étiquettes en un-chaud sur des données équilibrées, l'augmentation de la régularisation du biais fait passer les caractéristiques de moyenne non centrées d'un cadre serré équiangulaire de type simplex à un cadre orthogonal, tout en montrant que le biais du classifieur sert généralement à centrer les encodages d'étiquettes arbitraires.

Auteurs originaux : Bastien Massion, Roy Makhlouf, Estelle Massart

Publié 2026-06-02

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bastien Massion, Roy Makhlouf, Estelle Massart

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous entraînez une équipe de robots (un réseau de neurones) pour trier un tas de jouets mélangés dans différentes boîtes. Les robots possèdent un « cerveau » (les couches cachées) qui traite les jouets, et un « décideur » (le classificateur final) qui indique la bonne boîte.

Cet article étudie un phénomène étrange et magnifique appelé Effondrement Neural (Neural Collapse). Lorsque les robots deviennent vraiment doués dans leur travail (faisant zéro erreur), quelque chose de magique se produit dans leurs cerveaux : les représentations internes des jouets provenant d'une même boîte commencent à se regrouper en groupes serrés et parfaits.

Voici la décomposition simple de ce que les auteurs ont découvert, en utilisant des analogies de la vie quotidienne :

1. Les deux formes d'organisation

L'article examine comment ces amas de jouets s'organisent. Il a été découvert que l'arrangement dépend fortement de deux choses : la façon dont les boîtes sont étiquetées et combien le décideur est autorisé à « déplacer » sa position.

La forme « Orthonormée » (La Grille) : Imaginez que les robots organisent les groupes de jouets comme les coins d'une grille carrée parfaite. Chaque groupe est à un angle droit des autres. Cela se produit lorsque le décideur est forcé de rester exactement au centre (biais nul).
La forme « Simplex » (La Pyramide) : Imaginez que les groupes s'organisent comme les coins d'une pyramide parfaite (ou un triangle s'il n'y a que trois groupes). Ils sont tous espacés de manière égale les uns des autres, mais ils sont légèrement inclinés. Cela se produit lorsque le décideur est autorisé à se déplacer librement.

La Grande Découverte : Les auteurs ont réalisé que ces deux formes ne sont pas réellement des mondes différents. Elles sont simplement la même forme, juste décalée.

Considérez la « Grille » comme une pyramide posée sur une table.
Si vous soulevez toute la pyramide (ajoutez un « biais »), le centre de la pyramide se déplace, mais les angles relatifs entre les coins restent les mêmes.
L'article montre qu'en ajustant un « bouton de régularisation » (qui contrôle la capacité du décideur à se déplacer), vous pouvez faire glisser doucement le cerveau des robots de la forme Grille vers la forme Pyramide.

2. Le rôle de l'« Étiquette » (Les étiquettes des boîtes)

L'article demande : Est-ce que cela importe la façon dont nous écrivons les noms sur les boîtes ?

Étiquettes Standard (One-Hot) : Habituellement, nous étiquetons les boîtes avec un « 1 » pour la bonne boîte et un « 0 » pour tout le reste (comme un interrupteur).
Le rôle du Biais : Les auteurs ont découvert que le « biais » du décideur agit comme un compensateur. Son rôle principal est de s'assurer que la position moyenne de toutes les étiquettes se situe bien au milieu de la pièce.
- Si vos étiquettes sont naturellement centrées (équilibrées), le biais reste à zéro.
- Si vos étiquettes sont décentrées (comme si vous utilisiez un système de codage bizarre), le biais se déplace pour ramener tout le système vers le centre. C'est comme un funambule ajustant sa perche pour rester en équilibre.

3. Ce qui change et ce qui reste identique

L'article vérifie si le changement des étiquettes (l'encodage) brise la magie de l'effondrement neural.

Le « Regroupement » (NC1) : Cette partie est super robuste. Peu importe la façon dont vous étiquetez les boîtes ou comment vous réglez le biais, les robots regrouperont toujours les mêmes jouets ensemble. C'est comme dire : « Peu importe la façon dont vous peignez les boîtes, les voitures rouges se gareront toujours dans la zone rouge. »
La « Symétrie Parfaite » (NC2) : C'est ici que les étiquettes comptent. La forme de pyramide parfaite ne se forme que si les étiquettes elles-mêmes possèdent une certaine symétrie. Si vous brouillez les étiquettes de manière étrange, les robots pourraient ne pas former cette pyramide parfaite, bien qu'ils continueront à se regrouper.
L'« Image Miroir » (NC3) : Habituellement, les poids du décideur ressemblent exactement aux groupes de jouets regroupés (une propriété appelée auto-dualité). L'article a découvert que si vous faites pivoter ou si vous retournez les étiquettes, cette image miroir se brise. Cependant, elle n'est pas réellement brisée ; elle est juste pivotée. Si vous faites pivoter le décideur pour revenir en arrière, l'image miroir réapparaît. Ainsi, la connexion est toujours là, elle porte juste un chapeau différent.

Résumé

En bref, cet article explique que l'Effondrement Neural est un phénomène très stable.

Les robots regroupent toujours les choses similaires ensemble.
La forme géométrique spécifique de ces groupes (Grille vs Pyramide) est contrôlée par un « bouton de biais » et la façon dont les étiquettes sont écrites.
Le biais agit comme un mécanisme de centrage, garantissant que le système reste équilibré quel que que soit l'encodage des étiquettes.
Même si les étiquettes sont brouillées, le « regroupement » fondamental demeure, et la relation entre les groupes et le décideur est simplement pivotée, et non détruite.

Les auteurs n'ont pas proposé de nouvelles utilisations médicales ou d'applications futures ; ils ont simplement cartographié la « géométrie » mathématique de la façon dont ces cerveaux d'IA s'organisent lorsqu'ils accomplissent leur meilleur travail.

Résumé Technique : Le rôle de l'encodage des classes dans l'effondrement neural (Neural Collapse)

Énoncé du Problème
L'effondrement neural (NC - Neural Collapse) est un phénomène observé lors de la phase terminale de l'entraînement des classificateurs de réseaux de neurones profonds, caractérisé par des structures géométriques spécifiques dans les activations de la dernière couche cachée lorsque l'erreur d'entraînement atteint zéro. Bien que le NC ait été largement étudié sous le Modèle de Caractéristiques Non Contraintes (UFM - Unconstrained Features Model) avec une perte d'Entropie Croisée, son comportement sous une perte d'Erreur Quadratique Moyenne (MSE - Mean Squared Error) fait l'objet de recherches. Plus précisément, des travaux antérieurs ont identifié deux résultats structurels distincts pour les activations moyennes de classe dans l'UFM avec une perte MSE et un encodage de type "one-hot" : un Cadre Orthogonal (OF - Orthogonal Frame) lorsque le biais du classificateur est absent ou fortement régularisé, et un Treillis Équiangulaire Simplexe (Simplex ETF - Simplex Equiangular Tight Frame) lorsqu'un biais non régularisé est présent. La relation entre ces structures et l'influence des encodages de labels arbitraires sur les propriétés du NC n'est pas pleinement comprise. Cet article traite du rôle de l'encodage des labels et du terme de biais dans l'émergence de ces structures géométriques.

Méthodologie
Les auteurs analysent le problème en utilisant l'UFM avec une perte d'entraînement MSE. Le problème d'optimisation consiste à minimiser conjointement la perte sur les caractéristiques non contraintes ( $H$ ), un classificateur linéaire ( $W$ ), et un terme de biais ( $b$ ), sous réserve d'une régularisation $\ell_2$ sur tous les paramètres. L'étude considère :

Encodages de Labels : De l'encodage standard "one-hot" aux matrices d'encodage arbitraires $\bar{Y} \in \mathbb{R}^{K \times K}$ , incluant le lissage de labels (label smoothing).
Régularisation du Biais : L'impact de la variation du coefficient de régularisation $\lambda_b$ associé au biais du classificateur.
Équilibre des Données : L'analyse couvre des scénarios de données équilibrées et déséquilibrées.

Les dérivations théoriques s'appuient sur les conditions d'optimalité du premier ordre pour caractériser les minimiseurs globaux. Les auteurs introduisent le concept de "Treillis Équiangulaire Simplexe Décalé" (SSETF - Shifted Simplex Equiangular Tight Frame) pour unifier les structures géométriques observées.

Contributions Clés et Résultats

Unification des structures OF et Simplex ETF :
L'article démontre que la transition entre un Cadre Orthogonal (OF) et un Simplex ETF est régie par le terme de biais. Pour des encodages de labels "one-hot" et des données équilibrées, à mesure que le coefficient de régularisation du biais $\lambda_b$ diminue, les caractéristiques moyennes non centrées transitent continûment d'un OF vers un Simplex ETF.
- Mécanisme : Le biais optimal $b^*$ agit pour compenser le non-centrage des labels. Dans la limite d'un biais non régularisé ( $\lambda_b = 0$ ), le biais est égal à la moyenne des labels, ce qui centre efficacement le problème et produit une structure de type Simplex ETF.
- Définition du SSETF : Les auteurs définissent un SSETF comme une généralisation englobant à la fois les OF (paramètre de décalage $\beta=0$ ) et les Simplex ETF (paramètre de décalage $\beta=1$ ). Ils prouvent que le centrage de n'importe quel SSETF produit un Simplex ETF.
Rôle du Biais pour les Encodages Arbitraires :
S'étendant au-delà de l'encodage "one-hot", les auteurs montrent que pour tout encodage de label arbitraire et pour des données déséquilibrées, le biais optimal dans l'UFM vise à centrer les labels. Plus précisément, si les labels sont centrés ( $Y \mathbf{1}_N = 0$ ), le biais optimal est nul quelle que soit la valeur de $\lambda_b$ . Si les labels ne sont pas centrés, le terme de biais décale la solution pour compenser l'écart entre la moyenne globale des labels et l'origine.
Robustesse de l'Effondrement de la Variabilité (NC1) :
L'article prouve que la première propriété de l'effondrement neural (NC1) — l'effondrement des caractéristiques vers leurs moyennes de classe — est vérifiée pour tout encodage de label et toute force de régularisation du biais $\lambda_b \geq 0$ , à condition que les données soient équilibrées. Cela indique que l'effondrement de la variabilité est indépendant du schéma d'encodage spécifique.
Impact sur l'Auto-Dualité (NC3) et NC3' :
L'étude révèle que la propriété standard d'auto-dualité (NC3), où les poids du classificateur s'alignent sur les moyennes de classe, n'est pas robuste aux encodages arbitraires. L'application d'une transformation orthogonale aux labels brise l'alignement direct entre $W^*$ et les moyennes de classe $\bar{H}^*$ .
- Solution Proposée : Les auteurs proposent une variante plus faible, NC3', qui stipule que les poids du classificateur convergent vers les moyennes de classe à un facteur d'échelle et une rotation/réflexion orthogonale près. Ils prouvent que NC3' est vérifié pour tout encodage équilibré sous l'UFM avec une perte MSE.
Convergence vers le Simplex ETF (NC2) et le SSETF :
L'article établit que si les moyennes de caractéristiques optimales forment un SSETF, leurs homologues centrés forment un Simplex ETF (satisfaisant NC2). Les auteurs conjecturent que pour les scénarios équilibrés, les moyennes de caractéristiques forment un SSETF si et seulement si l'encodage des labels lui-même est un SSETF. Cette famille inclut à la fois l'encodage "one-hot" et le lissage de labels.

Signification et Revendications
L'article affirme fournir un pont théorique entre les structures OF et Simplex ETF, auparavant distinctes, observées dans les classificateurs entraînés par MSE, en attribuant la différence uniquement au rôle du terme de biais dans le centrage des labels. En introduisant le cadre SSETF, ce travail généralise la compréhension de l'effondrement neural à des encodages de labels arbitraires.

Les auteurs notent avec modestie que, bien qu'ils aient identifié des conditions suffisantes pour NC2 (via les encodages SSETF) et prouvé la robustesse de NC1 et NC3', la caractérisation complète des encodages menant au NC2 dans les contextes déséquilibrés reste une question ouverte. Ce travail ne propose pas de nouveaux algorithmes ou d'applications expérimentales, mais offre plutôt une clarification théorique de la manière dont l'encodage des labels et la régularisation du biais interagissent pour façonner le paysage géométrique de l'effondrement neural.

1. Les deux formes d'organisation

2. Le rôle de l'« Étiquette » (Les étiquettes des boîtes)

3. Ce qui change et ce qui reste identique

Résumé

Articles similaires