Résumé Technique : Le Biais Implicite de la Profondeur : De l'Effondrement des Réseaux de Neurones aux Codes Softmax

Énoncé du Problème

Les classificateurs de réseaux de neurones profonds entraînés au-delà de l'interpolation convergent souvent vers une disposition géométrique structurée connue sous le nom d'Effondrement des Réseaux de Neurones (Neural Collapse - NC), où les moyennes de classe forment un cadre serré équiangulaire simplexe (ETF) et où les caractéristiques s'alignent sur ce cadre. Bien que le NC soit bien compris dans les modèles peu profonds et les contextes profonds régularisés, son émergence dans les architectures profondes non régularisées reste théoriquement ambiguë.

Les travaux théoriques antérieurs sur le Modèle de Caractéristiques Non Contraintes (UFM) se sont largement appuyés sur une régularisation explicite $L_2$ pour induire le NC. Cependant, des découvertes récentes suggèrent que, dans les UFM profonds, la régularisation $L_2$ induit en réalité un biais de faible rang qui supprime le NC, le rendant sous-optimal. Un écart critique existe dans la compréhension des biais implicites de l'entraînement profond non régularisé : la profondeur seule, via la dynamique de la descente de gradient, favorise-t-elle le NC, ou pousse-t-elle le système vers des structures géométriques alternatives ? Plus précisément, comment la profondeur, la dynamique d'optimisation et l'initialisation interagissent-elles pour déterminer la configuration géométrique finale en l'absence de régularisation explicite ?

Méthodologie

Les auteurs analysent le Modèle de Caractéristiques Non Contraintes Profond (UFM) entraîné avec une perte d'Entropie Croisée (CE) sans régularisation explicite. Ce modèle traite les caractéristiques de la dernière couche comme des variables d'optimisation libres, abstraisant efficacement un réseau linéaire profond avec des entrées orthogonales. L'étude emploie deux perspectives analytiques complémentaires :

1. Analyse Asymptotique : Les auteurs examinent la limite du flot de gradient (GF) lorsque $t \to \infty$. Ils utilisent le cadre de Lyu & Li (2019) pour montrer que le GF sur la perte CE effectue implicitement une maximisation de la marge non convexe. Ils caractérisent le paysage du problème d'optimisation contraint correspondant pour identifier les minima globaux et locaux.
2. Analyse Dynamique : Pour comprendre le comportement à temps fini, les auteurs emploient une initialisation de Hadamard (spécifiquement des matrices de Hadamard de Sylvester). Cette initialisation préserve les vecteurs singuliers des matrices de paramètres tout au long de l'entraînement, réduisant la dynamique matricielle complexe à un système traitable d'équations différentielles gouvernant uniquement les valeurs singulières. Cela permet une caractérisation précise de la stabilité et de l'évolution de la trajectoire près de l'origine et lors de la transition vers le régime de grande norme.

Contributions et Résultats Clés

1. La Profondeur Brise le Paysage Bénin

L'article démontre que le paysage « bénin » de l'UFM peu profond (où le NC est l'unique minimum global) ne persiste pas dans les contextes profonds ($L > 1$).

• Théorème 3.1 : Pour $L=2$ avec $K \ge 6$ classes (ou $L \ge 3$ avec $K \ge 4$), le NC n'est pas globalement optimal. Bien que le NC reste un optimum local, le paysage admet plusieurs minima locaux distincts et stables.
• Mécanisme : La sous-optimalité du NC découle du fait que les structures de faible rang propagent les normes plus efficacement à travers les multiplications matricielles successives. Dans un réseau profond, les matrices de faible rang permettent des normes de logits plus grandes (et donc des marges euclidiennes plus grandes) pour une norme de paramètres fixe, par rapport à la configuration NC de rang complet. Il s'agit d'un effet purement géométrique de la profondeur, indépendant de la régularisation explicite.

2. Caractérisation des Structures de Faible Rang Optimales : Codes Softmax

Les auteurs identifient les structures géométriques spécifiques qui remplacent le NC dans la limite profonde.

• Théorème 3.2 : Dans la limite d'une profondeur infinie ($L \to \infty$), l'optimum global correspond à une solution de rang 2 où les moyennes de classe sont disposées comme les sommets d'un $K$-gone régulier sur un cercle.
• Lien avec les Codes Softmax : Cette structure coïncide avec la solution optimale d'un UFM monocouche sous un goulot d'étranglement de largeur extrême ($d=2$), connu sous le nom de code softmax (Jiang et al., 2023). L'article soutient que la profondeur agit comme une contrainte de rang implicite, sélectionnant des solutions qui autrement nécessiteraient des goulots d'étranglement architecturaux explicites. Les résultats empiriques suggèrent que cette connexion s'étend aux profondeurs finies, où les réseaux convergent vers des codes softmax de rang $r$.

3. Instabilité Dynamique et Effet « Les Riches Deviennent Plus Riches »

L'article analyse la trajectoire du flot de gradient pour expliquer comment le système évite le NC.

• Instabilité du NC : Contrairement au cas peu profond où le NC est stable tout au long de la trajectoire, le Théorème 4.3 prouve que pour $L > 1$, la direction du NC est instable près de l'origine (petites normes de paramètres). La région d'instabilité croît avec le nombre de couches.
• Mécanisme : L'instabilité est pilotée par un effet « les riches deviennent plus riches » (Théorème 4.4). Dans le régime linéarisé près de l'initialisation, les plus grandes valeurs singulières croissent plus vite que les plus petites ($L > 1$), amplifiant les disparités initiales et poussant le système vers des structures de faible rang avant qu'il ne quitte le régime linéarisé.
• Divergence de la Divergence KL : L'article montre que la divergence KL par rapport au NC, qui sert de fonction de Lyapunov dans les modèles peu profonds, peut diverger dans les modèles profonds, confirmant que les trajectoires peuvent s'éloigner entièrement du NC.

4. Rôle de l'Initialisation et de la Largeur

Malgré la préférence théorique pour les structures de faible rang, le NC est souvent observé en pratique. Les auteurs expliquent cela par des effets d'initialisation.

• Théorème 4.5 : Sous une initialisation aléatoire avec une largeur de réseau suffisamment grande ($d$), la vitesse initiale des logits est biaisée vers l'alignement avec l'ETF simplexe (la signature du NC).
• Concentration de la Mesure : Une grande largeur induit une concentration de la mesure dans les valeurs propres initiales, maintenant les valeurs singulières presque égales. Cela contrebalance l'effet « les riches deviennent plus riches », permettant au système d'entrer dans le régime de grande norme avec un rang effectif élevé, où le NC est localement stable. Cela fournit une justification dynamique pour la persistance du NC dans les réseaux larges et initialisés aléatoirement, malgré le biais implicite de faible rang de la profondeur.

5. Vérification Empirique

Les auteurs valident leur théorie sur des UFM profonds et des architectures ResNet-20 entraînées sur MNIST et CIFAR-10.

• Profondeur vs Rang : L'augmentation de la profondeur de la tête du réseau diminue systématiquement le rang effectif de la matrice de logits moyens, confirmant le biais de faible rang induit par la profondeur.
• Largeur vs Rang : L'augmentation de la largeur augmente généralement le rang effectif, soutenant l'affirmation théorique selon laquelle la largeur biaise l'entraînement vers des solutions de rang plus élevé (de type NC).
• Généralisation : Un rang effectif plus faible (associé aux alternatives de faible rang) est généralement corrélé à une généralisation plus faible par rapport aux solutions NC, suggérant que le biais implicite de la profondeur vers les structures de faible rang peut se faire au détriment de la marge et des performances de généralisation.

Signification et Revendications

L'article revendique fournir la première caractérisation complète de la manière dont les biais implicites de la profondeur, de la dynamique d'optimisation et de l'initialisation interagissent pour déterminer l'émergence de l'Effondrement des Réseaux de Neurones dans les réseaux profonds non régularisés.

• Nouveauté Théorique : Il établit que la profondeur seule suffit à induire un biais de faible rang qui rend le NC sous-optimal, remettant en question la vision selon laquelle le NC est le résultat inévitable de l'apprentissage profond ou qu'il nécessite une régularisation explicite pour émerger.
• Identification du Mécanisme : Il identifie la dynamique « les riches deviennent plus riches » dans le régime linéarisé comme le moteur de l'émergence de faible rang et caractérise les optima résultants comme des codes softmax.
• Insight Pratique : Le travail offre une explication dynamique de l'omniprésence du NC en pratique : bien que la profondeur favorise théoriquement les structures de faible rang, une grande largeur et une initialisation aléatoire peuvent orienter l'optimisation de nouveau vers le NC.
• Limites : Les auteurs reconnaissent que leur analyse repose sur l'abstraction UFM et des schémas d'initialisation spécifiques (Hadamard) pour une dynamique traitable, bien qu'ils fournissent des preuves que ces phénomènes persistent sous une petite initialisation aléatoire. Ils notent que la théorie est asymptotique et que les taux à temps fini restent une direction ouverte.

En résumé, l'article reformule la compréhension de la géométrie de l'apprentissage profond, postulant que la profondeur introduit un biais implicite de faible rang qui entre en compétition avec la structure de rang élevé de l'Effondrement des Réseaux de Neurones, le résultat final étant déterminé par l'interplay entre la profondeur du réseau, sa largeur et son initialisation.