Competing nonlinearities, criticality, and order-to-chaos transition in deep networks

Ce papier démontre que le mélange statistique de fonctions d'activation (par exemple, Tanh et Swish) crée une transition de phase contrôlable et lisse vers la criticité à une fraction de mélange spécifique, résolvant le compromis historique entre la propagation du signal invariante d'échelle et la différentiabilité tout en améliorant la généralisation et les performances d'entraînement.

L'essentiel

Imaginez un réseau de neurones profond comme un immense immeuble à plusieurs étages où l'information (comme un message ou un signal) voyage du rez-de-chaussée jusqu'au toit. Pour que l'immeuble fonctionne, le message doit arriver au sommet avec la même force qu'au départ. S'il devient trop faible, il disparaît ; s'il devient trop fort, il se déforme en bruit.

Pendant des années, les scientifiques ont lutté contre un problème « Boucle d'Or » : trouver la fonction d'activation parfaite (la règle que les neurones utilisent pour traiter l'information) qui maintient le signal juste à la bonne intensité.

Voici une explication simple de ce que cette étude a découvert :

1. Le Problème : Le Signal Meurt ou Explose

Imaginez le signal traversant le réseau comme un chuchotement transmis le long d'une longue file de personnes.

• L'équipe « Trop Silencieuse » (Tanh) : Certaines fonctions d'activation sont comme des gens qui chuchotent si doucement que, lorsque le message atteint le 10ᵉ étage, il est inaudible. Le signal s'effondre.
• L'équipe « Trop Bruyante » (Swish) : D'autres fonctions sont comme des gens qui crient le message, le faisant devenir de plus en plus fort à chaque étage jusqu'à ce qu'il devienne un rugissement assourdissant. Le signal explose.
• L'équipe « Parfaite » (ReLU) : Il existe une fonction célèbre appelée ReLU qui maintient le volume parfaitement stable. Cependant, elle a un inconvénient : elle est « irrégulière » ou « pointue » au centre. Imaginez un escalier avec un bord vif et irrégulier. Bien qu'elle maintienne le volume correct, ce bord pointu rend impossible l'utilisation de certains outils avancés (comme des méthodes d'optimisation lisses et courbes) qui nécessitent une surface parfaitement lisse.

2. La Nouvelle Idée : Un Mélange Aléatoire de Voisins

Les auteurs se sont demandé : Pouvons-nous obtenir le volume parfait de ReLU sans le bord irrégulier ?

Au lieu de forcer chaque neurone de l'immeuble à utiliser la même règle, ils ont proposé un mélange statistique. Imaginez un immeuble où, au départ, chaque personne (neurone) lance une pièce :

• Si c'est Face, elle utilise la règle « Trop Silencieuse » (Tanh).
• Si c'est Pile, elle utilise la règle « Trop Bruyante » (Swish).

Crucialement, une fois qu'elles ont choisi une règle, elles s'y tiennent pour toujours. Elles ne changent pas en permanence.

3. Le Commutateur Magique (Le Point Critique)

L'étude montre qu'en ajustant la fraction de mélange ($p$) — essentiellement en modifiant les chances du lancer de pièce — vous pouvez trouver un « point idéal ».

• Si vous avez majoritairement des gens « Silencieux », le signal meurt.
• Si vous avez majoritairement des gens « Bruyants », le signal explose.
• Mais à un ratio spécifique et précis (environ 83 % de Silencieux et 17 % de Bruyants dans leur expérience), quelque chose de magique se produit.

À ce « point critique » spécifique, les gens silencieux annulent la tendance des gens bruyants à exploser, et les gens bruyants annulent la tendance des gens silencieux à mourir. Le résultat ? Le signal traverse tout l'immeuble avec un volume parfaitement stable, tout comme le ReLU irrégulier, mais parce que tout le monde utilise des règles lisses (Tanh et Swish), l'ensemble du système reste lisse et doux.

4. Pourquoi Cela Compte : L'Effet de « Régularisation »

L'étude a également découvert un bonus surprenant. Parce que les neurones sont « figés » dans leurs choix aléatoires (certains silencieux, d'autres bruyants), cela crée une sorte de désordre structurel.

Imaginez essayer de mémoriser une liste de mots sans signification. Si tout le monde dans le groupe est identique, ils peuvent facilement se coordonner pour mémoriser parfaitement le non-sens. Mais si la moitié du groupe est naturellement silencieuse et l'autre moitié naturellement bruyante, ils ne peuvent pas se coordonner aussi facilement pour mémoriser le non-sens. Ils sont forcés de se concentrer sur les vrais motifs à la place.

Les auteurs ont testé cela en donnant au réseau des données « corrompues » (mauvaises étiquettes). Ils ont constaté que les réseaux utilisant ce mélange aléatoire étaient beaucoup meilleurs pour ignorer les données inutiles et apprendre les vrais motifs, agissant comme un bouclier intégré contre le surapprentissage.

5. L'Essentiel

L'étude affirme qu'en mélangeant aléatoirement deux types différents de fonctions d'activation lisses, vous pouvez :

1. Créer un réseau qui est critiquement équilibré (les signaux ne meurent pas ni n'explosent).
2. Garder le réseau lisse (contrairement au ReLU irrégulier), permettant l'utilisation d'outils mathématiques meilleurs.
3. Rendre le réseau plus robuste face à l'apprentissage à partir de mauvaises données.

Ils appellent cela une « transition de phase », similaire à la façon dont l'eau se transforme en glace à une température spécifique. Dans ce cas, la « température » est le ratio de mélange, et la « glace » est un réseau de neurones parfaitement équilibré, lisse et robuste.

Résumé technique

Résumé technique : Non-linéarités concurrentes, criticité et transition ordre-chaos dans les réseaux profonds

Énoncé du problème
Les réseaux de neurones profonds reposent sur des fonctions d'activation non linéaires pour atteindre une puissance expressive, mais la propagation des signaux et des gradients à travers des architectures profondes est régie par le choix de ces activations. Dans la limite de la largeur infinie, la variance des préactivations suit une récursion déterministe. Cette récursion partitionne les fonctions d'activation en « classes d'universalité » distinctes basées sur la stabilité de leurs points fixes ($K_\star$) :

1. Invariants d'échelle (ex. ReLU) : $K_\star = 0$ est un point fixe avec une récursion de noyau linéaire exacte, assurant la criticité (variance indépendante de la profondeur) pour toute initialisation. Cependant, ReLU n'est pas lisse (non différentiable en $z=0$), ce qui la rend inadaptée aux optimiseurs basés sur la courbure, aux réseaux informés par la physique et aux états quantiques de réseaux de neurones nécessitant des Hessiens bien définis.
2. Semi-stables (ex. Swish, GELU) : $K_\star = 0$ est instable, et la variance converge vers un point fixe stable fini $K_\star > 0$. Bien que lisses, elles introduisent une échelle de longueur caractéristique et sont sensibles à l'initialisation.
3. Stables (ex. Tanh, Sin) : $K_\star = 0$ est un point fixe stable, entraînant une décroissance algébrique de la variance ($K^{(l)} \sim 1/l$) avec la profondeur, conduisant à une atténuation du signal.

Le problème ouvert central abordé est de savoir si ces classes d'universalité discrètes peuvent être reliées de manière continue. Plus précisément, peut-on régler un seul paramètre pour passer d'une phase d'effondrement de la variance à une phase d'inflation de la variance afin d'atteindre un point critique qui soit à la fois invariant d'échelle et lisse ?

Méthodologie
Les auteurs proposent un cadre basé sur des mélanges statistiques de fonctions d'activation. Contrairement aux mélanges déterministes où chaque neurone applique une somme pondérée $\sigma(z) = p\sigma_1(z) + (1-p)\sigma_2(z)$, cette approche assigne chaque neurone de manière indépendante et aléatoire à l'une des deux fonctions d'activation, $\sigma_1$ ou $\sigma_2$, avec les probabilités $p$ et $1-p$. Cette affectation est « gelée » (fixée à l'initialisation).

Dans la limite de la largeur infinie, l'auto-moyennage garantit que la fonction de noyau effective $g(K)$ devient une interpolation linéaire stricte des noyaux des composants purs :
$$g^{(mix)}(K) = p g^{(\sigma_1)}(K) + (1-p) g^{(\sigma_2)}(K)$$
Cette linéarité permet à la fraction de mélange $p$ de servir de paramètre de contrôle analytiquement transparent. Les auteurs dérivent le coefficient de stabilité $a_1$ (gouvernant l'approche du point fixe) pour le mélange et identifient la fraction de mélange critique $p_c$ où $a_1^{(mix)}(p_c) = 0$. Cette condition correspond à une transition de phase où le réseau devient statistiquement invariant d'échelle.

L'étude se concentre sur un appariement spécifique : Tanh (classe stable, $a_1 < 0$) et Swish (classe semi-stable, $a_1 > 0$). Les auteurs prédisent analytiquement $p_c$ dans la limite de faible variance et de manière perturbative pour une variance d'entrée finie. Ils corroborent ces prédictions en utilisant trois diagnostics numériques :

1. Propagation de la variance : Suivi de l'évolution de la variance des préactivations $K^{(l)}$ avec la profondeur.
2. Susceptibilités : Mesure des susceptibilités parallèles ($\chi_\parallel$) et perpendiculaires ($\chi_\perp$) pour détecter la préservation de l'échelle du signal et la sensibilité aux perturbations d'entrée.
3. Exposants de Lyapunov : Calcul de l'exposant de Lyapunov maximal $\lambda$ pour diagnostiquer la transition ordre-chaos ($\lambda < 0$ pour l'ordre, $\lambda > 0$ pour le chaos, $\lambda = 0$ pour la criticité).

Résultats clés

1. Prédiction analytique : Pour le mélange Tanh/Swish, la fraction de mélange critique est dérivée comme $p_c = \frac{g_2^{(Tanh)}}{g_2^{(Tanh)} - g_2^{(Swish)}}$. Dans la limite de faible variance, cela donne $p_c \approx 0,91$. L'analyse perturbative montre qu'une variance d'entrée finie déplace cette valeur vers le bas.
2. Transition de phase : Les simulations numériques confirment une transition de phase nette à $p_c \approx 0,83$ (pour une variance d'entrée unitaire).
   • Pour $p < p_c$, le réseau est dans une phase d'effondrement de la variance (dominée par Tanh), où $K^{(l)}$ décroît algébriquement.
   • Pour $p > p_c$, le réseau est dans une phase d'inflation de la variance (dominée par Swish), où $K^{(l)}$ croît.
   • À $p \approx p_c$, le réseau présente une invariance d'échelle statistique émergente : la variance reste indépendante de la profondeur, imitant le comportement de ReLU mais composée entièrement de neurones lisses et différentiables.
3. Mise à l'échelle de taille finie : La transition s'affine avec la profondeur du réseau $L$, présentant une mise à l'échelle de taille finie avec un exposant critique $\nu = 1$, cohérent avec une transition de phase continue de type champ moyen.
4. Performance d'apprentissage : L'entraînement de perceptrons multicouches (MLP) sur MNIST et Fashion-MNIST révèle une performance de test non monotone en fonction de $p$. La précision de test optimale se produit près de $p_c$ prédite théoriquement, démontrant que la transition au niveau de l'initialisation impacte directement les représentations apprises. Les réseaux purement Tanh et purement Swish sous-performent par rapport au mélange critique.
5. Régularisation implicite : Dans les réseaux surparamétrés avec des étiquettes corrompues, le désordre gelé agit comme un régularisateur implicite. Le mélange supprime la mémorisation du bruit (favorisée par la saturation de Tanh) tout en préservant la capacité d'apprendre une structure véritable (favorisée par le flux de gradient de Swish). Cela brise la symétrie de permutation que les réseaux homogènes exploitent pour mémoriser des associations fallacieuses.

Signification et affirmations
L'article établit les mélanges statistiques d'activation comme un outil contrôlé et analytiquement traitable pour naviguer dans le diagramme de phase des classes d'universalité des réseaux profonds. Sa signification principale réside dans la résolution d'une tension de longue date : atteindre une propagation invariante d'échelle (criticité) sans sacrifier la lissité.

• Contribution théorique : Il démontre que les classes d'universalité, précédemment considérées comme des étiquettes discrètes, sont connectées par une famille continue de mélanges statistiques. La transition est analogue aux transitions de phase induites par la mesure (MIPT) dans les circuits quantiques, pilotées par des opérations locales concurrentes aux tendances opposées.
• Utilité pratique : Le cadre offre un protocole sans étiquette, uniquement basé sur le passage avant, pour sélectionner les architectures d'activation. En estimant $p_c$ via le profil de variance le plus plat ou des formules analytiques, les praticiens peuvent éviter des recherches coûteuses d'hyperparamètres.
• Applicabilité domainale : La capacité à construire un réseau critique et $C^\infty$-lisse est immédiatement actionnable pour les domaines nécessitant des dérivées d'ordre supérieur, tels que les optimiseurs à gradient naturel, les réseaux de neurones informés par la physique (résolution d'EDP) et les états quantiques de réseaux de neurones, où ReLU est inadaptée.

Les auteurs concluent que cette approche fournit un nouveau mécanisme pour les transitions ordre-chaos dans l'apprentissage profond, où le « désordre gelé » des affectations d'activation sert à la fois de régularisateur structurel et de moyen d'ingénierie de la criticité.