🤖 machine learning

Bug or Feature $^2$ : Weight Drift, Activation Sparsity, and Spikes

Ce papier identifie une dérive fondamentale des poids négatifs causée par l'interaction entre les pertes standard et les activations biaisées positivement, ce qui induit une forte parcimonie des activations et des ruptures de précision dans les réseaux profonds, amenant les auteurs à proposer des ReLU $^2$ et GELU $^2$ tronqués comme solutions efficaces équilibrant parcimonie, stabilité et performance.

Auteurs originaux : Egor Shvetsov, Aleksandr Serkov, Shokorov Viacheslav, Redko Dmitry, Vladislav Goloshchapov, Evgeny Burnaev

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Egor Shvetsov, Aleksandr Serkov, Shokorov Viacheslav, Redko Dmitry, Vladislav Goloshchapov, Evgeny Burnaev

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous construisez une machine massive et complexe composée de milliers de minuscules interrupteurs (neurones) qui apprennent à reconnaître des motifs. Pendant des années, les ingénieurs ont ajusté ces machines par essais et erreurs, ajoutant des fonctionnalités qui semblaient fonctionner sans vraiment comprendre pourquoi elles fonctionnaient.

Ce papier, intitulé "Bug ou Fonctionnalité2", examine une bizarrerie cachée dans la façon dont ces machines apprennent. Les auteurs ont découvert un « fantôme » dans la machine : une tendance des paramètres internes (poids) à dériver lentement dans une direction négative, ce qui amène de nombreux interrupteurs à se couper complètement.

Voici la décomposition de leurs découvertes à l'aide d'analogies simples :

1. La « Dérive Négative » (La Corde à Sauter)

Imaginez que la machine commence avec tous ses paramètres parfaitement équilibrés autour de zéro. Les auteurs ont découvert que, en raison de la façon dont la machine calcule ses erreurs (en utilisant des formules mathématiques standard appelées « fonctions de perte ») et de la façon dont elle traite l'information (en utilisant des « fonctions d'activation » comme ReLU), il existe une lutte de traction subtile et invisible.

Le Mécanisme : Dans les toutes premières secondes de l'entraînement, les mathématiques poussent les paramètres légèrement vers le côté négatif.
Le Résultat : Une fois qu'un paramètre devient négatif, il reste négatif. C'est comme une bille qui dévale une colline ; une fois qu'elle commence, elle continue jusqu'à ce qu'elle heurte un mur. Cela se produit même si la machine est alimentée par des données aléatoires et absurdes. C'est un défaut du processus d'entraînement lui-même, et non des données.

2. Les « Interrupteurs Silencieux » (Sparsité d'Activation)

Maintenant, imaginez que ces interrupteurs sont des ampoules.

Avec ReLU (un type d'interrupteur courant) : Si le paramètre dérive vers le négatif, l'ampoule s'éteint complètement et reste éteinte. Les auteurs ont constaté que dans certains modèles (comme un petit modèle de langage appelé GPT-nano), jusqu'à 90 % des ampoules s'éteignent et restent silencieuses.
La Question : Est-ce un Bug ou une Fonctionnalité ?
- Bug : Si trop de lumières s'éteignent, la machine pourrait devenir aveugle et cesser d'apprendre.
- Fonctionnalité : Si la machine peut faire son travail avec moins de lumières allumées, elle pourrait être plus efficace.

3. La « Falaise » (La Zone de Danger)

Les chercheurs ont testé combien de silence la machine pouvait supporter avant de se briser. Ils ont découvert une nette « Falaise ».

La Zone Sûre : Si vous éteignez jusqu'à 70 % des interrupteurs, la machine fonctionne presque aussi bien qu'avant. Elle est étonnamment robuste.
La Falaise : Si vous essayez d'éteindre plus de 70 % (disons 80 % ou 90 %), les performances de la machine s'effondrent. C'est comme essayer de conduire une voiture avec une seule roue ; cela fonctionne bien jusqu'à ce que vous atteigniez une certaine vitesse, puis tout se désintègre.
L'Exception : Les machines avec des « connexions résiduelles » (comme ResNet ou Transformers) sont comme des voitures avec des roues de secours ; elles peuvent supporter beaucoup plus de silence avant de s'effondrer.

4. L'Expérience « Mise au Carré » (ReLU2)

Les auteurs ont essayé un nouveau type d'interrupteur appelé ReLU2, qui élève le signal au carré (rend les grands nombres encore plus grands).

Le Problème : Cela a créé des « Pics ». Imaginez que quelques ampoules clignotent soudainement si fort qu'elles brûlent ou aveuglent le système. Dans les couches intermédiaires de la machine, ces pics sont devenus dangereusement grands.
La Correction : Ils ont découvert que le recadrage des pics (en mettant un plafond à la luminosité de l'ampoule) résolvait le problème.
Le Gagnant : Un « ReLU2 Recadré » fonctionnait mieux que l'original, et un « GELU2 Recadré » (un interrupteur lisse différent) a en fait obtenu les meilleurs résultats sur le modèle de langage, atteignant le taux d'erreur le plus bas.

5. L'Astuce « Gel » (Efficacité Calculatoire)

La « dérive » se produit principalement dans les premières étapes de l'entraînement. Après cela, les paramètres se stabilisent.

L'Idée : Habituellement, la machine recalcule son « centre de gravité » (statistiques de normalisation) à chaque fois qu'elle voit une nouvelle image ou phrase. C'est lent.
Le Hack : Les auteurs ont découvert que, une fois la dérive initiale stabilisée (après un court « échauffement »), vous pouvez geler ces calculs. Vous arrêtez de recalculer et utilisez simplement les nombres du début.
Le Bénéfice : Cela rend l'entraînement de la machine environ 25–30 % plus rapide sans nuire à son intelligence finale. C'est comme régler le thermostat une fois que la pièce a atteint la bonne température, plutôt que de vérifier la température chaque seconde.

Résumé

Le papier révèle que les modèles d'IA modernes développent naturellement des « zones mortes » où de nombreux neurones cessent de fonctionner en raison d'une bizarrerie mathématique dans leur apprentissage.

Ce n'est pas un bug dans les données ; c'est un bug dans les mathématiques d'optimisation.
Le silence est acceptable jusqu'à un certain point (70 %), mais un silence excessif provoque un effondrement.
De nouveaux interrupteurs (fonctions au carré) peuvent être puissants mais nécessitent un « recadrage » pour éviter des pics dangereux.
Geler les calculs précoces peut rendre l'entraînement significativement plus rapide.

Les auteurs concluent que ce qui ressemble à un effet secondaire aléatoire est en réalité un mécanisme contrôlable qui, s'il est compris, peut nous aider à construire une IA plus rapide et plus efficace.

Résumé Technique : Bug ou Fonctionnalité 2 : Dérive des Poids, Sparsité des Activations et Pics

Énoncé du Problème

La conception moderne des architectures neuronales a évolué par le biais de choix empiriques incrémentaux, pourtant les mécanismes intrinsèques régissant la dynamique d'entraînement restent partiellement compris. Cet article identifie une dérive négative des poids systématique induite par l'interaction entre les fonctions de perte standard (MSE, entropie croisée) et les fonctions d'activation biaisées positivement (par exemple, ReLU, GELU, SiLU) en l'absence de normalisation centrée sur la moyenne.

Le problème central est que, lors des premières itérations d'entraînement, la descente de gradient pousse les poids vers des valeurs négatives. Cela se produit parce que le gradient attendu par rapport aux pré-activations positives est non négatif. Par conséquent, les pré-activations se déplacent vers le bas, provoquant qu'un plus grand nombre de neurones tombent en dessous de zéro. Lorsqu'elles sont passées à travers des fonctions d'activation comme ReLU, ces pré-activations négatives sont écrasées à zéro, induisant une sparsité d'activation rigide. Les auteurs enquêtent pour savoir si cette sparsité émergente est une fonctionnalité bénéfique pour l'efficacité ou un bug préjudiciable dégradant les performances du modèle. De plus, l'article examine les pics d'activation pathologiques observés dans les fonctions d'activation au carré (par exemple, ReLU2) au sein des architectures de transformateurs.

Méthodologie

1. Analyse Formelle de la Dérive des Poids

Les auteurs fournissent une preuve formelle pour les Perceptrons Multicouches (MLP) basés sur ReLU à l'initialisation.

Cadre Théorique : Ils définissent une matrice de poids effective $V_{eff}$ représentant la composition des couches linéaires subséquentes et des portes ReLU.
Théorème Clé : Sous une initialisation de poids i.i.d. à moyenne nulle, les lignes de $V_{eff}$ présentent une moyenne nulle mais une corrélation croisée non négative ( $E[\langle v_i, v_j \rangle] \ge 0$ ).
Analyse du Gradient : Pour les pertes MSE et entropie croisée, le gradient attendu par rapport à toute pré-activation positive est non négatif. Étant donné que la descente de gradient met à jour les poids dans la direction négative du gradient ( $w \leftarrow w - \eta \nabla w$ ), ce gradient constamment positif pousse les poids vers des valeurs négatives.
Cycle Auto-renforçant : À mesure que les poids deviennent négatifs, les pré-activations se déplacent encore plus en dessous de zéro, augmentant la fraction de neurones morts et renforçant la dérive.

2. Validation Empirique

Les auteurs vérifient ces dynamiques dans des contextes divers :

Architectures : MLP, ResNet-18, MaxViT, MP-SENet et GPT-nano.
Activations : ReLU, GELU, SiLU, NoisyReLU, SUGARBSiLU et ReLU2.
Données : Entraînement sur des jeux de données réels (CIFAR-10, ImageNet-1K, FineWeb) et sur des entrées entièrement aléatoires pour isoler la dynamique d'optimisation de la distribution des données.
Optimiseurs : SGD, SGD avec momentum, et Adam/AdamW.

3. Contrôle de la Sparsité et Analyse des Compromis

Pour déterminer si la sparsité est un « bug » ou une « fonctionnalité », les auteurs contrôlent explicitement les niveaux de sparsité en utilisant deux mécanismes :

Sparsité Top-K : Conserve les $k\%$ supérieurs des activations (utilisé avec GELU).
Centrage par Percentile (PC) : Une méthode proposée qui décale les activations par un percentile cible $q$ plutôt que par la moyenne avant d'appliquer ReLU, contrôlant directement la fraction d'activations mises à zéro.
Évaluation : Ils évaluent 79 configurations à travers les architectures pour cartographier la relation entre les niveaux de sparsité et la précision/perte du modèle.

4. Enquête sur les Activations au Carré et les Pics

L'article analyse ReLU2 ( $max(0, x)^2$ ) et GELU2 dans GPT-nano.

Détection des Pics : Ils observent d'énormes pics d'activation dans les couches 2 à 4 de GPT-nano lors de l'utilisation de ReLU2.
Atténuation : Ils testent le broutage (clipping) de ces activations à des seuils (15 et 50) pour déterminer si les pics sont nuisibles (bugs) ou informatifs (fonctionnalités).

Résultats Clés

1. La Dérive Négative des Poids est Intrinsèque

Universalité : La dérive se produit sur toutes les architectures et fonctions d'activation testées, y compris celles sans normalisation explicite (par exemple, RMSNorm).
Origine de l'Optimisation : Le phénomène persiste même sur des données aléatoires, confirmant qu'il s'agit d'une propriété des dynamiques d'optimisation plutôt que de la distribution des données.
Amplitude : La dérive est la plus prononcée lors des premières itérations d'entraînement et se stabilise à mesure que les gradients diminuent. Les optimiseurs basés sur le momentum accélèrent cette dérive initiale.
Conséquence sur la Sparsité : Dans les modèles basés sur ReLU, cette dérive induit une sparsité naturelle atteignant jusqu'à 90 % dans GPT-nano sans régularisation explicite.

2. Le « Ravin » Sparsité-Précision

Courbe de Compromis : Les performances restent stables sur des niveaux de sparsité modérés ( $s \lesssim 0,7$ ) mais se dégradent brusquement au-delà d'un seuil critique (le « ravin »).
Dépendance à l'Architecture :
- MLP : Subissent un effondrement catastrophique à environ 85 % de sparsité.
- ResNet : Montre une dégradation monotone avec une sparsité structurée (par canal) mais conserve une robustesse avec une sparsité non structurée.
- Transformateurs (ViT, GPT) : Présentent une résilience extrême. GPT-nano maintient des performances proches de la ligne de base jusqu'à environ 91 % de sparsité.
Indépendance du Mécanisme : La méthode spécifique d'induction de la sparsité (Top-K vs Centrage par Percentile) a un impact marginal par rapport au niveau de sparsité lui-même.

3. Fonctions d'Activation et Sparsité

GELU : Atteint la précision la plus élevée dans la plupart des tâches de classification mais induit une sparsité naturelle minimale.
ReLU2 : Très sensible à la normalisation. Il s'effondre sur les MLP sans normalisation mais atteint la perte de validation la plus faible sur GPT-nano (3,250) par rapport à GELU (3,260).
ReLUfication : La conversion de modèles entraînés avec GELU en ReLU via un epoch de fine-tuning récupère 55–74 % de sparsité avec une perte de précision négligeable (<1 %), offrant une stratégie pratique pour l'efficacité.

4. Pics Pathologiques et Broutage

Origine des Pics : Les pics dans GPT-nano proviennent de la projection ascendante des blocs MLP et sont amplifiés par l'opération de mise au carré dans ReLU2.
Avantages du Broutage :
- ReLU2 Brouté : Surpasse ReLU2 non brouté (3,236 contre 3,251), indiquant que les pics extrêmes sont nuisibles.
- GELU2 Brouté : Atteint la meilleure perte de validation globale (3,233) sur GPT-nano.
- Résultats ViT : Les activations au carré ne surpassent pas GELU sur MaxViT, suggérant que les avantages des activations au carré peuvent être spécifiques aux modèles autoregressifs.

5. Efficacité Computationnelle via l'Arrêt de l'Accumulation

Observation : Puisque la dérive des poids se stabilise après quelques milliers d'étapes, le calcul dynamique des statistiques de normalisation (percentiles, moyennes) est inutile pour toute la durée de l'entraînement.
Méthode : Les auteurs proposent un Arrêt de l'Accumulation (AS), où les statistiques sont calculées via une Moyenne Mobile Exponentielle (EMA) pendant une phase de préchauffage (par exemple, 50k étapes) puis figées.
Résultat : Cela récupère le débit d'entraînement à des niveaux proches de la ligne de base (éliminant la surcharge d'environ 25–30 % du calcul dynamique des percentiles) sans dégrader la qualité du modèle (les scores FID/IS restent stables ou s'améliorent).

Signification et Revendications

L'article reformule la sparsité des activations non pas comme une propriété émergente des données, mais comme une conséquence contrôlable de l'interaction entre les fonctions de perte, les fonctions d'activation et les couches de normalisation.

Compréhension Mécanistique : Le travail fournit une explication théorique et empirique de la raison pour laquelle les architectures modernes (qui omettent souvent le centrage sur la moyenne, par exemple en utilisant RMSNorm) présentent une dérive systématique des poids et une forte sparsité.
Lignes Directrices de Conception :
- Contrôle de la Sparsité : Une sparsité agressive (jusqu'à environ 70–80 %) peut être atteinte sans dégradation significative des performances dans les modèles basés sur des transformateurs, offrant une voie pour l'efficacité computationnelle.
- Choix de l'Activation : Bien que ReLU2 offre des gains de performance dans les LLM, il nécessite un broutage pour atténuer les pics pathologiques. GELU reste une base robuste à usage général.
- Efficacité : La technique « Arrêt de l'Accumulation » offre une méthode pratique pour réduire la surcharge d'entraînement en figeant les statistiques de normalisation après la phase initiale de stabilisation de la dérive.
Limitations : Les auteurs notent que les preuves théoriques s'appliquent strictement à l'initialisation et à ReLU, les extensions aux activations lisses étant empiriques. L'applicabilité de ces résultats aux LLM de pointe (1 milliard de paramètres et plus) et les seuils de broutage optimaux pour différentes architectures restent des questions ouvertes.

L'article conclut que la compréhension de ces choix de conception « apparemment accidentels » est cruciale pour le développement futur des architectures, particulièrement alors que le domaine se tourne vers la normalisation non centrée et l'inférence sparse.