🤖 machine learning

Weight Decay Regimes in Grokking Transformers: Cheap Online Diagnostics

Ce papier démontre que le déclin des poids constitue un paramètre de contrôle critique régissant la transition entre la mémorisation, la généralisation (grokking) et l'effondrement dans les transformateurs entraînés sur l'arithmétique modulaire, et introduit deux diagnostics en ligne computationnellement efficaces basés sur les activations d'attention pour suivre ces dynamiques à travers diverses échelles de modèles et architectures.

Auteurs originaux : Lucky Verma

Publié 2026-05-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Lucky Verma

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un groupe d'étudiants (les « têtes d'attention » à l'intérieur d'un cerveau informatique) comment résoudre une énigme mathématique complexe : l'arithmétique modulaire (comme déterminer l'heure sur une horloge qui ne possède que 97 heures).

Pendant longtemps, ces étudiants semblent simplement mémoriser les réponses par cœur. Ils obtiennent des scores parfaits au test d'entraînement mais échouent à l'examen réel car ils n'ont pas réellement appris les règles du jeu. Puis, soudainement, quelque chose de magique se produit : ils « grokkent » le concept. Ils cessent de mémoriser et commencent à comprendre, ce qui leur permet de résoudre instantanément n'importe quel nouveau problème.

Ce papier est un guide de terrain pour comprendre quand et comment survient ce soudain moment « eureka », et ce qui se passe si vous poussez les étudiants trop fort ou pas assez.

Voici la décomposition des résultats à l'aide d'analogies simples :

1. Le « bouton de volume » de l'apprentissage (Weight Decay)

Les chercheurs ont découvert qu'un paramètre appelé Weight Decay agit comme un bouton de volume maître pour le processus d'apprentissage. Il contrôle la « personnalité » de l'entraînement :

Trop silencieux (faible Weight Decay) : Les étudiants sont trop détendus. Ils mémorisent simplement les réponses et ne découvrent jamais la logique sous-jacente. Ils restent coincés en « mode mémorisation ».
Juste ce qu'il faut (Weight Decay moyen) : C'est la zone « Boucle d'Or ». Les étudiants passent par une danse spécifique en deux étapes :
1. Phase de synchronisation : D'abord, tous les étudiants commencent à penser exactement de la même manière (ils se synchronisent). Ils s'accordent tous sur les règles de base.
2. Phase de différenciation : Ensuite, ils commencent à se spécialiser. Certains étudiants deviennent experts en addition, d'autres en multiplication, etc. Ils cessent d'être des clones et deviennent une équipe diversifiée. C'est à ce moment que le « grokking » se produit.
Trop fort (fort Weight Decay) : Si vous tournez le bouton trop haut, les étudiants sont submergés. Ils s'effondrent tous dans un état unique et confus où ils cessent d'apprendre entièrement.

2. Les « thermomètres bon marché » (Diagnostics en ligne)

Habituellement, pour savoir si un étudiant est sur le point de vivre un moment « eureka », il faut attendre la fin du semestre et passer un examen final. Cela prend beaucoup de temps et coûte cher (puissance de calcul).

Les auteurs ont inventé deux thermomètres bon marché et en temps réel que vous pouvez vérifier toutes les quelques minutes pendant que les étudiants sont encore en classe :

Le compteur « Étreinte de groupe » (Similarité cosinus) : Il mesure dans quelle mesure les étudiants sont d'accord les uns avec les autres. Lorsqu'ils commencent à « grokker », ils s'embrassent d'abord (s'accordent) étroitement, puis s'éloignent lentement au fur et à mesure qu'ils se spécialisent.
Le compteur « Chaos » (Écart-type de l'entropie) : Il mesure dans quelle mesure les étudiants sont en désaccord ou varient leurs pensées. Lorsque le moment « eureka » est sur le point de se produire, ce compteur s'affole, montrant que les étudiants sortent de leur état synchronisé pour trouver leurs propres rôles uniques.

Ces outils permettent aux chercheurs de voir le « changement de phase » se produire en temps réel sans attendre l'examen final.

3. Le « point de bascule critique »

Le papier a trouvé un nombre très spécifique (un « point de bascule ») pour le bouton de volume.

Si le paramètre est inférieur à 0,0158, les étudiants n'apprennent presque jamais les règles ; ils se contentent de mémoriser.
Si le paramètre est supérieur à 0,0158, ils apprennent presque toujours les règles.
Le temps nécessaire pour qu'ils apprennent devient plus rapide à mesure que vous tournez le bouton (jusqu'à un certain point), suivant une courbe mathématique prévisible.

4. Le « crash tardif » (Anti-grokking)

Il y a une surprise. Si vous entraînez ces étudiants pendant beaucoup trop longtemps (20 000 étapes au lieu des quelques milliers habituels), certains d'entre eux pourraient soudainement tout oublier et revenir à deviner au hasard. Le papier appelle cela « anti-grokking ».

Bonne nouvelle : Cela ne se produit pas pour tout le monde. Cela dépend de la « graine » (les conditions de départ aléatoires). Certains étudiants sont fragiles et s'effondrent ; d'autres sont résistants et restent intelligents pour toujours.
La cause : Il semble que cela soit causé par le fait que les étudiants perdent leurs rôles uniques et redeviennent trop similaires, mais d'une manière brisée.

5. Est-ce que cela fonctionne pour d'autres « cerveaux » ?

Les chercheurs ont testé si cette règle du « bouton de volume » fonctionnait pour différents types de cerveaux informatiques, et pas seulement pour les standards (Transformers).

Ils l'ont essayé sur des MLP (réseaux simples à propagation avant), des LSTM (réseaux de mémoire anciens) et des Mamba (une architecture nouvelle et efficace).
Résultat : Oui ! Le « bouton de volume » fonctionne toujours. Tous ont une zone « trop silencieux », « juste ce qu'il faut » et « trop fort ». Cependant, le nombre exact sur le bouton nécessaire pour atteindre la zone « juste ce qu'il faut » est différent pour chaque type de cerveau.

Résumé de ce qu'ils ne prétendent pas

Ils ne disent pas que cela s'applique pour l'instant aux grands modèles de langage (comme ceux qui écrivent des essais ou discutent avec vous). Ils n'ont testé que de petits modèles mathématiques.
Ils ne prétendent pas avoir trouvé la « loi de la physique » ultime pour toute l'IA. Ils ont trouvé un motif spécifique pour cette énigme mathématique précise et sont prudents à dire que cela pourrait être différent pour d'autres tâches.
Ils ne disent pas que c'est un remède médical ou un fait biologique, même s'ils ont utilisé des mots comme « battement de cœur » et « synchronisation » comme métaphores.

En résumé : Le papier montre qu'en tournant un seul cadran (Weight Decay), vous pouvez contrôler si un cerveau informatique mémorise, apprend en profondeur ou s'effondre. Ils nous ont également donné deux outils simples pour observer ce processus se produire en temps réel, prouvant que l'apprentissage se produit souvent en deux étapes distinctes : d'abord, tout le monde est d'accord ; ensuite, tout le monde se spécialise.

Résumé Technique : Régimes de Décroissance des Poids dans les Transformers de Grokking

Énoncé du Problème
Le grokking désigne le phénomène où les transformers entraînés sur des tâches algorithmiques (spécifiquement l'arithmétique modulaire) présentent une transition brutale de la mémorisation vers la généralisation bien après que la perte d'entraînement ait saturé. Bien que des études mécanistes aient identifié la formation de circuits internes (par exemple, les représentations de Fourier) et des têtes d'induction comme moteurs de cette transition, la littérature existante manque d'un « diagnostic en ligne peu coûteux » pour suivre ces dynamiques en temps réel. De plus, le rôle de la décroissance des poids ( $\lambda$ ) en tant que paramètre de contrôle pour ces régimes n'a pas été systématiquement cartographié à travers les échelles de modèles, ni la contribution spécifique de la coordination des têtes d'attention isolée des effets de l'amplitude des poids.

Méthodologie
Les auteurs entraînent des transformers uniquement décodeurs sur des tâches d'arithmétique modulaire (mod+, mod-, mod $\times$ , mod $\div$ ) en utilisant l'optimiseur AdamW. L'étude emploie une exploration dense de valeurs de décroissance des poids et fait varier les échelles de modèles (de 0,82 M à 85 M de paramètres) et les architectures (Transformers, MLP, LSTM, Mamba).

Les composants méthodologiques clés incluent :

Paramètres d'ordre en ligne : Deux diagnostics scalaires sont calculés à chaque étape d'entraînement en utilisant uniquement les activations d'attention :
- Similarité Cosine Moyenne par Paires des Têtes d'Attention ( $\bar{s}(t)$ ) : Mesure la coordination (synchronisation) entre les têtes d'attention.
- Écart-type de l'Entropie ( $\sigma_H(t)$ ) : Mesure la dispersion de l'entropie de Shannon à travers les têtes, suivant la différenciation.
Mise à l'échelle de taille finie : Les auteurs ajustent une fonction logistique à la probabilité de grokking ( $P(\text{grok})$ ) en fonction de la décroissance des poids pour estimer un seuil critique $\lambda_c$ . Ils ajustent également une loi de puissance au « temps de grokking » ( $t_{\text{grok}}$ ) pour déterminer l'exposant critique $\nu$ .
Interventions Causales : Pour distinguer la structure des motifs des têtes de l'amplitude des poids, les auteurs réalisent des expériences appariées où les têtes d'attention sont réinitialisées versus où les normes de poids sont tronquées au pic de la phase de différenciation.
Vérification Formelle : Les identités diagnostiques (bornes et propriétés algébriques) sont vérifiées par machine dans Lean 4 pour assurer la bien-fondation mathématique.

Contributions Clés

Seuil Critique Quantitatif : L'étude identifie un seuil critique de décroissance des poids net pour le transformer canonique à 4 couches et 8 têtes sur des tâches mod+ : $\lambda_c = 0,0158$ (IC 95 % [0,0109, 0,0200]).
Diagramme de Régimes : Une carte à deux axes ( $\lambda$ $λ$ , $N$ $N$ ) révèle trois régimes distincts :
- Mémorisation : $\lambda < \lambda_c$ (grokking proche de zéro).
- Grokking Développemental : $\lambda \ge \lambda_c$ (atteignant un taux de grokking d'environ 100 %, avec un temps de grokking diminuant à mesure que $\lambda$ augmente).
- Effondrement : $\lambda = 10$ (toutes les têtes convergent vers des motifs identiques, $\bar{s}=1,0$ ).
Dynamiques en Deux Phases : La trajectoire d'entraînement est caractérisée par :
- Phase 1 (Synchronisation) : Les têtes convergent ( $\bar{s}$ augmente d'environ 0,93 à 0,995) coïncidant avec le début du grokking.
- Phase 2 (Différenciation) : Les têtes divergent ( $\bar{s}$ chute à environ 0,88, $\sigma_H$ augmente) tandis que la précision de test reste élevée.
Dimension par Tête comme Modulateur d'Amplitude : L'amplitude de la différenciation ( $\sigma_H$ ) est empiriquement dominée par la dimension par tête ( $d/H$ ), saturant de manière monotone à mesure que $d/H$ augmente.
Portée Trans-Architecturelle : La transition contrôlée par la décroissance des poids est observée dans des architectures sans attention (MLP, LSTM, Mamba), bien que le seuil critique $\lambda_c$ se déplace significativement (couvrant environ un ordre de grandeur) selon l'architecture.

Résultats

Exposant de Mise à l'Échelle : Le temps de grokking suit une loi de puissance $t_{\text{grok}} \propto (\lambda - \lambda_c)^{-\nu}$ avec un exposant empirique $\nu = 0,757$ (IC 95 % [0,725, 0,799]). Les auteurs notent explicitement que cette valeur ne correspond pas aux exposants de référence standards (par exemple, $\nu=1/2$ ou Ising 3D $\nu \approx 0,63$ ) sous leur densité de grille actuelle, reportant l'identification de la classe d'universalité à des travaux futurs.
Fragilité à Long Terme : À des horizons étendus (20 000 époques), un effondrement « anti-grokking » dépendant de la graine est observé dans certaines trajectoires, caractérisé par un motif en cinq étapes se terminant par une décroissance de la précision. Ceci est identifié comme une fragilité plutôt qu'un cycle universel.
Isolement Causal : La réinitialisation des têtes d'attention réduit significativement l'amplitude de la Phase 2 ( $\sigma_H$ ) par rapport aux contrôles, tandis que le tronçage des normes de poids ne le fait pas. Cela isole l'effet à la structure des motifs des têtes plutôt qu'à l'amplitude des poids.
Réplication Multi-Tâches : Le motif de contrôle par décroissance des poids tient sur quatre opérations modulaires et deux échelles de modèles, confirmant la robustesse de la carte des régimes au-delà de l'addition.

Signification et Revendications
L'article revendique de fournir un cadre de diagnostic peu coûteux et calculable en ligne pour suivre les dynamiques de grokking en utilisant uniquement les activations d'attention, complétant des diagnostics de paysage de perte plus coûteux comme le coefficient d'apprentissage local raffiné (rLLC). Il établit la décroissance des poids comme un paramètre de contrôle empirique principal qui sépare les régimes de mémorisation, de grokking développemental et d'effondrement.

Les auteurs sont modestes quant à leur portée :

Ils ne revendiquent aucune classe d'universalité pour l'exposant observé $\nu \approx 0,76$ , notant que les exposants de référence testés tombent en dehors de leurs intervalles de confiance.
Ils ne revendiquent pas que la décroissance des poids est nécessaire à la généralisation dans toutes les architectures, seulement qu'elle agit comme un paramètre de contrôle au sein des architectures d'attention standard.
Ils reportent explicitement les revendications de mécanisme causal concernant pourquoi la différenciation se produit à des travaux de suivi, se concentrant plutôt sur quand et comment elle se manifeste.
Les résultats sont limités à l'arithmétique modulaire dans de petits modèles d'attention de transformers ; les revendications concernant les grands modèles de langage ou une universalité plus large sont hors de portée.

Le travail se positionne comme une contribution phénoménologique et diagnostique, fournissant une « carte des régimes » et des « paramètres d'ordre » qui complètent les travaux théoriques concurrents sur la mise à l'échelle de taille finie, la contraction de Lyapunov et la relaxation vitreuse.