📊 statistics

A Stochastic--Geometric Theory of Scaling Laws in Grokking

Cet article propose une théorie stochastique-géométrique expliquant le « grokking » comme une transition induite par l'optimisation d'une coquille de mémorisation vers un cœur de généralisation au sein de l'espace de paramètres d'Adam, dérivant ainsi et validant des lois d'échelle pour le temps de délai en fonction du taux d'apprentissage, de la taille des lots et de la régularisation.

Auteurs originaux : Róisín Luo, Christian Gagné, Jonas Ngnawé, Ihsan Ullah, Karyn Morrissey

Publié 2026-07-10

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Róisín Luo, Christian Gagné, Jonas Ngnawé, Ihsan Ullah, Karyn Morrissey

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous regardez un personnage de jeu vidéo essayer de résoudre une énigme complexe. Au début, le personnage court partout frénétiquement, mémorisant chaque étape du chemin qu'il vient de parcouru. Il fait tomber le score à zéro instantanément, mais il n'a pas réellement appris les règles ; il a simplement mémorisé la carte spécifique. C'est ce qu'on appelle la mémorisation.

Puis, quelque chose de magique se produit. Après une longue période ennuyeuse où rien ne semble changer, le personnage s'arrête soudainement, regarde le tableau et comprend. Il commence à résoudre de nouvelles énigmes, encore jamais vues, parfaitement. Ce moment de déclic soudain est ce que les chercheurs appellent le grokking (ou l'éveil de la compréhension).

Pendant longtemps, personne ne savait pourquoi ce délai se produisait. Était-ce de la magie ? Un bug ? Dans cet article, les auteurs proposent une nouvelle façon de visualiser ce qui se passe à l'intérieur du cerveau de l'ordinateur (le réseau de neurones) en utilisant une carte de formes et de distances.

L'oignon des solutions

Les auteurs proposent que l'espace où le "cerveau" de l'ordinateur peut exister ressemble à un ensemble de sphères imbriquées, un peu comme un oignon ou une cible.

La couche externe (Initialisation) : Quand l'ordinateur démarre, ses paramètres sont dispersés sur une fine couche externe. C'est comme lancer des fléchettes qui atterrissent toutes sur le bord très fin d'un immense ballon.
La couche intermédiaire (Mémorisation) : À mesure que l'ordinateur apprend, il glisse rapidement vers une couche intermédiaire. Ici, il a mémorisé parfaitement les données d'entraînement. C'est comme le personnage de notre jeu qui a mémorisé la carte mais ne comprend pas les règles. L'ordinateur reste coincé ici pendant un long moment.
Le noyau (Généralisation) : Profondément dans le centre de l'oignon se trouve le noyau de "généralisation". C'est le point idéal où l'ordinateur comprend réellement les règles et peut résoudre de nouveaux problèmes.

Le phénomène de "grokking" est simplement le voyage de la couche intermédiaire, à travers l'espace vide, jusqu'au noyau. Le mystère était : Pourquoi faut-il autant de temps pour y arriver ?

La marche de l'ivrogne et l'attraction magnétique

Les auteurs expliquent que le processus d'apprentissage de l'ordinateur (utilisant un optimiseur appelé Adam) est un mélange de deux forces :

La marche de l'ivrogne (Diffusion) : Parce que l'ordinateur apprend à partir de petits lots de données, son chemin est un peu chancelant, comme une personne ivre marchant en ligne droite. Cette oscillation est aléatoire.
L'attraction magnétique (Dérive) : Il existe également une force constante qui tire l'ordinateur vers le centre, surtout à cause d'une règle appelée régularisation $\ell_2$ (qui agit comme un aimant doux essayant de maintenir les paramètres de petite taille).

L'article suggère que l'ordinateur reste coincé dans la couche intermédiaire parce que la "marche de l'ivrogne" est trop faible pour le pousser hors de cette couche, et que la "force magnétique" n'est pas assez forte pour l'entraîner directement vers le centre. Il doit errer autour de la couche intermédiaire pendant un certain temps jusqu'à ce que, par chance, les oscillations aléatoires le poussent juste assez loin pour qu'il tombe dans le noyau.

Les règles du jeu (Lois d'échelle)

Les auteurs n'ont pas seulement deviné cela ; ils ont utilisé les mathématiques (plus précisément la théorie du temps d'arrêt et les équations différentielles stochastiques) pour prédire exactement combien de temps ce délai devrait durer. Ils ont trouvé trois principaux "boutons de réglage" qui contrôlent la vitesse de ce voyage :

Le taux d'apprentissage ( $\eta$ ) : C'est la taille du pas que fait l'ordinateur. L'article montre que si vous faites des pas trop petits, cela prend une éternité pour sortir de la couche intermédiaire. Si vous les faites trop grands, l'ordinateur risque de dépasser la cible. Il existe une zone "Goldilocks" (ni trop chaud, ni trop froid).
La taille du lot ( $b$ ) : C'est le nombre d'exemples que l'ordinateur regarde avant de faire un pas. L'article suggère que des lots plus grands rendent la "marche de l'ivrogne" moins chancelante, ce qui ralentit en réalité l'évasion de la couche intermédiaire.
La régularisation ( $\lambda$ ) : C'est la force de la "force magnétique". L'article trouve qu'une force plus grande aide l'ordinateur à sortir de la couche intermédiaire plus rapidement, mais seulement jusqu'à un certain point.

Ils ont dérivé des formules spécifiques (lois d'échelle) pour la façon dont ces boutons modifient le temps nécessaire pour grokker. Par exemple, le temps nécessaire pour passer de la mémorisation à la généralisation est approximativement proportionnel à $1/(\eta \lambda)$ . Cela signifie que si vous doublez le taux d'apprentissage ou la régularisation, le délai est divisé par deux.

Ce qu'ils ont écarté

L'article est très prudent pour préciser ce qu'il ne prétend pas. Ils ne disent pas que le grokking se produit parce que le réseau "trouve soudainement un circuit" ou à cause d'un mystérieux éveil de type biologique. Au contraire, ils soutiennent qu'il s'agit purement d'un résultat de la géométrie de l'espace des solutions et de l'aléatoire du processus d'optimisation. Ils écartent également l'idée qu'il s'agit d'un simple coup de chance ; leurs mathématiques suggèrent que c'est une caractéristique structurelle et prévisible de la façon dont Adam optimise ces types de problèmes spécifiques.

À quel point en sont-ils sûrs ?

Les auteurs sont assez confiants dans leur théorie, mais ils font soigneusement la distinction entre ce qu'ils ont prouvé et ce qu'ils ont mesuré.

Les Mathématiques : Ils ont dérivé ces lois d'échelle en utilisant des preuves mathématiques rigoureuses basées sur des modèles en temps continu du processus d'apprentissage. Ils ont utilisé un système d'algèbre symbolique (un programme informatique qui fait des maths) pour vérifier leurs formules, ce qui leur donne une grande confiance dans les équations.
La Preuve : Ils ont testé leurs idées sur deux types de puzzles spécifiques : l'apprentissage de groupe (spécifiquement sur le groupe symétrique $S_5$ ) et l'arithmétique modulaire (spécifiquement sur les entiers modulo 127, écrit sous la forme $Z_{127}$ ).
Les Résultats : Dans ces expériences, le comportement de l'ordinateur correspondait à leurs prédictions. Par exemple, lorsqu'ils modifiaient le taux d'apprentissage ou la taille du lot, le temps nécessaire pour grokker changeait exactement comme leurs formules le prédisaient. Ils ont également observé la courbe en "U" pour le rayon de mémorisation, ce qui, selon leur théorie, devait se produire.

Cependant, ils notent que leurs mathématiques reposent sur certaines conditions, comme un faible taux d'apprentissage et une grande taille de lot. Ils ne prétendent pas que cela explique chaque instance de grokking dans chaque réseau de neurones possible, mais plutôt que cela explique le phénomène dans ces tâches spécifiques et structurées où la géométrie "coquille-noyau" existe.

L'essentiel à retenir

Le grokking n'est pas de la magie ; c'est un voyage géométrique. L'ordinateur commence à l'extérieur, reste coincé dans une "coquille de mémorisation", et doit errer jusqu'à ce que le bruit aléatoire de son processus d'apprentissage le pousse dans le "noyau de généralisation". Le temps nécessaire pour faire ce saut dépend de la vitesse à laquelle il fait ses pas (taux d'apprentissage), de la régularité de ses pas (taille du lot) et de la force avec laquelle il est tiré vers le centre (régularisation). Les auteurs ont cartographié ces règles avec des mathématiques et les ont confirmées par des expériences, nous donnant une image plus claire de la raison pour laquelle ces réseaux de neurones semblent parfois dormir longtemps avant de se réveiller soudainement.

Énoncé du Problème
La généralisation différée, ou « grokking », est un phénomène observé dans les réseaux de neurones entraînés sur des tâches hautement structurées et sans bruit (par exemple, l'arithmétique modulaire, l'apprentissage de la théorie des groupes). Dans ces contextes, les modèles atteignent rapidement une perte d'entraînement proche de zéro (mémorisation) mais échouent à généraliser pendant une période prolongée avant de transiter brusquement vers une forte performance de test. Malgré des études empiriques approfondies, le mécanisme sous-jédant qui régit ce délai et le rôle spécifique des hyperparamètres (taux d'apprentissage, taille de lot, régularisation) restent mal compris.

Méthodologie
Les auteurs proposent un cadre stochastique-géométrique pour caractériser le grokking, fondé sur la dynamique d'optimisation de l'optimiseur Adam avec régularisation par contraction de poids $\ell_2$ .

Caractérisation Topologique : Le papier postule que la dynamique d'optimisation d'Adam induit une configuration topologique « coquille-noyau » (shell–core) dans l'espace des paramètres.
- Initialisation : Les solutions se concentrent sur une fine coquille hypersphérique extérieure ( $\Theta$ ).
- Mémorisation : Enclavée dans $\Theta$ se trouve une coquille de solutions de mémorisation ( $M \setminus G$ ), où le modèle ajuste les données d'entraînement mais échoue à généraliser.
- Généralisation : Au centre se trouve un noyau compact de solutions de généralisation ( $G$ ).
- La transition de la mémorisation à la généralisation est modélisée comme une échappée stochastique de la coquille extérieure vers le noyau intérieur.
Formulation par Équation Différentielle Stochastique (EDS) :
- Les auteurs dérivent une limite en temps continu de la dynamique d'Adam, formulant une EDS à état conjoint pour les paramètres ( $\theta$ ) et les estimations du premier et du second moment ( $m, v$ ). Cette EDS prend en compte la stochasticité des gradients de mini-lots et les mécanismes de correction de biais d'Adam.
- Réduction de Stade Tardif : Des observations empiriques suggèrent que dans les stades tardifs de l'entraînement (post-mémorisation), les estimations de moments convergent vers leurs limites de champ moyen, et le bruit du gradient devient faible et isotrope. Ces propriétés permettent de réduire la complexe EDS à état conjoint à une EDS radiale traitable régissant l'évolution de la norme carrée des paramètres ( $r_t^2 = \|\theta_t\|^2$ ).
Analyse du Temps d'Arrêt :
- Le temps de transition de la variété de mémorisation ( $\partial M$ ) vers la variété de généralisation ( $\partial G$ ) est analysé en utilisant la théorie du temps d'arrêt pour les processus stochastiques.
- Les auteurs dérivent des lois d'échelle pour les rayons de ces variétés et le temps de transition attendu en résolvant des problèmes de valeur aux limites de Dirichlet et des équations de temps de passage au premier état dérivées des EDS réduites.

Contributions Clés

Topologie Coquille-Noyau Induite par l'Optimisation : Le papier introduit un a priori théorique où l'initialisation se concentre sur une coquille entourant les solutions de mémorisation, lesquelles entourent à leur tour un noyau de généralisation. Cette configuration est induite spécifiquement par les dynamiques d'Adam avec contraction de poids.
Caractérisation Stochastique-Géométrique : Le grokking est formellement caractérisé comme un problème de transition stochastique. La géométrie de l'espace de solution est définie par le premier temps d'arrêt auquel les flux de gradient stochastiques échappent à la variété de mémorisation et atteignent la variété de généralisation.
Dérivation des Lois d'Échelle : Les auteurs dérivent des lois d'échelle asymptotiques en forme close pour :
- Rayon de Mémorisation ( $\rho_M$ ) : Dépend du taux d'apprentissage ( $\eta$ ), de la taille de lot ( $b$ ) et de la régularisation ( $\lambda$ ). La théorie prédit une dépendance en forme de U par rapport au ratio $\eta/b$ .
- Rayon de Généralisation ( $\rho_G$ ) : Dépend de $\eta$ , $\lambda$ et $b$ , se décomposant en un terme dépendant du paysage et une correction de fluctuation.
- Temps de Transition de Solution ( $\tau_{M \to G}$ ) : Le nombre attendu d'itérations pour passer de la mémorisation à la généralisation est inversement proportionnel au coefficient de régularisation ( $\lambda$ ) et au taux d'apprentissage ( $\eta$ ), spécifiquement $\tau \propto 1/(\eta \lambda)$ .

Résultats
Les prédictions théoriques ont été validées par des expériences sur deux tâches d'apprentissage structuré : l'apprentissage de la théorie des groupes sur le groupe symétrique $S_5$ et l'arithmétique modulaire sur $\mathbb{Z}_{127}$ .

Validation Empirique : Les expériences ont confirmé les lois d'échelle prédites pour les rayons des variétés et les temps de transition à travers divers hyperparamètres.
Courbe en U : Les données ont soutenu la prédiction théorique selon laquelle le rayon de mémorisation $\rho_M$ présente une courbe en forme de U par rapport à $\eta/b$ .
Récupération de la Littérature : Les lois d'échelle dérivées ont permis de retrouver des résultats empiriques connus de la littérature antérieure, tels que la dépendance inverse du délai de grokking par rapport à la régularisation et la « zone Goldilocks » pour les normes de poids.
Vérification Symbolique : Tous les résultats en forme close et asymptotiques ont été vérifiés par un système d'algèbre symbolique (Julia) pour garantir la correction technique.

Signification
Le papier prétend fournir un cadre théorique qui relie la géométrie des variétés de solutions aux dynamiques stochastiques de l'optimiseur Adam. En caractérisant le grokking via l'analyse du temps d'arrêt des EDS, ce travail offre une explication mécaniste du phénomène de généralisation différée. Il clarifie comment des hyperparamètres spécifiques modulent la diffusion stochastique et la dérive déterministe pour influencer le temps requis pour qu'un modèle passe de la mémorisation à la généralisation. Les auteurs notent que leurs résultats reposent sur les conditions requises pour la limite EDS d'Adam (taux d'apprentissage suffisamment petit et grande taille de lot) et ne s'appliquent pas directement au régime de grand $\eta/b$ .