🤖 machine learning

The Geometry of Grokking: Norm Minimization on the Zero-Loss Manifold

Cet article explique le phénomène de généralisation tardive connu sous le nom de « grokking » en prouvant que, dans la limite de taux d'apprentissage et de décroissance des poids faibles, la descente de gradient minimise la norme des poids sur la variété de perte nulle, un mécanisme validé par une expression de forme fermée dérivée pour la dynamique post-mémorisation et par des simulations expérimentales.

Auteurs originaux : Tiberiu Musat

Publié 2026-06-02

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tiberiu Musat

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le grand mystère : Qu'est-ce que le « Grokking » ?

Imaginez que vous enseigniez les mathématiques à un robot. Vous lui montrez un exemple : $1 + 1 = 2$ .

Phase 1 (Mémorisation) : Le robot apprend rapidement à dire « 2 » dès qu'il voit « $1 + 1$ ». Il a mémorisé la réponse. Si vous lui demandez de résoudre un nouveau problème, comme $2 + 2$ , il échoue. C'est juste un perroquet qui répète ce qu'il a entendu.
L'attente interminable : Vous continuez l'entraînement du robot. Pendant longtemps, rien ne semble changer. Il ne connaît toujours que cet unique exemple.
Phase 2 (Grokking) : Soudain, après des centaines ou des milliers d'étapes supplémentaires, le robot a un « déclic ». Il comprend la règle de l'addition. Désormais, il peut résoudre $2 + 2$ , $5 + 3$ , et n'importe quel autre problème d'addition parfaitement.

Ce délai étrange — où le robot passe de la « mémorisation » à la « compréhension » bien après avoir déjà maîtrisé les données d'entraînement — est appelé le Grokking.

L'idée principale du papier : La variété à « perte nulle » (Zero-Loss Manifold)

Les auteurs de ce papier veulent expliquer pour pourquoi cela se produit. Ils proposent une nouvelle façon de regarder comment le robot apprend durant cette longue période d'attente.

Considérez le cerveau du robot comme un immense paysage multidimensionnel.

Le but : Le robot veut atteindre une vallée où l'« erreur » (à quel point il se trompe) est de zéro.
La vallée à perte nulle : Une fois que le robot a mémorisé l'exemple unique ( $1 + 1 = 2$ ), il a atteint le fond d'une vallée très spécifique et plate. Dans cette vallée, le robot ne commet aucune erreur sur les données d'entraînement.
Le problème : Cette vallée est immense. Il existe des millions de façons différentes de disposer les curseurs internes du robot (les poids) pour obtenir une erreur nulle. Certaines de ces configurations sont « intelligentes » (elles généralisent à de nouvelles mathématiques), et d'autres sont « stupides » (elles ne fonctionnent que pour l'exemple unique).

Le mécanisme secret : La minimisation de la norme

Le papier soutient qu'une fois que le robot est dans cette « Vallée à perte nulle », le processus d'entraînement change son objectif. Il cesse d'essayer de réduire l'erreur (car l'erreur est déjà nulle) et commence à se simplifier lui-même.

L'analogie : Le funambule
Imaginez le robot comme un funambule sur un fil très long et sinueux (la Vallée à perte nulle).

Le fil : Le fil représente toutes les façons possibles pour le robot d'obtenir la bonne réponse.
La poussée : Le processus d'entraînement inclut une « décroissance du poids » (weight decay — une petite force qui pousse constamment le robot à utiliser moins d'énergie).
Le résultat : Comme le robot est déjà sur le fil (erreur nulle), la seule chose qu'il puisse faire est de glisser le long du fil. La force d'« économie d'énergie » le pousse vers la partie du fil qui est la plus courte et la plus simple.

Les auteurs prouvent mathématiquement que le robot est essentiellement en train de glisser le long de ce fil, à la recherche de la solution la plus simple. Finalement, il trouve le chemin le plus « simple », qui s'avère être celui qui comprend la règle générale de l'addition. C'est pourquoi la généralisation se produit après la mémorisation : le robot doit terminer sa longue et lente glissade le long du fil pour trouver la solution simple.

La preuve par le « Modèle Jouet »

Pour montrer qu'il ne s'agit pas d'un simple hasard, les auteurs ont construit un tout petit robot simple (un modèle linéaire) avec seulement deux curseurs.

Ils l'ont entraîné sur $1 + 1 = 2$ .
Observation : Le robot a rapidement trouvé une solution qui fonctionnait pour les données d'entraînement, mais qui était bizarre (par exemple, utilisant un très grand nombre positif et un très grand nombre négatif qui s'annulent).
La glissade : Ensuite, lentement, la « décroissance du poids » a poussé les curseurs vers une solution beaucoup plus simple et équilibrée (1 et 1).
Le résultat : Dès que les curseurs ont atteint ce point simple et équilibré, le robot est soudainement devenu excellent pour résoudre n'importe quel problème d'addition, pas seulement $1 + 1$ .

La vue « isolée » : Se concentrer sur la couche d'embedding

Le papier aborde également une seconde question : pouvons-nous comprendre une partie seulement du cerveau du robot sans modéliser l'ensemble ?

Dans le cas spécifique de l'addition modulaire (les mathématiques avec une horloge, comme $11 + 2 = 1$ ), des recherches antérieures ont montré que le robot dispose les nombres en un cercle.

L'analogie : Imaginez que la première couche du robot est un cartographe. Il prend les nombres et les place sur une carte.
La découverte : Les auteurs ont créé un raccourci mathématique. Ils ont montré que si l'on suppose que la seconde couche du robot est toujours « parfaitement ajustée » à la première, on peut écrire une formule simple qui prédit exactement comment le cartographe (la première couche) va se déplacer.
La simulation : Lorsqu'ils ont exécuté cette formule sur un ordinateur, elle a parfaitement recréé l'effet de « Grokking ». Le cartographe a lentement réorganisé les nombres, passant d'un amas désordonné à un cercle parfait, et c'est alors que le robot a commencé à comprendre les mathématiques.

Résumé des découvertes

Le Grokking est géométrique : Le délai d'apprentissage n'est pas un bug, c'est une caractéristique de la géométrie. Le robot doit parcourir une longue distance le long d'un chemin à « erreur nulle » pour trouver la solution la plus simple.
La décroissance du poids est le moteur : La petite force qui tente de rendre les nombres du robot plus petits (décroissance du poids) est ce qui le pousse le long de ce chemin. Sans elle, le robot resterait bloqué dans le point de « mémorisation » pour toujours.
La simplification fonctionne : Vous pouvez prédire comment un réseau complexe apprend en regardant simplement une partie de celui-ci (la couche d'embedding) et en supposant que le reste du réseau s'adapte instantanément.

Ce que le papier ne prétend PAS

Il ne prétend pas que cela fonctionne pour tout type d'IA ou pour tout type de données (il se concentre sur des problèmes mathématiques spécifiques et des réseaux simples).
Il ne suggère pas encore d'utiliser cela pour construire de meilleures IA médicales ou des voitures autonomes.
Il ne prétend pas avoir résolu le mystère de tous les réseaux de neurones, mais seulement le phénomène spécifique du « grokking » dans ces contextes.

En bref, le papier nous dit que le Grokking est le robot faisant une longue et lente promenade sur une ligne droite pour trouver la manière la plus simple et la plus élégante de résoudre un problème.

Résumé Technique : La Géométrie du Grokking

Énoncé du Problème
L'article traite du phénomène de « grokking » dans les réseaux de neurones, où un modèle atteint une généralisation parfaite sur les données de test seulement après un délai substantiel suivant la mémorisation complète de l'ensemble d'entraînement. Bien que des recherches antérieures aient lié cette généralisation tardive à l'apprentissage de représentations piloté par la décroissance des poids (weight decay), la dynamique sous-jacente précise reste obscure. Plus précisément, les auteurs cherchent à répondre aux questions suivantes : (1) Quel est le rôle exact de la décroissance des poids dans l'apprentissage post-mémorisation ? et (2) Les dynamiques d'apprentissage de composants spécifiques du réseau (comme les couches d'embedding) peuvent-elles être isolées du reste du réseau ?

Méthodologie et Cadre Théorique
Les auteurs abordent le problème à travers le prisme de l'optimisation contrainte et du flot de gradient, en analysant le système dans la limite de taux d'apprentissage et de coefficients de décroissance des poids infinitésimaux ( $\lambda \to 0$ ).

Dynamique Post-Mémorisation : L'article prouve formellement qu'une fois qu'un réseau atteint une perte d'entraînement nulle (mémorisation), la dynamique d'apprentissage subséquente est contrainte à la variété de perte nulle ( $Z$ ). Dans ce régime, la descente de gradient minimise efficacement la norme des poids ( $\|\theta\|^2$ ) tout en restant sur $Z$ . Les auteurs établissent que le gradient de la perte devient orthogonal à l'espace tangent de la variété de perte nulle à mesure que les paramètres approchent $Z$ , ce qui signifie que la fonction de perte ne pilote plus les mises à jour des paramètres ; au lieu de cela, la décroissance des poids pousse les paramètres vers la solution de norme minimale au sein de l'ensemble de perte nulle.
Dynamique des Composants Isolés : Pour analyser des couches spécifiques, les auteurs proposent une approximation où la dynamique d'un sous-ensemble de paramètres ( $\theta_1$ ) est découplée du reste ( $\theta_2$ ). En supposant que $\theta_2$ s'adapte instantanément à la valeur optimale pour toute valeur donnée de $\theta_1$ (en traitant $\theta_2$ comme une variable rapide), ils dérivent une fonction de coût effective $R(\theta_1) = \min_{\theta_2} L_\lambda(\theta_1, \theta_2)$ .
Dérivation d'un Réseau à Deux Couches : En appliquant ce cadre à un réseau à deux couches avec une perte d'erreur quadratique moyenne, les auteurs dérivent une expression en forme close pour la dynamique d'apprentissage de la première couche (la couche d'embedding). Dans la limite de sur-paramétrage et de perte nulle, la dynamique des poids de la première couche $W_1$ suit le flot de gradient d'une fonction de coût spécifique qui équilibre la décroissance des poids et l'ajustement de la seconde couche.

Résultats Clés

Preuve Théorique : L'article prouve que pour presque tous les jeux de données, l'ensemble de perte nulle est une variété lisse exempte de singularités durant l'entraînement standard. Il prouve en outre que le gradient de la perte est orthogonal à cette variété près de la solution, confirmant que l'apprentissage post-mémorisation est entièrement piloté par la minimisation de la norme.
Validation par Modèle Simplifié : En utilisant des modèles linéaires sur des tâches d'addition, les auteurs démontrent que les modèles convergent initialement vers une solution de perte nulle (mémorisation), puis dérivent lentement le long de la variété de perte nulle vers la solution de norme minimale (généralisation). La vitesse de cette dérive est inversement proportionnelle au coefficient de décroissance des poids.
Simulation du Grokking : Les auteurs simulent la dynamique en forme close dérivée pour la première couche d'un réseau entraîné sur l'addition modulaire. La simulation reproduit avec succès le saut caractéristique de la généralisation tardive : le modèle maintient une perte d'entraînement nulle tout en maintenant une précision de test proche du hasard pendant des centaines d'étapes, avant de bondir vers une généralisation parfaite.
Apprentissage de Représentation : La simulation révèle que, durant la phase de généralisation, les vecteurs d'embedding s'organisent en structures circulaires dans le domaine de Fourier. Plus précisément, les normes des caractéristiques de Fourier s'égalisent et les caractéristiques deviennent orthogonales, reflétant les « représentations circulaires » observées dans des études d'interprétabilité antérieures du grokking.

Signification et Revendications
L'article affirme fournir une explication géométrique formelle du grokking, l'identifiant comme un processus en deux phases : une phase rapide de mémorisation suivie d'une phase lente de minimisation de la norme sur la variété de perte nulle. En dérivant une expression en forme close pour la dynamique de la couche d'embedding, les auteurs offrent une base théorique pour comprendre comment des composants spécifiques du réseau apprennent des représentations.

Les auteurs positionnent ce travail comme une étape vers la démystification du fonctionnement interne des réseaux de neurones, ce qui est crucial pour développer des systèmes d'IA plus sûrs et plus fiables. Ils notent que leurs conclusions s'alignent sur les travaux concomitants de Boursier et al. (2026) concernant le flot de gradient régularisé. L'article reconnaît modestement ses limites, notant qu'il se concentre sur la perte d'erreur quadratique moyenne plutôt que sur l'entropie croisée et qu'il est actuellement limité aux réseaux à deux couches, laissant la dynamique des architectures plus profondes comme un défi ouvert.