📊 statistics

To Grok Grokking: Provable Grokking in Ridge Regression

Cet article fournit les premières bornes quantitatives rigoureuses sur le « temps de grokking » en prouvant que les modèles de régression linéaire sur-paramétrés entraînés par descente de gradient et décroissance des poids passent inévitablement du surapprentissage à une généralisation parfaite, démontrant que ce phénomène est une conséquence contrôlable des conditions d'entraînement plutôt qu'un échec inhérent de l'apprentissage profond.

Auteurs originaux : Mingyue Xu, Gal Vardi, Itay Safran

Publié 2026-06-01

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mingyue Xu, Gal Vardi, Itay Safran

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un élève comment résoudre des problèmes de mathématiques. Vous lui donnez un ensemble spécifique de questions d'entraînement (les données d'apprentissage) et un manuel de règles (l'algorithme d'apprentissage).

D'habitude, on s'attend à ce qu'un élève s'améliore pour résoudre de nouveaux problèmes (la généralisation) à mesure qu'il s'entraîne. Mais parfois, quelque chose de bizarre se produit. L'élève mémorise parfaitement les questions d'entraînement, obtient un score de 100 %, et puis... plus rien ne se passe. Il continue d'obtenir 100 % sur la fiche d'exercices, mais si vous lui donnez un nouvel examen, il échoue lamentablement. Il reste coincé dans cet état de « mémorisation sans compréhension » pendant très longtemps.

Puis, soudainement, après ce qui ressemble à une stagnation interminable, l'élève a un déclic. Il arrête de simplement mémoriser et commence enfin à comprendre la logique sous-jacente. Soudain, il réussit l'examen avec brio.

Ce phénomène est appelé « Grokking » (ou l'acquisition de la compréhension intuitive). C'est comme si l'élève avait dormi pendant la leçon, avait mémorisé les réponses par cœur, puis s'était enfin réveillé des années plus tard pour enfin comprendre le concept.

La grande découverte de l'article

Pendant longtemps, les scientifiques pensaient que ce « Grokking » ne se produisait que dans des systèmes d'IA super complexes et mystérieux (comme les réseaux de neurones profonds). Ils pensaient qu'il s'agissait d'un bug étrange de la technologie moderne.

Cet article affirme cependant : « Attendez une minute. Vous n'avez pas besoin d'un super-ordinateur pour que cela se produise. »

Les auteurs ont prouvé que le Grokking peut se produire dans le problème mathématique le plus simple et le plus classique imaginable : la Régression Ridge. Considérez cela comme une manière très basique et linéaire de tracer une ligne à travers un nuage de points. C'est le « Hello World » de l'apprentissage automatique.

Ils ont montré que même avec cet outil simple, si vous réglez les paramètres de la bonne manière, vous pouvez forcer le modèle à :

Mémoriser les données rapidement (Surapprentissage/Overfitting).
S'enliser pendant un long moment, en échouant à comprendre de nouvelles données (Le « Temps de Grokking »).
Comprendre soudainement et généraliser parfaitement.

La recette secrète : Le bouton « Weight Decay » (Décroissance du poids)

L'article identifie le principal coupable de ce retard comme étant un réglage appelé « Weight Decay » (décroissance du poids).

Imaginez que vous conduisez une voiture (le modèle) vers une destination (la bonne réponse).

Les Données d'Entraînement sont la carte d'un itinéraire spécifique que vous avez déjà parcouru.
Le Weight Decay est comme une main légère sur le volant qui tente constamment de repousser la voiture vers le centre de la route, l'empêchant de trop s'écarter de sa trajectoire.

Voici l'analogie de ce que l'article a découvert :

La voie rapide (Erreur d'entraînement) : Lorsque la voiture est sur la route familière (les données d'entraînement), elle avance très rapidement. Même avec la main légère sur le volant (faible weight decay), la voiture épouse parfaitement la route. Le conducteur se dit : « Je m'en sors très bien ! »
La phase d'enlisement (Le Temps de Grokking) : Mais quand le conducteur essaie de quitter la route familière pour conduire sur une nouvelle route (généralisation), la voiture s'enlise. La « main sur le volant » (le weight decay) est trop faible pour sortir la voiture des ornières profondes de l'ancienne route. La voiture avance techniquement, mais elle ne fait que patiner dans la boue de l'ancien chemin. Il faut un temps considérable pour que la voiture dérive lentement hors de ces ornières.
Le déclic : Finalement, la main légère (le weight decay) fait son travail. Elle tire lentement la voiture hors des ornières et la replace au centre de la route. Une fois la voiture centrée, elle peut enfin rouler de manière fluide sur n'importe quelle nouvelle route.

Ce que l'article prouve

Les auteurs ne se sont pas contentés d'observer ce phénomène ; ils ont écrit une recette mathématique pour prédire exactement combien de temps la voiture restera coincée dans la boue.

Plus le Weight Decay est petit : Plus la voiture reste longtemps coincée. Si vous désactivez presque la « main sur le volant », la voiture pourrait rester dans les ornières pendant un temps incroyablement long avant de enfin généraliser.
Plus il y a de données : Si vous avez une carte immense (beaucoup de données d'entraînement), la voiture reste coincée plus vite car les ornières sont plus profondes.
Plus il y a de dimensions : Si la route est très large et complexe, la voiture met plus de temps à trouver le centre.

Pourquoi cela importe

L'article soutient que le Grokking n'est pas un échec magique du « Deep Learning » ou un signe que l'IA est défaillante. Ce n'est pas un bug ; c'est une caractéristique de la manière dont certains processus d'entraînement fonctionnent.

C'est comme dire : « Si vous apprenez à un élève à mémoriser des réponses sans le laisser réfléchir, il finira par comprendre, mais cela prendra du temps. » L'article montre qu'en ajustant le « style d'enseignement » (les hyperparamètres comme le weight decay), vous pouvez contrôler exactement la durée de ce délai. Vous pouvez faire en sorte que l'élève comprenne instantanément, ou le faire attendre des années, le tout avec la même mathématique simple.

En bref : L'article prouve que ce comportement étrange de « mémoriser d'abord, comprendre plus tard » est une propriété fondamentale des algorithmes d'apprentissage, et non un mystère lié à l'IA complexe. Cela se produit même dans les cours de mathématiques les plus simples, et nous pouvons désormais calculer exactement de combien de temps le délai de « compréhension » sera retardé.

Résumé Technique : To Grok Grokking : Grokking Prouvable dans la Régression Ridge

Énoncé du Problème

L'article étudie le phénomène de grokking, défini comme l'apparition de la généralisation longtemps après qu'un modèle a atteint une performance parfaite sur l'entraînement (surapprentissage/overfitting). Bien que précédemment observé principalement dans des réseaux de neurones non linéaires complexes et des jeux de données algorithmiques, les auteurs visent à établir des garanties théoriques rigoureuses de bout en bout pour ce phénomène dans un cadre linéaire classique. Plus précisément, l'article comble une lacune dans la littérature existante où les travaux antérieurs soit manquaient de preuves formelles du « délai » entre le surapprentissage et la généralisation, soit reposaient sur des structures de problèmes spécifiques et non généralisables (ex: l'addition modulaire). La question centrale est de savoir si le grokking peut être démontré de manière prouvable dans la régression ridge sur-paramétrée en utilisant la descente de gradient (GD) avec décroissance de poids (weight decay), et si oui, comment les hyperparamètres contrôlent quantitativement le « temps de grokking ».

Méthodologie

Les auteurs formulent le problème dans un cadre enseignant-étudiant (teacher-student framework) :

Cadre : Régression linéaire sur-paramétrée où le modèle étudiant $N(x; \theta)$ apprend une fonction enseignante réalisable $N^*(x) = \langle \theta^*, \phi(x) \rangle$ .
Optimisation : L'étudiant est entraîné via la descente de gradient (GD) avec un pas fixe $\eta$ et un terme de régularisation $\ell_2$ (décroissance de poids) $\lambda$ . L'objectif est l'erreur quadratique moyenne régularisée :
$L_n(\theta; \lambda) = \frac{1}{2n}\sum_{i=1}^n (N(x_i; \theta) - N^*(x_i))^2 + \frac{\lambda}{2}\|\theta\|_2^2$
Stratégie d'analyse : Les auteurs décomposent le vecteur de paramètres $\theta$ $θ$ en deux composantes orthogonales par rapport à l'espace engendré par les données :
1. $\theta_{\parallel}$ : La composante dans l'espace ligne de la matrice de caractéristiques $\Phi$ (sous-espace engendré par les données).
2. $\theta_{\perp}$ : La composante dans le noyau de $\Phi$ (sous-espace complémentaire).
Approche théorique : La preuve analyse séparément les taux de convergence de l'erreur d'entraînement (erreur empirique) et de l'erreur de généralisation (erreur de population). Le mécanisme central repose sur la démonstration que $\theta_{\parallel}$ converge rapidement pour ajuster les données d'entraînement, tandis que $\theta_{\perp}$ décroît lentement à cause de la décroissance de poids, provoquant un délai prolongé de mauvaise généralisation.

Contributions Clés

Premier Grokking Prouvable de Bout en Bout : L'article fournit les premières bornes quantitatives rigoureuses démontrant les trois étapes distinctes du grokking dans un cadre linéaire :
- (i) Surapprentissage rapide des données d'entraînement.
- (ii) Un délai persistant où l'erreur de généralisation reste élevée malgré une erreur d'entraînement nulle.
- (iii) Convergence finale vers un modèle avec une erreur de généralisation arbitrairement petite.
Bornes Quantitatives sur le Temps de Grokking : Les auteurs dérivent des bornes inférieures explicites pour le « temps de grokking » ( $t_2 - t_1$ $t_{2} - t_{1}$ ), où $t_1$ $t_{1}$ est le temps pour surapprendre et $t_2$ $t_{2}$ est le temps pour généraliser. Ces bornes sont exprimées en termes d'hyperparamètres du modèle :
- Décroissance de poids ( $\lambda$ ) : Le temps de grokking est inversement proportionnel à $\lambda$ ( $t_2 \propto 1/\lambda$ ). Un $\lambda$ plus petit retarde considérablement la généralisation.
- Échelle d'initialisation ( $\nu^2$ ) : Augmenter l'échelle d'initialisation amplifie le grokking de manière logarithmique ( $t_1, t_2 \propto \ln(\nu^2)$ ).
- Sur-paramétrage : Le phénomène est montré comme nécessitant un cadre de haute dimension ( $m \gg n$ ).
Contrôle par Hyperparamètres : L'article établit des conditions suffisantes sur les hyperparamètres (taille de l'échantillon $n$ , dimension des caractéristiques $m$ , décroissance de poids $\lambda$ , et échelle d'initialisation $\nu^2$ ) pour induire ou éliminer le grokking.
Validation Empirique sur des Modèles Non Linéaires : Bien que la théorie soit dérivée pour la régression linéaire, les auteurs démontrent empiriquement que les dépendances quantitatives sur les hyperparamètres (par exemple, l'effet de $\lambda$ sur le délai) correspondent qualitativement au comportement observé dans les réseaux de neurones ReLU à deux couches non linéaires.

Résultats Clés

Taux de Convergence : L'erreur d'entraînement converge à un taux dominé par la plus petite valeur propre non nulle de la covariance empirique des caractéristiques ( $\lambda^+_{\min}(\Phi^\top \Phi)$ ), ce qui est rapide. En revanche, l'erreur de généralisation est minorée par un terme décroissant au taux de $(1 - \eta\lambda)^t$ , ce qui est arbitrairement lent pour un petit $\lambda$ .
Le Mécanisme de Grokking : Le délai provient du fait que la GD avec une faible décroissance de poids ne met à jour efficacement que la projection des poids sur l'espace des données pour minimiser l'erreur d'entraînement, tandis que la composante orthogonale (qui contribue à l'erreur de généralisation) ne décroît que via le terme lent de décroissance de poids.
Théorèmes :
- Théorème 4.1 : Établit le grokking pour l'enseignant nul (zero teacher), fournissant des bornes supérieures et inférieures correspondantes sur la convergence de la perte.
- Théorème 4.2 : Généralise le résultat à tout enseignant réalisable, fournissant des bornes explicites pour $t_1$ et $t_2$ (Équations 6 et 7).
- Théorèmes 4.4 & 4.5 : Prouvent la convergence rapide de la perte d'entraînement et la persistance d'une mauvaise généralisation, respectivement.
- Théorème 4.6 : Prouve que la GD converge finalement vers un minimum global avec de bonnes garanties de généralisation.

Signification et Revendications

L'article affirme fournir un cadre théorique fondamental pour comprendre le grokking. En isolant le phénomène dans le cadre simple et transparent de la régression linéaire, les auteurs soutiennent que :

Le grokking n'est pas un mode de défaillance inhérent aux architectures de deep learning ou aux non-linéarités, mais plutôt une conséquence de conditions d'entraînement spécifiques (plus précisément, l'interaction entre le sur-paramétrage et la faible décroissance de poids).
Le phénomène ne nécessite pas de changements fondamentaux à l'architecture du modèle ou aux algorithmes d'apprentissage pour être évité ; il peut être contrôlé via le réglage des hyperparamètres.
Les résultats offrent les premières bornes quantitatives rigoureuses sur le délai de la généralisation, allant au-delà des observations empiriques ou des explications heuristiques (telles que les transitions de régime "lazy-to-rich") trouvées dans la littérature antérieure.
Les conclusions suggèrent que le « plateau d'erreur de test » souvent observé en classification (un artefact des métriques discrètes) existe également en régression lorsqu'il est évalué via des métriques de précision basées sur des seuils, confirmant l'universalité du phénomène à travers différents types de pertes.

Les auteurs font preuve de modestie quant à la portée de leurs travaux, notant que si leur analyse linéaire fournit des preuves rigoureuses, étendre ces résultats à des contextes non réalisables ou prouver la transition "lazy-to-rich" dans les réseaux de neurones profonds reste un défi ouvert nécessitant de nouveaux outils théoriques.