📊 statistics

Algebraic Representability as the Limiting Regime of Grokking: An Exactly Solvable Model with Holomorphic Activations

Cet article démontre que dans les réseaux de neurones à deux couches avec des activations monomiales holomorphes entraînés sur l'arithmétique modulaire, la classe de fonctions expressibles s'effondre en une variété algébrique de dimension finie, provoquant l'apparition d'un résultat binaire pour le réseau — soit une généralisation instantanée, soit un échec d'entraînement garanti — éliminant ainsi entièrement le phénomène de grokking à mesure que la relation capacité-grokking atteint son régime limite.

Auteurs originaux : Chon-Fai Kam, Xavier Cadet, Miloud Bessafi, Frederic Cadet

Publié 2026-07-16

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chon-Fai Kam, Xavier Cadet, Miloud Bessafi, Frederic Cadet

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à résoudre des énigmes mathématiques. Habituellement, lorsque nous entraînons ces robots (appelés réseaux de neurones), nous nous attendons à ce qu'ils s'améliorent à mesure qu'ils pratiquent. Mais parfois, quelque chose de bizarre se produit : le robot mémorise parfaitement les réponses, obtient un score parfait à ses devoirs, mais échoue lamentablement lorsqu'on lui donne un nouveau problème similaire. Il reste là, coincé dans un mode « mémorisation », pendant des milliers d'étapes. Puis, soudainement, sans aucun avertissement, il bascule dans un nouveau mode et commence à résoudre correctement les nouveaux problèmes. Ce strange éveil retardé est appelé le grokking (ou l'éveil de la compréhension). C'est comme un étudiant qui révise intensément pour un examen, oublie tout le lendemain, puis comprend soudainement le concept une semaine plus tard.

Les scientifiques ont cherché à comprendre pourquoi ce délai se produit. Ils savent que la taille du cerveau du robot (sa « capacité ») compte. Si le cerveau est trop petit, il pourrait ne jamais apprendre. S'il est énorme, il apprend instantanément. Mais qu'en est-il si l'on est entre les deux ? Le délai se raccourcit-il simplement à mesure que le cerveau du robot devient plus grand ? Ou existe-t-il un point où le cerveau du robot est construit de manière si étrange qu'il ne peut pas apprendre la réponse, peu importe le temps que vous attendez ? Cet article explore cette question en construisant un robot mathématiquement parfait pour voir ce qui se passe lorsque les règles de l'apprentissage sont poussées à leurs limites absolues.

Le robot au cerveau universel

Les auteurs de cet article ont décidé d'arrêter de deviner pour commencer à construire. Au lieu d'utiliser un cerveau de robot standard et désordonné, ils ont construit un type spécial de réseau avec une règle très stricte : il ne peut penser qu'en un type spécifique de motif mathématique appelé « monôme holomorphe ».

Considérez le cerveau de ce robot comme un serrurier possédant un jeu de clés très spécifique.

Robots standards (Approximateurs universels) : La plupart des modèles d'IA sont comme un serrurier avec une boîte à outils géante. Peu importe la serrure qu'on lui présente, il finira par la croche s'il a assez de temps et assez d'outils. Il peut mettre du temps à trouver la bonne combinaison (mémorisation), puis réussir soudainement (généralisation), mais il peut toujours ouvrir la porte.
Le robot de cet article : Ce robot n'a qu'une seule forme de clé spécifique. Il ne peut ouvrir que les serrures qui correspondent exactement à cette forme. Si vous lui donnez une serrure qui ne correspond pas à cette forme, il ne mettra pas seulement du temps à l'ouvrir ; il ne pourra pas l'ouvrir du tout. Ce n'est pas une question de « pas assez de pratique » ; c'est une question de « mauvais outil ».

Les chercheurs ont testé ce robot sur des tâches d'arithmétique modulaire (essentiellement des problèmes mathématiques où les nombres tournent en boucle, comme une horloge). Ils ont demandé : Si le cerveau du robot est si limité qu'il ne peut même pas représenter la réponse, parvient-il quand même à faire du "grokking" ?

La grande découverte : l'interrupteur "Tout ou Rien"

La réponse qu'ils ont trouvée est étonnamment simple et binaire. Il n'y a pas de juste milieu, pas de délai lent, et pas de grokking.

Le cas "Oui" : Si le problème mathématique posé au robot correspond par hasard à la forme spécifique de sa clé, le robot le résout instantanément. Il apprend les données d'entraînement et les nouvelles données exactement au même moment. Il n'y a pas de période d'attente. C'est comme remettre au serrurier la clé exacte pour laquelle il est né ; la porte s'ouvre immédiatement.
Le cas "Non" : Si le problème ne correspond pas à la forme de la clé, le robot échoue complètement. Il ne mémorise pas les réponses. Il ne reste pas bloqué dans une boucle. Il reste simplement au niveau du hasard pur pour toujours. La perte d'entraînement (une mesure de son erreur) atteint un plancher rigide et refuse de descendre plus bas, peu importe la largeur du cerveau du robot ou le temps passé à l'entraîner.

Les auteurs ont prouvé cela mathématiquement. Ils ont montré que pour ce type spécifique de robot, l'ensemble des problèmes qu'il peut résoudre est une tranche minuscule et fixe de tous les problèmes possibles. Si votre problème n'est pas dans cette tranche, le robot est mathématiquement incapable d'ajuster les données. Ce n'est pas un problème d'optimisation ; c'est une impossibilité structurelle.

L'expérience : 585 essais de vérité

Pour prouver qu'il ne s'agissait pas seulement d'une théorie, l'équipe a mené 585 expériences. Ils ont testé le robot sur 39 problèmes mathématiques différents avec 5 "formes de clés" différentes (degrés d'activation).

Le résultat : Le comportement du robot correspondait aux prédictions mathématiques avec une précision de 99,8 %.
Le motif : Les résultats formaient un escalier parfait. Si les nombres du problème s'additionnaient pour donner le bon total, le robot réussissait instantanément. Sinon, il échouait instantanément.
L'absence de milieu : Dans 585 essais, il y a eu zéro cas de « grokking » (succès retardé) et zéro cas de « mémorisation sans généralisation » (réussir les devoirs mais échouer au test). Le robot gagnait soit immédiatement, soit perdait immédiatement.

La comparaison : Le robot "normal"

Pour s'assurer qu'il ne s'agissait pas d'une simple bizarrerie de leur robot spécial, ils ont effectué les mêmes tests sur un robot standard et « normal » (utilisant une activation ReLU, qui est le standard de l'industrie).

Le robot normal : Ce robot pouvait résoudre chaque problème. Il mémorisait tout. Mais sur les problèmes difficiles, il présentait le comportement classique de grokking : il mémorisait l'ensemble d'entraînement, restait là pendant des milliers d'étapes, puis généralisait soudainement.
Le contraste : Les problèmes qui ont causé l'échec complet du robot spécial étaient exactement les mêmes problèmes qui provoquaient le grokking chez le robot normal. Cela prouve que le « délai » du grokking n'est pas seulement dû au fait que le problème est difficile ; c'est parce que le cerveau du robot est presque assez grand, mais pas tout à fait. Le robot spécial nous a montré ce qui arrive quand le cerveau est trop petit pour même commencer la course.

Le test du "Goulot d'étranglement" : Combler le fossé

Les chercheurs voulaient voir s'il existait un chemin fluide entre l'échec instantané et le succès instantané. Ils ont pris un robot normal et ont compressé son cerveau à travers un « goulot d'étranglement », en le rendant de plus en plus étroit.

Goulot large : Le robot fait du grokking (succès retardé).
Goulot moyen : Le robot mémorise mais ne généralise jamais (il reste bloqué).
Goulot minuscule : Le robot échoue à mémoriser du tout (échec instantané).

Cette expérience a permis de relier les points. Elle a montré que le régime d'« échec instantané » du robot spécial est simplement l'extrémité extrême du même spectre où le grokking se produit. À mesure que vous réduisez la capacité d'un robot, le délai devient de plus en plus long, jusqu'à ce que le délai devienne infini car le robot ne peut même plus mémoriser les données en premier lieu.

Et concernant l'apprentissage des clés ?

On pourrait se demander : « Et si le robot pouvait apprendre ses propres clés ? » Les auteurs ont testé cela en laissant le robot apprendre son propre encodage d'entrée (au lieu de lui donner l'encodage fixe des « racines de l'unité »).

Le résultat : L'« escalier » de succès et d'échecs instantanés a disparu. Le robot pouvait désormais résoudre presque tous les problèmes linéaires instantanément.
L'exception : Il restait un problème qu'il ne pouvait pas résoudre : la tâche de multiplication ( $a \times b$ ). Même avec un cerveau appris, la structure du robot était trop simple pour capturer la complexité de la multiplication. Cela a confirmé que l'échec n'était pas seulement lié aux mathématiques spécifiques utilisées pour nourrir le robot ; c'était une limite fondamentale de l'architecture du robot.

La conclusion

Cet article révèle une vérité fondamentale sur l'entraînement de l'IA : le grokking est une course entre la mémorisation et la généralisation. Mais pour que cette course ait lieu, le coureur doit d'abord être capable de lacer ses chaussures.

Si le cerveau d'un réseau de neurones est trop petit ou trop rigide pour même représenter la réponse (pour « lacer ses chaussures »), la course ne commence jamais. Il n'y a pas de délai, pas de lutte, et pas d'éveil soudain. Il n'y a qu'un arrêt brutal. La question de « quand va-t-il grokker ? » se dissout dans la question plus simple et plus primitive : « Est-il capable de représenter la cible du tout ? »

Les auteurs ont montré que lorsque l'on pousse un réseau à ses limites mathématiques, le comportement désordonné et confus du grokking disparaît, remplacé par une réalité binaire et nette : soit les mathématiques correspondent et vous gagnez instantanément ; soit elles ne correspondent pas et vous perdez instantanément. C'est un rappel qu'avant de pouvoir parler de comment l'IA apprend, nous devons nous assurer qu'elle est réellement capable d'apprendre ce que nous lui demandons de faire.

Résumé Technique : La Représentabilité Algébrique comme Régime Limite du Grokking

Énoncé du Problème
La littérature récente sur le « grokking » — le phénomène où les réseaux de neurones entraînés sur des tâches d'arithmétique modulaire passent de la mémorisation à la généralisation après un délai significatif — a établi que la capacité du modèle régit le moment de cette transition. Cependant, les cadres existants (par exemple, Song et Ye 2026) supposent que le réseau est suffisamment large pour finir par mémoriser les données d'entraînement. Cet article étudie le régime limite où la classe de fonctions exprimables par le réseau est si contrainte qu'elle ne peut pas représenter la fonction cible, même en principe. La question centrale est la suivante : que se passe-t-il pour la dynamique de mémorisation-généralisation lorsque la capacité de l'architecture est structurellement insuffisante pour ajuster l'ensemble d'entraînement, plutôt que simplement lente à le faire ?

Méthodologie
Les auteurs étudient une architecture spécifique et exactement soluble : un réseau de neurones à deux couches à valeurs complexes avec une activation monomiale holomorphe $\sigma(z) = z^k$ . Le réseau est entraîné sur des tâches d'arithmétique modulaire $f: \mathbb{Z}_p \times \mathbb{Z}_p \to \mathbb{Z}_p$ (où $p$ est premier) en utilisant un encodage par racines de l'unité, où les entrées $(a, b)$ sont mappées vers $(\omega^a, \omega^b)$ avec $\omega = e^{2\pi i/p}$ .

Les choix méthodologiques clés incluent :

Tractabilité Algébrique : Le choix de $\sigma(z) = z^k$ garantit que la sortie du réseau est un polynôme de degré $k$ . Sur l'encodage par racines de l'unité, cela restreint la sortie du réseau à un sous-espace spécifique de caractères du groupe $(\mathbb{Z}_p)^2$ .
Analyse de Fourier : Les auteurs utilisent l'analyse harmonique sur les groupes abéliens finis pour caractériser la « classe exprimable » $\mathcal{F}_k$ . Ils prouvent que, quel que soit la largeur cachée $H$ , la sortie du réseau est confinée à un sous-espace de dimension $(k+1)$ engendré par les caractères avec des étiquettes de fréquence $(\ell, k-\ell)$ pour $0 \le \ell \le k$ .
Bornes Théoriques : L'article dérive une borne inférieure sur la perte d'entraînement pour les cibles non représentables, prouvant que la perte reste strictement positive et indépendante de la largeur cachée.
Validation Expérimentale : La théorie est testée à travers 585 sessions expérimentales impliquant 39 tâches (35 à phase linéaire, 4 à phase non linéaire) et 5 degrés d'activation ( $k=2$ à $6$).
Ablations Comparatives : L'étude inclut une base ReLU (approximateur universel) et une ablation par « goulot d'étranglement » sur les réseaux ReLU pour tracer la transition de l'échec de représentation vers le grokking.

Contributions Clés

Caractérisation Algébrique Exacte de la Représentabilité :
L'article fournit une caractérisation complète des tâches modulaires qui appartiennent à la classe exprimable $\mathcal{F}_k$ .

Cibles à phase linéaire ( $f(a,b) = ma + nb \mod p$ ) : Une tâche est représentable si et seulement si $m + n = k$ (en supposant que $m+n \le k$ ). Si cette condition n'est pas remplie, la cible est orthogonale à l'ensemble du sous-espace exprimable.
Cibles à phase non linéaire (ex: $ab$, $a^2+b^2$ ) : Ces tâches ont un support de Fourier qui s'étend au-delà de la diagonale $u+v \equiv k \pmod p$ . L'article prouve que celles-ci sont inreprésentables pour tout $k < p$ fini.
Indépendance de l'Encodage : À travers la Proposition 1, les auteurs montrent que même avec des plongements (embeddings) appris, la représentabilité d'une tâche est contrainte par le rang de la matrice cible. Spécifiquement, la tâche $ab$ (qui correspond à une matrice DFT de rang complet) reste inreprésentable pour tout $k < p-1$ , quel que soit l'encodage d'entrée.

Le Régime de « Non-Mémorisation » :
L'article prouve que pour les cibles non représentables, le réseau ne peut pas mémoriser l'ensemble d'entraînement. Parce que la sortie est algébriquement confinée à un sous-espace qui ne contient pas la cible, la perte d'entraînement est bornée par une constante positive (le gap spectral). Par conséquent, il n'y a pas de phase de « mémorisation », pas de délai de grokking, et pas d'amélioration graduelle ; le réseau échoue simplement à ajuster les données, restant à une précision de niveau chance.
Validation Empirique de Résultats Binaires :
À travers 585 sessions, la prédiction algébrique a correspondu au résultat observé avec une précision de 99,8 %. Les résultats étaient strictement binaires :

Tâches représentables : Apprises presque instantanément (Généralisation Instantanée, ou INST) sans écart entre la précision d'entraînement et de test.
Tâches non représentables : Échec total (FAIL) avec la précision d'entraînement bloquée à des niveaux de chance.
Il n'y a eu aucun cas de grokking ou de mémorisation sans généralisation pour le réseau holomorphe.

Connexion au Spectre de Capacité :
L'article comble le fossé entre l'« extrême algébrique » (réseaux holomorphes) et les approximateurs universels standards (réseaux ReLU).

Base ReLU : Les réseaux ReLU standards mémorisent toutes les tâches et présentent un grokking sur les tâches non linéaires difficiles, avec des délais proportionnels à la complexité de la tâche.
Ablation par Goulot d'Étranglement : En compressant un réseau ReLU via un goulot d'étranglement linéaire, les auteurs tracent un chemin continu de l'ÉCHEC (lorsque le goulot est trop étroit pour ajuster les données) vers la MÉMORISATION (sans généralisation) puis vers le GROKKING (avec un écart décroissant à mesure que la capacité augmente). Cela démontre que le régime de « l'ÉCHEC » observé dans le modèle holomorphe est la limite structurelle du spectre capacité-grokking.

Signification et Revendications
L'article soutient que la question de « quand un réseau va groker » est une question secondaire qui présuppose la condition primaire de représentabilité.

Régime Limite : Le réseau holomorphe représente le cas limite où la classe exprimable s'effondre en un objet algébrique fixe. Dans ce régime, la compétition entre les vitesses de mémorisation et de généralisation (le mécanisme du grokking) ne commence jamais car la phase de mémorisation est structurellement impossible.
Contraintes Structurelles vs Optimisation : Les résultats distinguent les difficultés d'optimisation (qui causent des délais de grokking dans les réseaux standards) des impossibilités de représentation (qui causent un échec immédiat dans les réseaux contraints).
Universalité de l'Obstruction : L'échec de la tâche $ab$ est montré comme une propriété intrinsèque des contraintes de rang de l'architecture, et non un artefact de l'encodage fixe par racines de l'unité.

Les auteurs concluent que leur travail définit un régime où la dynamique du grokking se dissout en une question binaire de représentabilité. Bien que les résultats algébriques spécifiques s'appliquent à ce cadre holomorphe, les expériences de goulot d'étranglement suggèrent que la structure à trois régimes (Échec $\to$ Mémorisation $\to$ Grokking) est une caractéristique générale du spectre de capacité, le modèle holomorphe fournissant une condition limite rigoureuse et analytiquement soluble pour le côté « Échec » de ce spectre.