🤖 machine learning

The Grokked Illusion: True Equilibrium Mitigates Catastrophic Forgetting

Cet article révèle que les réseaux de neurones à haute entropie, contrairement aux modèles entraînés avec AdamW conventionnel, maintiennent une robustesse contre l'oubli catastrophique malgré une performance de généralisation identique, un phénomène qualifié d'« illusion de grokking » qui est attribué à des représentations de caractéristiques plus riches, indiquées par un rang effectif plus élevé dans les poids du réseau.

Auteurs originaux : Xiaotian Zhang, Lai Shun Chan, Yue Shang, Entao Yang, Ge Zhang

Publié 2026-08-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xiaotian Zhang, Lai Shun Chan, Yue Shang, Entao Yang, Ge Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à résoudre des énigmes mathématiques. Vous voulez qu'il soit intelligent, mais vous voulez aussi qu'il soit robuste. Dans le monde de l'intelligence artificielle, être « intelligent » signifie généralement qu'un robot peut regarder un problème qu'il n'a jamais vu auparavant et le résoudre correctement. C'est ce qu'on appelle la généralisation. Mais il existe un piège caché : un robot peut être incroyablement intelligent à un instant T, tout en étant incroyablement fragile. Si vous lui demandez d'apprendre une nouvelle compétence immédiatement après avoir maîtrisé la première, il peut soudainement oublier tout ce qu'il vient d'apprendre. C'est ce qu'on appelle l'oubli catastrophique.

Les scientifiques se demandent depuis longtemps : qu'est-ce qui rend le cerveau d'un robot véritablement robuste ? Est-ce seulement une question d'obtenir les bonnes réponses, ou y a-t-il quelque chose de plus profond dans la manière dont le robot stocke ces réponses ? Pensez à une bibliothèque. Vous pouvez avoir une bibliothèque avec les livres parfaits (une haute capacité de généralisation), mais si les étagères sont fragiles et que les livres sont empilés de manière précaire, l'ajout d'un seul nouveau livre pourrait faire s'effondrer toute la tour. Cette étude explore si la « forme » du cerveau du robot — spécifiquement, combien de « marge de manœuvre » il possède dans sa mémoire — détermine sa capacité à gérer de nouvelles informations sans perdre les anciennes.

L'illusion du « Grokking » : Quand un score parfait cache une faiblesse

Les chercheurs derrière cette étude ont décidé de tester une idée fascinante : un score parfait garantit-il une mémoire forte ? Pour le découvrir, ils ont mis en place une expérience contrôlée utilisant un jeu mathématique simple : l'arithmétique modulaire (en gros, ajouter des nombres et trouver le reste, comme une horloge qui se réinitialise après 67 heures).

Ils ont entraîné deux types différents de modèles d'IA sur ce jeu jusqu'à ce que les deux obtiennent un score parfait de 100 %.

Le Modèle « Standard » : Celui-ci a été entraîné avec une méthode courante et standard (appelée AdamW). Il a appris la tâche rapidement et a obtenu un score parfait.
Le Modèle à « Haute Entropie » : Celui-ci a été entraîné à l'aide d'une méthode spéciale, inspirée de la physique (appelée Dynamique Moléculaire de Wang-Landau). Il a également obtenu un score parfait de 100 %, mais il a été trouvé dans une zone plus « large » de l'espace mathématique où résident les solutions. Pensez au modèle standard comme trouvant une vallée minuscule et étroite pour s'y installer, tandis que le modèle à haute entropie a trouvé un plateau massif et large.

Les deux modèles semblaient identiques sur le papier : ils étaient tous deux parfaits à 100 % au jeu mathématique. Mais les chercheurs soupçonnaient qu'ils cachaient une différence secrète.

Le test d'injection de bruit : Oublier exprès

Pour tester leur robustesse, les chercheurs ont joué un tour. Ils ont dit aux deux modèles : « D'accord, vous êtes excellents en maths. Maintenant, mémorisez cette nouvelle liste de données absurdes. » Ils ont injecté du « bruit » — des nombres aléatoires et dénués de sens avec des étiquettes aléatoires — dans le mélange d'entraînement. Ils ont forcé les modèles à apprendre parfaitement ce nouveau contenu inutile (obtenant une précision de 99,8 % sur ces nouvelles données) tout en essayant de se souvenir du jeu mathématique original.

Les résultats ont été choquants et ont révélé ce que les auteurs appellent l'« illusion du Grokking ».

Le Modèle Standard (AdamW) : Dès qu'il a commencé à mémoriser le nouveau non-sens, il a commencé à s'effondrer. Sa capacité à résoudre le jeu mathématique original a chuté de 100 % à moins de 75 %. Il avait « oublié » sa compétence originale pour faire de la place à la nouvelle. C'était comme un étudiant qui, en essayant de mémoriser une liste de numéros de téléphone aléatoires, oublierait soudainement comment faire des additions de base.
Le Modèle à Haute Entropie : Ce modèle était un véritable tank. Même après avoir mémorisé les mêmes données absurdes parfaitement, il a conservé ses compétences mathématiques originales presque entièrement intactes, restant autour de 95 % à 98 % de précision. Il pouvait contenir la nouvelle information sans perdre l'ancienne.

L'article suggère que le score « parfait » du modèle standard était une illusion. Il paraissait fort, mais il était en réalité fragile. Le modèle à haute entropie, quant à lui, était véritablement robuste.

Pourquoi l'un a-t-il échoué et l'autre a-t-il réussi ?

Les chercheurs ont fouillé dans les « cerveaux » de ces modèles pour voir ce qui les différenciait. Ils ont utilisé un outil mathématique appelé Décomposition en Valeurs Singulières (considérez cela comme une radiographie montrant combien de différentes « directions » un modèle utilise pour stocker l'information).

Ils ont découvert que le Modèle à Haute Entropie avait un « rang effectif » beaucoup plus élevé. En langage clair, cela signifie que son cerveau utilisait un ensemble d'outils plus large et plus diversifié pour résoudre le problème. Il ne reposait pas sur quelques voies étroites et fragiles. Au lieu de cela, il possédait un réseau de caractéristiques riche et distribué.

Lorsque le bruit est arrivé :

Le Modèle Standard a dû modifier ses quelques voies étroites pour intégrer les nouvelles données, ce qui a brisé les anciennes voies.
Le Modèle à Haute Entropie disposait de tellement de « place supplémentaire » et de tellement de voies différentes qu'il a pu absorber le nouveau bruit sans perturber ses compétences mathématiques initiales. C'était comme un large pont solide capable de supporter un camion lourd (les nouvelles données) sans que la fondation ne tremble, alors que le pont étroit (le modèle standard) s'est effondré sous le même poids.

Ce que cela signifie pour l'avenir

L'étude conclut que la généralisation parfaite n'est pas égale à la robustesse parfaite. Ce n'est pas parce qu'un modèle obtient un A+ à un examen qu'il ne faillira pas lorsque la vie lui lancera un imprévu.

Les auteurs suggèrent que la « forme » de la mémoire d'un modèle est cruciale. Les modèles qui occupent des espaces plus vastes, de « haute entropie », dans leur monde mathématique, sont naturellement meilleurs pour se souvenir des choses lorsqu'ils doivent en apprendre de nouvelles. Cela laisse entendre qu'à l'avenir, nous devrons peut-être entraîner l'IA non pas seulement pour obtenir la bonne réponse, mais pour trouver les « vallées plus larges » dans l'espace de solution. Cela pourrait aider à construire une IA qui ne perd pas de vue son passé lorsqu'elle apprend son futur, la rendant beaucoup plus fiable pour des tâches du monde réel où tout change constamment.

Bien que ces résultats soient actuellement basés sur des simulations avec des énigmes mathématiques, les auteurs pensent que ce principe pourrait s'appliquer à des systèmes d'IA beaucoup plus grands et complexes, résolvant potentiellement le vieux problème des machines qui oublient ce qu'elles ont appris la veille.

Résumé technique : L'illusion du grokking : l'équilibre véritable atténue l'oubli catastrophique

Énoncé du problème
Bien que la performance des réseaux de neurones (NN) soit traditionnellement évaluée via des métriques d'entraînement et de test, celles-ci ne capturent pas pleinement la robustesse d'une représentation apprise. Un modèle peut généraliser parfaitement à un ensemble de test tout en restant fragile ; les mises à jour de paramètres ultérieures requises pour apprendre de nouvelles informations peuvent entraîner un oubli catastrophique, où les connaissances précédemment acquises s'effondrent. Ce décalage entre la généralisation et la robustesse soulève une question fondamentale : quelles propriétés d'un réseau de neurones déterminent sa résilience à l'interférence ? Des travaux récents ont établi un « avantage de haute entropie », où les solutions occupant des volumes plus importants dans l'espace des paramètres (quantifiés par l'entropie de Boltzmann) présentent une capacité de généralisation supérieure par rapport aux solutions optimisées de manière conventionnelle. Cette étude examine si cet avantage de haute entropie s'étend au-delà de la généralisation pour atteindre la robustesse face à l'oubli catastrophique.

Méthodologie
Les auteurs utilisent l'arithmétique modulaire ( $x + y \mod 67$ ) comme un cadre expérimental contrôlé, exploitant spécifiquement le phénomène de « grokking » où les modèles finissent par atteindre une généralisation parfaite. Pour isoler l'effet de l'entropie de la performance de généralisation, l'étude compare deux types de modèles qui atteignent une précision de test identique et parfaite (100 %) ainsi que des pertes d'entraînement similaires sous la même contrainte de norme de poids ( $\|w\|=30$ ) :

AdamW-goldilocks : Un Transformer standard entraîné avec l'optimiseur AdamW.
WLMD-equilibrium : Un Transformer échantillonné à partir du paysage d'entropie de Boltzmann via la dynamique moléculaire de Wang-Landau (WLMD), représentant un état de haute entropie.

Expérience d'injection de bruit :
Pour évaluer la robustesse, les auteurs conçoivent un protocole d'injection de bruit. Le vocabulaire des modèles entraînés est étendu, et les modèles sont affinés sur un jeu de données mixte contenant les données d'entraînement originales et de nouvelles données bruitées avec des étiquettes aléatoires ou structurées. L'objectif est de forcer les modèles à mémoriser pleinement les nouvelles données (atteignant une précision d'entraînement > 99,8 % sur l'ensemble combiné) tout en surveillant la rétention de la précision de test de la tâche originale. Trois types de bruit sont testés :

Bruit aléatoire.
Bruit structuré avec une similitude partielle ( $x^2 + y \mod 37$ ).
Bruit structuré avec une similitude élevée ( $x + y \mod 37$ ).

Analyse mécaniste :
L'étude emploie la décomposition en valeurs singulières (SVD) sur les matrices de poids des couches d'attention et des MLP pour analyser le Rang Effectif (RE). Le RE quantifie le nombre de directions singulières significatives, servant de mesure de la richesse représentationnelle. De plus, la similitude cosinus est calculée entre les vecteurs de paramètres avant et après l'injection de bruit pour mesurer le déplacement global des paramètres.

Résultats clés

L'illusion du grokking : Malgré une généralisation initiale parfaite, les modèles entraînés par AdamW souffrent d'un oubli catastrophique lorsqu'ils sont forcés de mémoriser de nouvelles données. Dans la condition la plus difficile (bruit aléatoire), la précision de test de leur tâche originale chute de 100 % à moins de 75 %. En revanche, les modèles WLMD-equilibrium (haute entropie) maintiennent environ 95 % de précision de test dans les mêmes conditions.
Entropie et robustesse : L'écart de robustesse persiste à travers tous les types de bruit, mais se réduit à mesure que les nouvelles données deviennent structurellement plus similaires à la tâche originale. Les modèles à haute entropie surpassent systématiquement les modèles AdamW dans la rétention des connaissances antérieures.
Le Rang Effectif comme tampon : L'analyse SVD révèle que les modèles WLMD-equilibrium possèdent un rang effectif nettement plus élevé dans les couches d'attention et de MLP, avant et après l'injection de bruit, comparativement aux modèles AdamW. Bien que les deux modèles subissent une réduction du rang effectif après l'apprentissage de nouvelles données, les modèles à haute entropie conservent une représentation de caractéristiques beaucoup plus riche. Cela suggère que l'abondance de la capacité de représentation dans les états de haute entropie agit comme un tampon contre l'oubli.
Déplacement des paramètres : La similitude cosinus entre les paramètres pré et post-injection est plus faible pour les modèles WLMD, indiquant des déplacements de paramètres plus importants. Cependant, parce que ces modèles résident dans un bassin de haut volume et de haute entropie, ils restent dans la même région fonctionnelle malgré le déplacement, alors que les modèles AdamW, résidant dans des bassins de faible entropie plus étroits, sortent de la région fonctionnelle.

Signification et affirmations
L'article affirme identifier un phénomène nommé « l'illusion du grokking », où les solutions qui semblent avoir « grokké » (atteint une performance de test saturée) via un entraînement conventionnel peuvent néanmoins être extrêmement fragiles face à de nouvelles informations. La contribution principale est de démontrer que la généralisation parfaite n'implique pas une robustesse égale.

Les auteurs soutiennent que le cadre de la physique statistique, et plus précisément le concept d'entropie de Boltzmann, fournit une lentille rigoureuse pour comprendre la résilience des modèles. Ils postulent que les états de haute entropie, en occupant des volumes plus importants dans l'espace des paramètres, possèdent intrinsèquement un avantage de robustesse. De plus, l'étude lie cette robustesse à un rang effectif plus élevé, suggérant que des représentations de caractéristiques plus riches et plus distribuées servent de tampon contre l'interférence. Cette conclusion remet en question la vue prédominante selon laquelle les structures de bas rang sont toujours associées à la robustesse (comme vu dans le contexte de l'entraînement adversarial), proposant plutôt un troisième régime où l'échantillonnage de haute entropie produit des représentations de haut rang, intrinsèquement robustes.

L'article conclut que ces résultats offrent une nouvelle perspective sur l'oubli catastrophique dans l'apprentissage continu, suggérant que les stratégies guidées par l'entropie pourraient positionner les modèles dans des régions de l'espace des paramètres qui sont intrinsèquement plus robustes à l'oubli, plutôt que de simplement régulariser les mises à jour.

L'illusion du « Grokking » : Quand un score parfait cache une faiblesse

Le test d'injection de bruit : Oublier exprès

Pourquoi l'un a-t-il échoué et l'autre a-t-il réussi ?

Ce que cela signifie pour l'avenir

Articles similaires