🔬 condensed matter

Natural Ungrokking: Asymmetric Control of Which Rules Survive Pretraining

Cet article introduit le « dé-grokking naturel », un phénomène par lequel les modèles de langage apprennent spontanément puis oublient brusquement des règles spécifiques durant le pré-entraînement parce que la fréquence des preuves soutenant une règle dans le corpus d'entraînement détermine sa survie, un processus caractérisé par un contrôle asymétrique où détruire une règle est facile mais la restaurer est impossible.

Auteurs originaux : Juliana Li, Diya Sreedhar

Publié 2026-06-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Juliana Li, Diya Sreedhar

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'idée principale : Apprendre une règle, puis l'oublier

Imaginez que vous enseignez à un très jeune enfant (le modèle d'IA) comment parler en lui lisant une bibliothèque massive de livres (les données d'entraînement).

Au milieu de ce processus, l'enfant comprend soudainement une règle de grammaire spécifique : « Si une phrase mentionne le nom d'une fille (comme "Sue"), le pronom suivant doit être "elle" ». L'enfant devient très doué pour cela. Si vous lui demandez : « Sue a pleuré parce que... », il répondra avec assurance « elle ».

Mais ensuite, quelque chose d'étrange se produit. Tandis que l'enfant continue de lire des livres, il oublie complètement cette règle. À la fin de l'entraînement, si vous posez la même question, il devine « il » (ce qui est ce que la foule en général dit, même si c'est faux pour une fille).

Le papier appelle cela le « Natural Ungrokking » (le dé-compréhension naturelle). C'est l'opposé du « Grokking » (où un modèle comprend soudainement quelque chose). Ici, le modèle apprend une règle, l'utilise pendant un certain temps, puis l'abandonne silencieusement, même si les livres qu'il lit contiennent toujours la règle.

Le mystère : Pourquoi a-t-il oublié ?

Habituellement, lorsqu'un modèle informatique oublie quelque chose, c'est parce que les données ont changé ou ont disparu. Mais dans cette expérience, les données n'ont jamais changé. La règle était toujours présente dans les livres tout au long du processus.

Les chercheurs ont découvert que le facteur décisif est la fréquence (la fréquence à laquelle quelque chose se produit).

La Règle : « Sue » $\rightarrow$ « elle ».
Le Compétiteur : Une habitude générale dans le langage où les gens utilisent souvent « il » comme réponse par défaut.

Dans la bibliothèque spécifique que le modèle lisait, l'habitude du « il » apparaissait beaucoup plus souvent que la règle « Sue $\rightarrow$ elle ». Même si la règle était là, l'habitude du « il » était si forte et fréquente qu'elle a étouffé la règle. Le modèle n'a pas « effacé » la règle ; il a simplement arrêté de l'écouter parce que l'habitude du « il » gagnait la compétition.

L'expérience : Une rue à sens unique

Les chercheurs voulaient voir s'ils pouvaient contrôler cela. Ils ont traité les données d'entraînement comme un cadran qu'ils pouvaient tourner.

1. Le bouton « Kill » (Facile à détruire)
Ils ont pris une bibliothèque où la règle était forte et ont commencé à inverser les données. Ils ont transformé chaque instance de « Sue... elle » en « Sue... il ».

Résultat : Plus ils inversaient les données, plus le modèle oubliait la règle rapidement. C'était une glissade fluide et prévisible de « parfait » vers « zéro ».
Analogie : Si vous dites constamment à un élève : « Non, la réponse est X », même quand le livre dit « Y », l'élève finira par ne plus croire le livre et commencera à vous croire.

2. Le bouton « Rescue » (Impossible à restaurer)
Ensuite, ils ont tenté l'inverse. Ils ont pris un modèle qui avait déjà oublié la règle (parce qu'il lisait la bibliothèque riche en « il ») et ont tenté de le « sauver ». Ils ont injecté des quantités massives d'exemples « Sue... elle » dans les données — 300 fois plus que ce qui était nécessaire pour maintenir la règle en vie au départ.

Résultat : Rien ne s'est passé. Le modèle a toujours oublié la règle.
L'analogie : Imaginez un élève qui a déjà appris que « 2+2=5 » parce que son professeur le lui a dit pendant un an. Si vous lui donnez soudainement une pile de 1 000 manuels scolaires disant « 2+2=4 », il sera peut-être confus, mais il n'apprendra pas l'habitude « 2+2=5 ». Le mal est fait ; la « voie » dans son cerveau a été pavée par ailleurs.

Le « Pourquoi » : C'est un déplacement, pas une effacement

Les chercheurs ont regardé à l'intérieur du « cerveau » du modèle (ses mathématiques internes) pour voir ce qui se passait.

Ils ont découvert que le modèle n'avait pas perdu la capacité de comprendre la structure de la phrase. Il savait toujours comment traiter les mots.
Au lieu de cela, la confiance interne a basculé. Le « vote » interne du modèle pour « elle » a été surclassé par un « vote » plus fort pour « il ».
C'est comme un tribunal. La preuve pour « elle » était toujours là, mais la preuve pour « il » est devenue si bruyante que le juge (le modèle) a cessé d'écouter le témoin de « elle ».

Ce qu'il faut retenir

Ce papier nous enseigne trois choses principales sur la façon dont l'IA apprend :

Les compétences acquises en cours d'entraînement sont fragiles : Ce n'est pas parce qu'un modèle apprend une règle à la moitié de son entraînement qu'il la conservera.
La fréquence règne en maître : Si une règle est rare dans les données, elle sera probablement écrasée par un motif concurrent plus commun, même si la règle est toujours présente.
On peut le briser facilement, mais on ne peut pas le réparer facilement : Une fois qu'un modèle a « dé-compris » une règle à cause du mélange de données, simplement réinjecter la règle plus tard ne fonctionne souvent pas. L'oubli est permanent pour ce cycle d'entraînement spécifique.

En bref : Les modèles d'IA sont comme des étudiants qui écoutent la voix la plus forte dans la pièce. Si la « mauvaise » voix est plus forte que la « bonne » règle, l'étudiant apprend la mauvaise chose. Et une fois qu'ils ont appris la mauvaise chose, leur crier la bonne règle plus tard ne sert souvent à rien.

Résumé Technique : Le Dégrillage Naturel (Natural Ungrokking)

Énoncé du Problème

Cet article étudie un phénomène nommé dégrillage naturel (natural ungrokking) : l'inversion au cours d'une même exécution d'une capacité apprise lors du préentraînement d'un modèle de langage. Contrairement au « grillage » (grokking - généralisation différée) ou au « dégrillage » (ungrokking) causé par la réduction du jeu de données entre deux exécutions, le dégrillage naturel se produit sur des données stationnaires où un modèle acquiert une règle linguistique spécifique, l'applique avec succès, puis l'abandonne spontanément malgré la présence persistante de la preuve de la règle dans le flux d'entraînement.

L'étude de cas centrale concerne un transformeur de type décodeur de 11,5 millions de paramètres entraîné sur du texte web. Le modèle apprend une règle de genre des pronoms (par exemple, résoudre « Sue a pleuré parce que » par « elle » plutôt que par le biais du prior du corpus « il »). À l'étape d'entraînement 925, le modèle atteint une précision de 0,94 sur les sondes de conflit isolées. Cependant, à l'étape 3 500, la précision s'effondre pour atteindre presque zéro, bien que la distribution des données d'entraînement reste inchangée et que la courbe de perte ne montre aucune trace de ce changement de comportement. Le modèle conserve la construction grammaticale mais cesse d'appliquer la règle spécifique lorsqu'elle entre en conflit avec les priors de surface.

Méthodologie

Configuration Expérimentale

Modèles : Un transformeur décodeur à 4 couches ( $d_{model}=256$ , 2 têtes d'attention, 11,5M de paramètres) entraîné pendant 4 400 étapes.
Corpus : Deux jeux de données ont été utilisés :
1. TinyStories : Un corpus synthétique où la règle du genre des pronoms est intensément soutenue.
2. Filtered Web Corpus : Dérivé de ClimbMix, où la fréquence de soutien de la règle est faible par rapport aux motifs de surface concurrents.
Variables : L'étude fait varier la fréquence de soutien ( $f$ ) de la règle et le ratio données-paramètres ( $D/N$ ).
Évaluation : Une batterie de sondes de modèles figés mesure la performance sur des items de « conflit » (règle vs prior en désaccord) et des contrôles d'« accord » (règle et prior alignés). Un classificateur catégorise les trajectoires comme Récupérées, Déplacées, Partielles, Jamais ou Instables.
Métrique de Mécanisme : Une Marge de Contraste (CM) suit la différence de log-probabilité entre la continuation conforme à la règle et le concurrent conforme au prior.
Rigueur : Toutes les métriques de confirmation, les seuils et les prédictions directionnelles ont été pré-enregistrés avant l'inspection des données. Un ensemble de graines de réplication aveugle a été mis en quarantaine.

Interventions Causales

Pour établir la causalité, les auteurs ont effectué des éditions « sur place » de leurs corpus d'entraînement :

Kill (Suppression) : Inverser les jetons soutenant la règle en contre-preuves (par exemple, changer « elle » en « il » après des noms féminins) à des taux spécifiques ( $p$ ) au sein d'un même corpus.
Rescue (Restauration) : Réinjecter des preuves soutenant la règle dans un corpus web effondré, avec des doses allant jusqu'à 3 fois la densité requise pour la survie dans TinyStories.
Seconde Règle : Répliquer l'échelle de suppression sur une règle non liée (allomorphie $a/an$) pour tester la généralisabilité.

Résultats Clés

1. La Fréquence de Soutien Détermine le Destin

La survie d'une règle est prévisible à partir d'une statistique unique du corpus : la fréquence de soutien (la fréquence à laquelle le flux d'entraînement montre la victoire de la règle).

Survie : Dans TinyStories (soutien élevé), la règle survit avec une précision maximale sur tous les budgets de données.
Effondrement : Dans le corpus web (soutien faible), la règle émerge tôt mais s'effondre vers une précision proche de zéro à la fin de l'entraînement, quel que soit le ratio $D/N$ .
Modulation : Le ratio $D/N$ module la profondeur de l'effondrement (à quel point la précision chute) mais ne change jamais le verdict de survie. Un volume de données élevé ne peut sauver une règle ayant une faible fréquence de soutien.

2. Asymétrie de Contrôle (L'asymétrie « Kill/Restore »)

L'article démontre une asymétrie marquée dans le contrôle de la survie des règles :

La destruction est facile et dépendante de la dose : Inverser le soutien en contre-preuve détruit la règle avec une réponse dose-effet strictement monotone. À l'inversion totale ( $p=1,0$ ), la règle meurt dans toutes les graines.
La restauration est impossible : Réinjecter du soutien dans un corpus effondré, même à 450 fois la densité naturelle de maintien (et jusqu'à 3 fois la densité de TinyStories), échoue à restaurer le comportement.
- Bien que le mécanisme interne (marge de contraste) se déplace légèrement vers des valeurs positives aux doses correspondantes, l'exactitude comportementale reste effondrée.
- Cela est vrai même lorsque l'injection est concentrée avant l'étape d'effondrement, excluant ainsi le facteur temporel comme seule cause de l'échec.

3. Mécanisme : Déplacement, non Effacement

La perte de la règle est un déplacement par un motif de surface concurrent, et non un effacement de la construction.

Preuve : La condition de contrôle d'« accord » (où la règle et le prior s'alignent) reste résolue avec une précision maximale tout au long de l'effondrement.
Marge de Contraste : La CM traverse le zéro exactement au moment où l'effondrement comportemental se produit (à 100 étapes près). Dans les exécutions effondrées, la voie contextuelle (contributions de l'attention/MLP) porte une marge négative, supplantant la règle.
Représentation : La décodabilité du genre par les indices (cue-gender) dans la dernière couche chute aux niveaux du hasard sur les données web, indiquant que la représentation de la règle est déplacée en amont des logits.

4. Généralisation aux Checkpoints Publics

Le phénomène n'est pas un artefact du modèle spécifique de 11,5M de paramètres. Les points de contrôle publics de Pythia (70M–1,4B) et OLMo-1B présentent la même signature « émergence puis effondrement ». La profondeur de l'effondrement est ordonnée par l'échelle du modèle (les plus petits modèles s'effondrent plus profondément), ce qui est cohérent avec les prédictions.

Signification et Revendications

L'article revendique trois contributions principales :

Prévisibilité de la Perte de Capacité : Le destin d'une règle en fin d'entraînement peut être prédit par une statistique de corpus mesurable (fréquence de soutien) avant la fin de l'entraînement. Cela remet en question l'hypothie selon laquelle les courbes de perte sont suffisantes pour surveiller la rétention des capacités.
Causalité Asymétrique : L'article établit que la fréquence de soutien est causalement suffisante pour la destruction, mais insuffisante pour la restauration. Une fois qu'une règle est déplacée par un prior plus fort, la réintroduction de preuves (même en quantités massives) ne peut récupérer la capacité.
Aperçu Mécaniste : La perte est identifiée comme un déplacement physique où un motif de surface concurrent supplante la règle apprise, mesurable via le passage de la marge de contraste par zéro.

Implications Pratiques :

Évaluation en milieu d'entraînement : Les capacités observées aux points de contrôle de milieu d'entraînement ne sont pas garanties d'exister dans le modèle final.
Filtrage des Données : L'amincissement du soutien d'une règle rare peut condamner celle-ci sans supprimer un seul exemple de celle-ci.
Préentraînement Continu : Le changement de mélanges de données peut silencieusement « dégriller » des capacités qu'un modèle de base avait déjà apprises.

Les auteurs déclarent explicitement que prédire la frontière exacte sur l'axe de fréquence où la survie bascule reste un problème ouvert pour les travaux futurs, bien que la loi qualitative (la fréquence de soutien dicte le destin) soit établie. Ce travail est présenté comme une contribution constructive à la compréhension de la dynamique d'entraînement, de la mémoire et de la généralisation, avec un accent particulier sur la fragilité des règles apprises face à des priors concurrents.