Technische Samenvatting: Natuurlijk Ungrokking

Probleemstelling

Dit artikel onderzoekt een fenomeen dat natuurlijk ungrokking wordt genoemd: de binnen een run plaatsvindende omkering van een geleerde capaciteit tijdens de pretraining van een taalmodel. In tegenstelling tot "grokking" (vertraagde generalisatie) of "ungrokking" veroorzaakt door afname van de dataset tussen runs, vindt natuurlijke ungrokking plaats op stationaire data waarbij een model een specifieke linguïstische regel aanleert, deze succesvol toepast, en deze vervolgens spontaan verlaat, ondanks dat de bewijslast voor de regel aanwezig blijft in de trainingsstroom.

De centrale casestudy betreft een 11,5M-parameter decoder-only transformer getraind op webtekst. Het model leert een voornaam-geslachtsregel (bijv. het oplossen van "Sue cried because" naar "she" in plaats van de corpus-prior "he"). Tegen trainingsstap 925 bereikt het model een nauwkeurigheid van 0,94 op uit de dataset gehouden conflictprobes. Echter, tegen stap 3.500 is de nauwkeurigheid ingestort naar bijna nul, zelfs wanneer de distributie van de trainingsdata onveranderd blijft en de loss-curve geen enkel spoor van deze gedragsverandering vertoont. Het model behoudt de grammaticale constructie, maar stopt met het toepassen van de specifieke regel wanneer deze conflicteert met oppervlakkige priors.

Methodologie

Experimentele Opzet

• Modellen: Een 4-laags decoder-only transformer ($d_{model}=256$, 2 attention heads, 11,5M parameters) getraind voor 4.400 stappen.
• Corpora: Er werden twee datasets gebruikt:
  1. TinyStories: Een synthetisch corpus waar de voornaam-geslachtsregel dicht ondersteund wordt.
  2. Filtered Web Corpus: Afgeleid van ClimbMix, waar de ondersteuningsfrequentie van de regel laag is ten opzichte van concurrerende oppervlakkige patronen.
• Variabelen: De studie varieert de ondersteuningsfrequentie ($f$) van de regel en de data-naar-parameterverhouding ($D/N$).
• Evaluatie: Een bevroren batterij van getemplateerde probes meet de prestaties op "conflict"-items (regel versus prior in strijd) en "agree"-controles (regel en prior komen overeen). Een classifier categoriseert trajecten als Recovered, Displaced, Partial, Never, of Unstable.
• Mechanisme Metriek: Een Contrast Margin (CM) volgt het verschil in log-waarschijnlijkheid tussen de regel-conforme voortzetting en de prior-conforme concurrent.
• Rigor: Alle bevestigende metrieken, drempelwaarden en directionele voorspellingen werden pre-geregistreerd vóór de inspectie van de data. Een geblindeerde replicatie-seed set werd gekaranteniseerd.

Causale Interventies

Om causaliteit vast te stellen, voerden de auteurs "in-place" bewerkingen uit op de trainingscorpora:

1. Kill (Verwijdering): Het omdraaien van regel-ondersteunende tokens naar tegenbewijs (bijv. het veranderen van "she" naar "he" na vrouwelijke namen) op specifieke ratio's ($p$) binnen een enkel corpus.
2. Rescue (Herstel): Het injecteren van regel-ondersteunend bewijs terug in een ingestort web-corpus in doses tot $3\times$ de dichtheid die nodig is voor overleving in TinyStories.
3. Second Rule: Het repliceren van de "kill ladder" op een ongerelateerde regel ($a/an$ allomorfie) om generaliseerbaarheid te testen.

Belangrijkste Resultaten

1. Ondersteuningsfrequentie bepaalt het lot

Het overleven van een regel is voorspelbaar vanuit een enkele corpusstatistiek: de ondersteuningsfrequentie (hoe vaak de trainingsstroom laat zien dat de regel wint).

• Survival (Overleving): In TinyStories (hoge ondersteuning) overleeft de regel met een nauwkeurigheid aan het plafond over alle databudgets heen.
• Collapse (Instorting): In het web-corpus (lage ondersteuning) verschijnt de regel vroeg in het proces, maar stort deze tegen het einde van de training in tot bijna nul nauwkeurigheid, ongeacht de $D/N$-ratio.
• Modulatie: De $D/N$-ratio moduleert de diepte van de instorting (hoe laag de nauwkeurigheid valt), maar verandert nooit het oordeel over overleving. Een hoog datavolume kan een regel met een lage ondersteuningsfrequentie niet redden.

2. Asymmetrische Controle (De "Kill/Restore" Asymmetrie)

Het artikel toont een scherpe asymmetrie aan in het beheersen van de overleving van regels:

• Destructie is gemakkelijk en dosisafhankelijk: Het omdraaien van ondersteuning naar tegenbewijs vernietigt de regel met een strikt monotone dosis-respons. Bij een volledige omdraaiing ($p=1.0$) sterft de regel in alle seeds.
• Herstel is onmogelijk: Het injecteren van ondersteuning terug in een ingestort corpus, zelfs bij 450$\times$ de natuurlijke instandhoudingsdichtheid (en tot $3\times$ de TinyStories-dichtheid), slaagt er niet in de het gedrag te herstellen.
  • Hoewel het interne mechanisme (contrast margin) licht verschuift naar positieve waarden bij gematchte doses, blijft de gedragsmatige nauwkeurigheid ingestort.
  • Dit houdt stand, zelfs wanneer de injectie geconcentreerd is vóór de stap van de instorting, wat uitsluit het dat timing de enige oorzaak van falen is.

3. Mechanisme: Displacement, niet Erasure

Het verlies van de regel is een displacement (verplaatsing) door een concurrerend oppervlaktepatroon, en geen erasure (uitwissing) van de constructie.

• Bewijs: De "agree"-controleconditie (waar regel en prior overeenkomen) blijft gedurende de hele instorting op maximale nauwkeurigheid opgelost.
• Contrast Margin: De CM kruist exact nul op het moment dat de gedragsmatige instorting plaatsvindt (binnen 100 stappen). In ingestorte runs draagt het contextuele pad (attention/MLP-bijdragen) een negatieve marge, die de regel overrulet.
• Representatie: De decodeerbaarheid van cue-gender in de laatste laag vervalt naar het niveau van toeval op web-data, wat aangeeft dat de representatie van de regel wordt verplaatst stroomopwaarts van de logits.

4. Generalisatie naar Publieke Checkpoints

Het fenomeen is geen artefact van de specifieke 11,5M model. Publieke checkpoints van Pythia (70M–1.4B) en OLMo-1B vertonen hetzelfde "verschijnen-en-dan-instorten"-kenmerk. De diepte van de instorting is geordend volgens model schaal (kleinere modellen storten dieper in), wat consistent is met de voorspellingen.

Betekenis en Claims

Het artikel claimt drie belangrijke bijdragen:

1. Voorspelbaarheid van Capaciteitsverlies: Het lot van een regel aan het einde van de training kan worden voorspeld door een meetbare corpusstatistiek (ondersteuningsfrequentie) vóór de voltooiing van de training. Dit daagt de aanname uit dat loss-curves voldoende zijn voor het monitoren van het behoud van capaciteiten.
2. Asymmetrische Causaliteit: Het artikel stelt vast dat ondersteuningsfrequentie causaal voldoende is voor destructie, maar onvoldoende voor herstel. Zodra een regel is verplaatst door een sterkere prior, kan het opnieuw introduceren van bewijs (zelfs in enorme hoeveelheden) de capaciteit niet herstellen.
3. Mechanistisch Inzicht: Het verlies wordt geïdentificeerd als een fysieke verplaatsing waarbij een concurrerend oppervlaktepatroon een geleerde regel overtroeft, meetbaar via een contrast margin die nul kruist.

Praktische Implicaties:

• Mid-training Evaluatie: Capaciteiten die worden waargenomen bij checkpoints halverwege de training, zijn niet gegarandeerd aanwezig in het uiteindelijke model.
• Data Filtering: Het dunnen van de ondersteuning van een zeldzame regel kan deze ten onder brengen zonder een enkele instantie ervan te verwijderen.
• Continual Pretraining: Het verschuiven van datamixes kan de capaciteiten die een basismodel al had geleerd, stilzwijgend "ungrokken".

De auteurs stellen expliciet dat het voorspellen van de exacte grens op de frequentie-as waar de overleving omslaat een openstaand probleem blijft voor toekomstig werk, hoewel de kwalitatieve wet (ondersteuningsfrequentie dicteert het lot) is vastgesteld. Het werk wordt gepresenteerd als een constructieve bijdrage aan het begrijpen van trainingsdynamiek, geheugen en generalisatie, met een specifieke focus op de fragiliteit van geleerde regels in de aanwezigheid van concurrerende priors.