🔬 condensed matter

Natural Ungrokking: Asymmetric Control of Which Rules Survive Pretraining

Questo articolo introduce il "natural ungrokking", un fenomeno per cui i modelli linguistici apprendono spontaneamente e poi dimenticano bruscamente regole specifiche durante il pretraining perché la frequenza di prove a supporto della regola nel corpus di addestramento determina la sopravvivenza della regola stessa, un processo caratterizzato da un controllo asimmetrico in cui distruggere una regola è facile ma ripristinarla è impossibile.

Autori originali: Juliana Li, Diya Sreedhar

Pubblicato 2026-06-25

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Juliana Li, Diya Sreedhar

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

L'Idea Centrale: Imparare una Regola, poi Dimenticarla

Immagina di insegnare a un bambino molto piccolo (il modello AI) come parlare, leggendogli una biblioteca immensa di libri (i dati di addestramento).

Nel mezzo di questo processo, il bambino capisce improvvisamente una regola grammaticale specifica: "Se una frase menziona il nome di una ragazza (come 'Sue'), il pronome successivo deve essere 'lei'." Il bambino diventa bravissimo in questo. Se gli chiedi: "Sue ha pianto perché...", lui dice con sicurezza "lei".

Ma poi, succede qualcosa di strano. Mentre il bambino continua a leggere libri, dimentica completamente questa regola. Alla fine dell'addestramento, se gli poni la stessa domanda, lui indovina "lui" (che è ciò che la folla in generale direbbe, anche se è sbagliato per una ragazza).

Il paper chiama questo fenomeno "Natural Ungrokking" (Disapprendimento Naturale). È l'opposto del "Grokking" (dove un modello capisce improvvisamente qualcosa). Qui, il modello impara una regola, la usa per un po', e poi la abbandona silenziosamente, anche se i libri che sta leggendo contengono ancora quella regola.

Il Mistero: Perché ha Dimenticato?

Di solito, quando un modello informatico dimentica qualcosa, è perché i dati sono cambiati o i dati sono scomparsi. Ma in questo esperimento, i dati non sono mai cambiati. La regola era ancora nei libri per tutto il tempo.

I ricercatori hanno scoperto che il fattore decisivo è la frequenza (quanto spesso accade qualcosa).

La Regola: "Sue" $\rightarrow$ "lei".
Il Concorrente: Un'abitudine generale nel linguaggio dove le persone usano spesso "lui" come ipotesi predefinita.

Nella specifica biblioteca che il modello stava leggendo, l'abitudine del "lui" appariva molto più spesso della regola "Sue $\rightarrow$ lei". Anche se la regola era presente, l'abitudine del "lui" era così rumorosa e frequente da sovrastare la regola. Il modello non ha "cancellato" la regola; ha solo smesso di ascoltarla perché l'abitudine del "lui" stava vincendo la competizione.

L'Esperimento: Una Strada a Senso Unico

I ricercatori volevano vedere se potevano controllare questo processo. Hanno trattato i dati di addestramento come una manopola che potevano girare.

1. L'Interruttore di "Spegnimento" (Facile da Distruggere)
Hanno preso una biblioteca dove la regola era forte e hanno iniziato a invertire i dati. Hanno cambiato ogni istanza di "Sue... lei" in "Sue... lui".

Risultato: Più invertivano i dati, più velocemente il modello dimenticava la regola. È stato uno scivolamento fluido e prevedibile da "perfetto" a "zero".
Analogia: Se continui a dire a uno studente: "No, la risposta è X", anche quando il libro dice "Y", lo studente alla fine smetterà di credere al libro e inizierà a credere a te.

2. L'Interruttore di "Soccorso" (Impossibile da Ripristinare)
Poi, hanno provato l'opposto. Hanno preso un modello che aveva già dimenticato la regola (perché stava leggendo la biblioteca ricca di "lui") e hanno cercato di "salvarlo". Hanno iniettato enormi quantità di esempi "Sue... lei" nei dati — 300 volte più di quanto fosse necessario per mantenere viva la regola in origine.

Risultato: Non è successo nulla. Il modello ha continuato a dimenticare la regola.
L'Analogia: Immagina uno studente che ha imparato che "2+2=5" perché il suo insegnante glielo ha detto per un anno. Se improvvisamente gli porgi una pila di 1.000 libri di testo che dicono "2+2=4", potrebbe confondersi, ma non disimparerà l'abitudine "2+2=5". Il danno è fatto; il "percorso" nel suo cervello è stato asfaltato.

Il "Perché": È uno Spostamento, non una Cancellazione

I ricercatori hanno guardato dentro il "cervello" del modello (la sua matematica interna) per vedere cosa stesse accadendo.

Hanno scoperto che il modello non aveva perso la capacità di comprendere la struttura della frase. Sapeva ancora come elaborare le parole.
Inveve, la fiducia interna si è spostata. Il "voto" interno del modello per "lei" è stato sopraffatto da un "voto" più forte per "lui".
È come un tribunale. La prova del "lei" era ancora lì, ma la prova del "lui" è diventata così rumorosa che il giudice (il modello) ha smesso di ascoltare il testimone del "lei".

Il Messaggio Chiave

Questo paper ci insegna tre cose principali su come l'IA impara:

Le abilità acquisite a metà addestramento sono fragili: Solo perché un modello impara una regola a metà del processo di addestramento, non significa che la manterrà.
La frequenza regna sovrana: Se una regola è rara nei dati, verrà probabilmente schiacciata da un modello concorrente più comune, anche se la regola è ancora presente.
Puoi romperlo facilmente, ma non puoi ripararlo facilmente: Una volta che un modello ha disimparato una regola a causa della miscela di dati, semplicemente aggiungere nuovamente la regola in seguito spesso non funziona. L' "oblio" è permanente per quella specifica sessione di addestramento.

In breve: I modelli di IA sono come studenti che ascoltano la voce più forte nella stanza. Se la voce "sbagliata" è più forte della regola "giusta", lo studente imparerà la cosa sbagliata. E una volta che ha imparato la cosa sbagliata, urlare la regola giusta in un secondo momento spesso non serve a nulla.

Sintesi Tecnica: Natural Ungrokking (De-apprendimento Naturale)

Problematica

Questo articolo investiga un fenomeno denominato natural ungrokking: la reversione entro il corso di un'esecuzione di una capacità appresa durante il pre-training di un modello linguistico. A differenza del "grokking" (generalizzazione ritardata) o dell' "ungrokking" causato dalla riduzione del dataset tra diverse esecuzioni, l'ungrokking naturale avviene su dati stazionari dove un modello acquisisce una specifica regola linguistica, la applica con successo e poi la abbandona spontaneamente, nonostante l'evidenza della regola rimanga presente nel flusso di addestramento.

Il caso di studio focale riguarda un transformer decoder-only da 11,5 milioni di parametri addestrato su testo web. Il modello apprende una regola di genere dei pronomi (ad esempio, risolvere "Sue ha pianto perché" con "lei" invece del prior del corpus "lui"). Al passo di addestramento 925, il modello raggiunge un'accuratezza di 0,94 sui probe di conflitto tenuti separati. Tuttavia, al passo 3.500, l'accuratezza crolla vicino allo zero, anche se la distribuzione dei dati di addestramento rimane invariata e la curva di perdita non mostra alcuna traccia di questo cambiamento comportamentale. Il modello mantiene la costruzione grammaticale ma smette di applicare la regola specifica quando questa entra in conflitto con i prior superficiali.

Metodologia

Configurazione Sperimentale

Modelli: Un transformer decoder-only a 4 strati ( $d_{model}=256$ , 2 teste di attenzione, 11,5 milioni di parametri) addestrato per 4.400 passi.
Corpora: Sono stati utilizzati due dataset:
1. TinyStories: Un corpus sintetico in cui la regola del genere dei pronomi è densamente supportata.
2. Filtered Web Corpus: Derivato da ClimbMix, dove la frequenza di supporto della regola è bassa rispetto ai pattern superficiali concorrenti.
Variabili: Lo studio varia la frequenza di supporto ( $f$ ) della regola e il rapporto dati-parametri ( $D/N$ ).
Valutazione: Un set di probe templatizzati congelati misura le prestazioni sugli item di "conflitto" (regola vs prior in disaccordo) e di controllo "accordo" (regola e prior allineati). Un classificatore categorizza le traiettorie come Recovered (Recuperate), Displaced (Spostate), Partial (Parziali), Never (Mai) o Unstable (Instabili).
Metrica del Meccanismo: Un Contrast Margin (CM) traccia la differenza di log-probabilità tra la continuazione conforme alla regola e la concorrente conforme al prior.
Rigore: Tutti i parametri di conferma, le soglie e le previsioni direzionali sono stati pre-registrati prima dell'ispezione dei dati. Un set di semi di replicazione cieca è stato messo in quarantena.

Interventi Causali

Per stabilire la causalità, gli autori hanno eseguito modifiche "in loco" ai loro corpora di addestramento:

Kill (Rimozione): Capovolgere i token che supportano la regola in contro-evidenza (ad esempio, cambiando "lei" in "lui" dopo nomi femminili) a tassi specifici ( $p$ ) all'interno di un singolo corpus.
Rescue (Restaurazione): Iniettare nuovamente l'evidenza che supporta la regola in un corpus web collassato con dosi fino a $3\times$ la densità necessaria per la sopravvivenza in TinyStories.
Second Rule (Seconda Regola): Replicare la scala di "kill" su una regola non correlata (allomorfia $a/an$) per testare la generalizzabilità.

Risultati Chiave

1. La Frequenza di Supporto Determina il Destino

La sopravvivenza di una regola è prevedibile da una singola statistica del corpus: la frequenza di supporto (quanto spesso il flusso di addestramento mostra la vittoria della regola).

Sopravvivenza: In TinyStories (alto supporto), la regola sopravvive al livello massimo di accuratezza attraverso tutti i budget di dati.
Collasso: Nel corpus web (basso supporto), la regola emerge precocemente ma collassa verso un'accuratezza vicina allo zero alla fine dell'addestramento, indipendentmente dal rapporto $D/N$ .
Modulazione: Il rapporto $D/N$ modula la profondità del collasso (quanto in basso scende l'accuratezza), ma non cambia mai il verdetto di sopravvivenza. Un alto volume di dati non può salvare una regola con bassa frequenza di supporto.

2. Asimmetria di Controllo (L'asimmetria "Kill/Restore")

Il paper dimostra una netta asimmetria nel controllo della sopravvivenza della regola:

La distruzione è facile e dose-dipendente: Capovolgere il supporto in contro-evidenza distrugge la regola con una risposta dose-dipendente strettamente monotona. Al capovolgimento completo ( $p=1.0$ ), la regola muore in tutti i semi.
La restaurazione è impossibile: Iniettare nuovamente il supporto in un corpus collassato, anche a una densità 450 $\times$ superiore a quella naturalmente sostenibile, non riesce a ripristinare il comportamento.
- Sebbene il meccanismo interno (contrast margin) si sposti leggermente verso valori positivi con dosi corrispondenti, l'accuratezza comportamentale rimane collassata.
- Ciò accade anche quando l'iniezione è concentrata prima del passo di collasso, escludendo il tempo come unica causa del fallimento.

3. Meccanismo: Spostamento, non Cancellazione

La perdita della regola è uno spostamento da parte di un pattern superficiale concorrente, non una cancellazione della costruzione stessa.

Evidenza: La condizione di controllo "agree" (dove regola e prior si allineano) rimane risolta al massimo livello di accuratezza durante tutto il collasso.
Contrast Margin: Il CM attraversa lo zero esattamente quando avviene il collasso comportamentale (entro 100 passi). Nei casi di collasso, il percorso contestuale (contributi di attenzione/MLP) porta un margine negativo, sovrastando la regola.
Rappresentazione: La decodificabilità del genere tramite cue nell'ultimo strato decade a livelli casuali sui dati web, indicando che la rappresentazione della regola è spostata a monte dei logit.

4. Generalizzazione ai Checkpoint Pubblici

Il fenomeno non è un artefatto del modello specifico da 11,5M. I checkpoint pubblici di Pythia (70M–1.4B) e OLMo-1B mostrano la stessa firma "emerge-poi-collassa". La profondità del collasso è ordinata per scala del modello (i modelli più piccoli collassano più profondamente), coerentemente con le previsioni.

Significato e Rivendicazioni

Il paper rivendica tre contributi principali:

Prevedibilità della Perdita di Capacità: Il destino di una regola alla fine dell'addestramento può essere predetto da una statistica misurabile del corpus (frequenza di supporto) prima della fine dell'addestramento. Questo sfida l'assunto che le curve di perdita siano sufficienti per monitorare la ritenzione delle capacità.
Causalità Asimmetrica: Il paper stabilisce che la frequenza di supporto è causalmente sufficiente per la distruzione, ma insufficiente per la restaurazione. Una volta che una regola è stata spostata da un prior più forte, re-introdurre l'evidenza (anche in quantità massicce) non può recuperare la capacità.
Intuizione Meccanicistica: La perdita è identificata come uno spostamento fisico dove un pattern superficiale concorrente prevale sulla regola appresa, misurabile tramite il passaggio del contrast margin attraverso lo zero.

Implicazioni Pratiche:

Valutazione a metà addestramento: Le capacità osservate nei checkpoint di metà addestramento non sono garantite di esistere nel modello finale.
Filtraggio dei dati: Indebolire il supporto di una regola rara può condannarla senza eliminare un singolo esempio di essa.
Pre-addestramento continuo: Cambiare i mix di dati può silenziosamente "un-grokkare" le capacità che un modello base aveva già appreso.

Gli autori dichiarano esplicitamente che prevedere il confine esatto sull'asse della frequenza dove la sopravvivenza cambia rimane un problema aperto per il lavoro futuro, sebbene la legge qualitativa (la frequenza di supporto detta il destino) sia stabilita. Il lavoro è presentato come un contributo costruttivo alla comprensione della dinamica di addestramento, della memoria e della generalizzazione, con un focus specifico sulla fragilità delle regole apprese in presenza di prior concorrenti.