💻 computer science

Mechanistic Interpretability of Discrete Logarithm Grokking: How Representation Determines the Internal Algorithm

Questo articolo dimostra che la rappresentazione dell'input del problema del logaritmo discreto detta fondamentalmente l'algoritmo interno scoperto dalle reti neurali, rivelando che l'allineamento algebrico con la vera fattorizzazione del problema è un prerequisito per una rapida generalizzazione (grokking) e che le strutture computazionali ricche di interazioni necessarie si formano durante la fase di memorizzazione molto prima che le prestazioni migliorino.

Autori originali: David Vesterlund

Pubblicato 2026-10-05

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: David Vesterlund

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Negli angoli silenziosi dell'informatica, i ricercatori stanno cercando di capire come l'intelligenza artificiale pensi realmente. Per anni, abbiamo saputo che questi sistemi possono imparare a risolvere enigmi complessi, ma il processo spesso sembra magia: un modello può fallire ripetutamente per molto tempo, improvvisamente memorizzare le risposte e poi, dopo una strana pausa, iniziare a generalizzare e risolvere nuovi problemi che non ha mai visto. Questo fenomeno, in cui una macchina sembra "comprendere profondamente" (grok) un concetto molto tempo dopo aver semplicemente memorizzato i dati, è diventato un mistero centrale. Per decifrare questo codice, gli scienziati utilizzano spesso problemi matematici che hanno una struttura nascosta e chiara, proprio come una serratura con una chiave specifica. Uno di questi problemi è il logaritmo discreto, un compito che chiede a un computer di invertire un processo di moltiplicazione per trovare un numero nascosto. Sebbene ciò possa sembrare astratto, è il tipo di enigma logico che rivela la meccanica interna delle reti neurali. Osservando come un computer impara a risolvere questo specifico enigma, i ricercatori possono vedere esattamente quali strategie interne inventa la macchina e se il modo in cui le presentiamo il problema ne cambia la soluzione trovata.

Un nuovo studio di David Vesterlund porta questa indagine un passo avanti ponendo una domanda semplice ma profonda: il modo in cui presentiamo le informazioni a un computer cambia il modo in cui esso pensa? Per scoprirlo, il ricercatore ha addestrato modelli di intelligenza artificiale per risolvere il problema del logaritmo discreto utilizzando due metodi molto diversi di presentazione dei dati. Nel primo metodo, al modello venivano dati i numeri grezzi, proprio come un essere umano li vedrebbe su una pagina, senza suggerimenti speciali sulla struttura sottostante. Nel secondo metodo, il ricercatore ha scomposto il problema nelle sue parti matematiche naturali prima di mostrarlo al modello, consegnando di fatto al computer un kit di attrezzi pre-ordinato. I risultati hanno rivelato che questi due approcci hanno portato i modelli a scoprire algoritmi interni completamente diversi. Il modello addestrato sui dati grezzi ha sviluppato una rete complessa e aggrovigliata di connessioni dove le diverse parti del problema erano profondamente intrecciate. Al contrario, il modello a cui sono stati dati i dati strutturati e pre-ordinati ha sviluppato un'organizzazione pulita e separata, in cui le diverse parti del problema venivano gestite indipendentemente.

Forse la scoperta più sorprendente fu la tempistica di questo apprendimento. I ricercatori hanno scoperto che la struttura complessa e aggrovigliata nel modello dei dati grezzi ha iniziato a formarsi molto prima che il modello iniziasse effettivamente a dare le risposte corrette. Per migliaia di passaggi, le connessioni interne del modello si stavano riorganizzando in questo schema intricato mentre i punteggi nei test rimanevano bloccati a un livello basso. Solo molto più tardi, dopo che questa struttura interna era stata completamente costruita, il modello ha improvvisamente "cliccato" e ha iniziato a risolvere il problema correttamente. Ciò suggerisce che la macchina stia costruendo la strumentazione necessaria per la comprensione molto prima di poter dimostrare tale comprensione. Lo studio ha anche dimostrato che questa architettura interna non è solo un effetto collaterale, ma è essenziale per il compito. Quando i ricercatori hanno rimosso chirurgicamente parti specifiche della matematica interna del modello, il sistema è fallito completamente, provando che questi schemi specifici erano il motore reale che guidava la soluzione.

Lo studio ha anche corretto un malinteso derivante da ricerche precedenti su come testare questi modelli. Una tecnica comune prevedeva di rimescolare le etichette dei dati per vedere se il modello faceva affidamento sull'ordine specifico dei numeri. La nuova analisi ha dimostrato che questo metodo di rimescolamento era in realtà un trucco; poiché il modello apprende il proprio dizionario di simboli, rinominare semplicemente i numeri non cambiava effettivamente la struttura matematica sottostante che stava vedendo. Il modello stava comunque risolvendo lo stesso problema strutturato, solo con nomi diversi. Questa scoperta è stata cruciale perché ha aperto la strada a un test più onesto. I ricercatori hanno quindi creato una gerarchia di nuovi test, alcuni dei quali mantenevano intatta la struttura matematica e altri che la rompevano deliberatamente. Hanno scoperto che i modelli potevano imparare a risolvere il problema rapidamente solo se l'input preservava la vera "partizione" matematica del problema. Se l'input rimescolava la relazione tra le parti dell'equazione, il modello memorizzava perfettamente i dati di addestramento, ma non avrebbe mai imparato a risolvere nuovi problemi, anche dopo essere stato addestrato per molto tempo.

In definitiva, questo lavoro suggerisce che la rappresentazione dell'input non si limita a velocizzare o rallentare l'apprendimento; essa determina fondamentalmente l'algoritmo che la macchina scopre. Quando il problema viene presentato in un modo che rispetta le sue naturali divisioni matematiche, la macchina trova un percorso semplice ed efficiente verso la soluzione. Quando il problema è presentato in modo grezzo e non strutturato, la macchina è costretta a costruire un mondo interno molto più complesso per colmare le lacune, e impiega molto più tempo per capire come usare tale complessità. Lo studio conferma che per questi sistemi artificiali, il percorso verso la comprensione è pavimentato dalla struttura delle informazioni ricevute. Non è solo una questione di quanta quantità di dati vedano, ma di come tali dati siano disposti. La macchina non impara solo la risposta; impara un modo specifico di pensare che è dettato dalla forma stessa della domanda.

Sintesi Tecnica: Interpretabilità Meccanicistica del Grokking del Logaritmo Discreto

1. Definizione del Problema

Questa ricerca indaga come la rappresentazione dell'input di un problema di apprendimento algebrico determini l'algoritmo interno scoperto da una rete neurale. Lo studio si concentra sul logaritmo discreto (DLP) nel contesto del grokking — il fenomeno per cui un modello memorizza i dati di addestramento molto prima di generalizzare improvvisamente ai dati di test.

La domanda centrale non è solo se il grokking avvenga, ma quale meccanismo interno costruisce la rete e come questo meccanismo sia plasmato dal fatto che la rappresentazione dell'input esponga o interrompa la struttura algebrica sottostante (specificamente, la scomposizione tramite il Teorema Cinese del Resto, o CRT, del gruppo ciclico).

2. Metodologia e Setup Sperimentale

2.1 Task e Dati

Problema: Risolvere $h = g^x \pmod p$ per $x$ , dove $p=113$ (un numero primo) e l'ordine del gruppo è $N = p-1 = 112 = 7 \times 16$ .
Scomposizione CRT: Il problema permette una naturale fattorizzazione in $x \pmod 7$ e $x \pmod{16}$ .
Dataset: Tutti i 5.376 triple $(g, g^x, x)$ generati da 48 generatori. Split: 30% training, 70% testing.
Modello: Un Transformer a 2 strati (427K parametri, dimensione nascosta 128, 4 teste).

2.2 Rappresentazioni dell'Input

Lo studio confronta diverse codifiche dell'input per testare la necessità dell'allineamento algebrico:

RAW (R0): Sequenza standard $[BOS, g, SEP, h, EOS]$ . Nessuna fattorizzazione esplicita.
TRUE CRT (R1): Input esplicitamente fattorizzato $[BOS, g_b, SEP, g_a, SEP, h_b, SEP, h_a, EOS]$ , esponendo le proiezioni dei sottogruppi.
SCRAMBLED: Applica una singola permutazione fissa a tutte le posizioni CRT.
Controlli Negativi (Gerarchia di Distruzione Algebrica):
- PERMUTED CRT (R2): Permutazioni indipendenti per ogni fattore (preserva la partizione, distrugge l'ordine).
- ROLE-DECOUPLED CRT: Permutazioni diverse per la posizione del generatore rispetto a quella del risultato (preserva la partizione, distrugge la coniugazione condivisa).
- GLOBAL RANDOM BIJECTION (R3): Bijezione casuale globale che distrugge la legge del gruppo e la partizione dei fattori.
- ORDER-MATCHED (R3O) & MIXED RADIX (R4): Variazioni che preservano l'informazione ma distruggono la struttura algebrica.

2.3 Tecniche di Analisi

Decomposizione di Fourier 2D del CRT: Le attivazioni nascoste sono decomposte in modi di Fourier: $E_A$ (solo fattore A), $E_B$ (solo fattore B) ed $E_{AB}$ (interazione tra i fattori). Il rapporto di interazione $R_{int} = E_{AB} / (E_A + E_B + E_{AB})$ quantifica la separabilità rappresentazionale.
Analisi Temporale: Monitoraggio dell'energia di Fourier e dell'accuratezza di test su 32 checkpoint (0–65K epoche) per determinare quando si formano le strutture interne rispetto alla generalizzazione.
Ablazione Causale: Ablazione top-k dei sottospazi di Fourier ( $U_A, U_B, U_{AB}$ ) con 100 controlli casuali appaiati per rango e varianza con i soggetti, per verificare la necessità causale.
Score di Struttura Algebrica: Metriche che includono lo score di omomorfismo ( $S_{hom}$ ) e l'indice di Rand corretto (ARI) per quantificare quanto una rappresentazione preservi la legge del gruppo e la partizione dei fattori.

3. Contributi Chiave

Algoritmi Interni Divergenti: È stato dimostrato che le rappresentazioni RAW e CRT portano a organizzazioni interne qualitativamente diverse. La RAW sviluppa una struttura non separabile e ricca di interazioni ( $E_{AB} \approx 0.65$ ), mentre la CRT sviluppa una struttura separabile ( $E_{AB} \approx 0.01$ ), nonostante risolvano lo stesso compito.
Formazione Temporale dell'Interazione: Si è dimostrato che la struttura ricca di interazioni nei modelli RAW si forma durante il plateau di memorizzazione (epoche 15K–30K), circa 20.000 epoche prima della generalizzazione visibile (grokking a ~50K).
Audit dello SCRAMBLED: Si è provato che la rappresentazione "SCRAMBLED", precedentemente studiata, è esattamente coniugata alla TRUE CRT all'inizializzazione. Poiché il modello utilizza embedding categorici appresi, una permutazione globale dei token viene assorbita dalla tabella degli embedding, il che significa che SCRAMBLED preserva tutta la struttura algebrica ( $S_{hom}=1.0$ ) e non testa la distruzione algebrica.
Gerarchia di Controlli Negativi: È stato stabilito che la preservazione della vera partizione dei fattori CRT è il requisito critico per una rapida generalizzazione. Le rappresentazioni che preservano la partizione (TRUE CRT, PERMUTED CRT, ROLE-DECOUPLED CRT) effettuano tutte il grok, mentre quelle che distruggono la partizione (R3, R3O, R4) non effettuano il grok nemmeno dopo 100K epoche.
Necessità Causale dei Modi di Fourier: L'ablazione top-k dei sottospazi di Fourier ha confermato che i modi A, B e i modi di interazione AB sono tutti causalmente necessari per il calcolo ( $p < 0.01$ ).

4. Risultati Chiave

4.1 La Rappresentazione Determina l'Algoritmo

Modello RAW: Sviluppa un algoritmo interno complesso basato su interazioni tra i fattori. L'energia di interazione ( $E_{AB}$ ) sale dal 35% al 52% durante il plateau, mentre l'accuratezza di test rimane piatta (~30%).
Modello CRT: Sviluppa un algoritmo separabile. Il modello scopre precocemente l'informazione componente ( $x \pmod 7$ e $x \pmod{16}$ ) ma impara a ricombinarle solo successivamente.
Conclusione: La rappresentazione dell'input non cambia solo la velocità di apprendimento; cambia fondamentalmente l'algoritmo interno (separabile vs. ricco di interazioni).

4.2 La Necessità della Preservazione della Partizione dei Fattori

Grokking Rapido: TRUE CRT (~~20K epoche), PERMUTED CRT (~~8K) e ROLE-DECOUPLED CRT (~26K) raggiungono tutti una generalizzazione quasi perfetta.
Fallimento del Grokking: GLOBAL RANDOM BIJECTION (R3), ORDER-MATCHED (R3O) e MIXED RADIX (R4) falliscono nel generalizzare ( $T_{grok} > 100K$ ) nonostante la piena memorizzazione e il massimo weight decay.
Implicazione: Fattorizzare l'input in due coordinate non è sufficiente. La rappresentazione deve preservare la vera partizione algebrica (la specifica mappatura degli elementi del gruppo ai fattori CRT).

4.3 Il Malinteso dello "SCRAMBLED"

Lo studio corregge una potenziale interpretazione errata nella letteratura precedente. Poiché SCRAMBLED è coniugata alla CRT, il suo rapido grokking non implica che l'allineamento algebrico sia superfluo. Conferma semplicemente che il modello può apprendere l'algoritmo quando la struttura algebrica è preservata tramite la ridenominazione del vocabolario.

4.4 Verifica Causale

L'ablazione dei top-k sottospazi di Fourier causa crolli prestazionali catastrofici ( $\Delta \approx -0.89$ a $-0.96$), mentre i controlli casuali mostrano un impatto trascurabile. Ciò conferma che i modi di Fourier identificati non sono solo caratteristiche correlate, ma sono causalmente richiesti per il calcolo.

5. Significato e Rivendicazioni

Il paper sostiene che la rappresentazione dell'input è un determinante primario dell'algoritmo interno che una rete neurale scopre.

Insight Meccanicistico: Il grokking non è un fenomeno monolitico; il percorso verso la generalizzazione dipende dal fatto che la rete debba costruire modalità di interazione complesse (RAW) o possa fare affidamento su strutture separabili pre-esposte (CRT).
Allineamento Algebrico: Una rapida generalizzazione nei compiti algebrici richiede che la rappresentazione dell'input preservi la vera partizione dei fattori della struttura del gruppo sottostante. La semplice preservazione dell'informazione o una fattorizzazione arbitraria non sono sufficienti.
Correzione Metodologica: Lo studio evidenzia un potenziale errore critico nell'interpretabilità meccanicistica: "scrambling" degli input tramite permutazioni di token può essere vacuo se il modello utilizza embedding appresi, poiché la permutazione può essere assorbita senza distruggere la logica algebrica sottostante.
Dinamiche Temporali: La struttura interna necessaria per la generalizzazione (specificamente le interazioni tra i fattori in RAW) si forma ben prima che il modello mostri capacità di generalizzazione, suggerendo che il "plateau" è una fase di costruzione strutturale piuttosto che di semplice memorizzazione.

L'autore mantiene un ambito modesto, notando i limiti come l'uso di un singolo seed per l'analisi temporale e l'attuale restrizione a $p=113$ , inquadrando questi punti come direzioni per lavori futuri piuttosto che come conclusioni attuali.