📊 statistics

Algebraic Representability as the Limiting Regime of Grokking: An Exactly Solvable Model with Holomorphic Activations

Questo articolo dimostra che nelle reti neurali a due strati con attivazioni monomiali oloforfe addestrate sull'aritmetica modulare, la classe di funzioni esprimibili collassa in una varietà algebrica a dimensione finita, causando il fatto che la rete esibisca un esito binario di o generalizzazione istantanea o fallimento dell'addestramento garantito — eliminando così interamente il fenomeno del grokking man mano che la relazione tra capacità e grokking raggiunge il suo regime limite.

Autori originali: Chon-Fai Kam, Xavier Cadet, Miloud Bessafi, Frederic Cadet

Pubblicato 2026-07-16

📖 8 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Chon-Fai Kam, Xavier Cadet, Miloud Bessafi, Frederic Cadet

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un robot come risolvere enigmi matematici. Di solito, quando addestriamo questi robot (chiamati reti neurali), ci aspettiamo che migliorino man mano che facciamo pratica. Ma a volte, succede qualcosa di strano: il robot memorizza perfettamente le risposte, ottiene un punteggio perfetto nei compiti, ma poi fallisce miseramente quando gli dai un nuovo problema simile. Resta lì, bloccato in una modalità "memorizzazione", per migliaia di passaggi. Poi, improvvisamente, senza alcun preavviso, passa a una nuova modalità e inizia a risolvere i nuovi problemi correttamente. Questo strano risveglio ritardato è chiamato grokking. È come uno studente che studia freneticamente per un esame, dimentica tutto il giorno dopo e poi improvvisamente comprende il concetto una settimana dopo.

Gli scienziati hanno cercato di capire perché questo ritardo accada. Sanno che la dimensione del cervello del robot (la sua "capacità") è importante. Se il cervello è troppo piccolo, potrebbe non imparare mai. Se è enorme, impara istantaneamente. Ma cosa succede nel mezzo? Il ritardo si accorcia semplicemente man mano che il cervello del robot diventa più grande? O esiste un punto in cui il cervello del robot è costruito in modo così strano da non poter imparare la risposta, non importa quanto tempo aspetti? Questo articolo approfondisce questa domanda costruendo un robot matematicamente perfetto per vedere cosa succede quando le regole dell'apprendimento vengono spinte al loro limite assoluto.

Il Robot con un Cervello Taglia Unica

Gli autori di questo articolo hanno deciso di smettere di tirare a indovinare e hanno iniziato a costruire. Inveve di usare un cervello da robot standard e disordinato, hanno costruito un tipo speciale di rete con una regola molto rigida: può pensare solo in un tipo specifico di schema matematico chiamato "monomio olo-morfico".

Pensa al cervello di questo robot come a un fabbro con un set di chiavi molto specifico.

Robot Standard (Approssimatori Universali): La maggior parte dei modelli di IA sono come un fabbro con una cassetta degli attrezzi gigante. Qualunque serratura tu dia loro, potranno eventualmente aprirla se hanno abbastanza tempo e abbastanza strumenti. Potrebbero impiegare molto tempo per capire la combinazione giusta (memorizzazione), e poi improvvisamente riuscirci (generalizzazione), ma possono sempre aprire la porta.
Il Robot di questo Articolo: Questo robot ha solo una specifica forma di chiave. Può aprire solo serrature che corrispondono esattamente a quella forma. Se gli dai una serratura che non si adatta a quella forma, non si limita a metterci molto tempo per aprirla; non può aprirla affatto. Non è una questione di "non abbastanza pratica"; è una questione di "strumento sbagliato".

I ricercatori hanno testato questo robot su compiti di aritmetica modulare (fondamentalmente, problemi matematici in cui i numeri ruotano intorno, come un orologio). Hanno chiesto: Se il cervello del robot è così limitato da non poter nemmeno rappresentare la risposta, riesce comunque a fare "grokking"?

La Grande Scoperta: L'Interruttore "Tutto o Niente"

La risposta che hanno trovato è sorprendentemente semplice e binaria. Non c'è una via di mezzo, non c'è un ritardo lento e non c'è grokking.

Il Caso "Sì": Se il problema matematico a cui il robot è chiamato a rispondere corrisponde per caso alla forma specifica della sua chiave, il robot lo risolve istantaneamente. Impara i dati di addestramento e i nuovi dati esattamente nello stesso momento. Non c'è periodo di attesa. È come consegnare al fabbro l'esatta chiave per cui è nato; la porta si apre immediatamente.
Il Caso "No": Se il problema non corrisponde alla forma della chiave, il robot fallisce completamente. Non memorizza le risposte. Non rimane bloccato in un ciclo. Resta semplicemente al livello di una scelta casuale per sempre. La perdita di addestramento (una misura di quanto sia sbagliato) raggiunge un limite invalicabile e si rifiuta di scendere ulteriormente, non importa quanto si allarghi il cervello del robot o per quanto tempo lo si addestri.

Gli autori lo hanno dimostrato matematicamente. Hanno mostrato che, per questo tipo specifico di robot, l'insieme dei problemi che può risolvere è una piccola fetta fissa di tutti i problemi possibili. Se il tuo problema non è in quella fetta, il robot è matematicamente incapace di adattarsi ai dati. Non è un problema di ottimizzazione; è un'impossibilità strutturale.

L'Esperimento: 585 Prove di Verità

Per dimostrare che questo non fosse solo un teorema, il team ha eseguito 585 esperimenti. Hanno testato il robot su 39 diversi problemi matematici con 5 diverse "forme di chiave" (gradi di attivazione).

Il Risultato: Il comportamento del robot corrispondeva alle previsioni matematiche con una precisione del 99,8%.
Il Modello: I risultati formavano una perfetta "scala a gradini". Se i numeri del problema sommavano al totale corretto, il robot aveva successo istantaneamente. Se non era così, falliva istantaneamente.
Il Centro Mancante: In 585 prove, non ci sono stati zero casi di "grokking" (successo ritardato) e zero casi di "memorizzazione senza generalizzazione" (fare bene i compiti ma fallire il test). Il robot o vinceva immediatamente o perdeva immediatamente.

Il Confronto: Il Robot "Normale"

Per assicurarsi che questo non fosse solo un bizzarro capriccio del loro robot speciale, hanno eseguito gli stessi test su un robot standard, "normale" (usando un'attivazione ReLU, che è lo standard del settore).

Il Robot Normale: Questo robot poteva risolvere ogni problema. Memorizzava tutto. Ma sui problemi difficili, mostrava il classico comportamento di grokking: memorizzava l'insieme di addestramento, restava lì per migliaia di passaggi e poi improvvisamente generalizzava.
Il Contrasto: I problemi che causavano il fallimento totale del robot speciale erano esattamente gli stessi problemi che causavano il grokking del robot normale. Questo dimostra che il "ritardo" nel grokking non dipende solo dal fatto che il problema sia difficile; riguarda il fatto che il cervello del robot sia quasi abbastanza grande, ma non del tutto. Il robot speciale ci ha mostrato cosa succede quando il cervello è troppo piccolo per nemmeno iniziare la gara.

Il Test del "Collo di Bottiglia": Colmare il Divario

I ricercatori volevano vedere se esistesse un percorso fluido tra "fallimento istantaneo" e "successo istantaneo". Hanno preso un robot normale e hanno stretto il suo cervello attraverso un "collo di bottiglia", rendendolo sempre più stretto.

Collo di Bottiglia Largo: Il robot fa grokking (successo ritardato).
Collo di Bottiglia Medio: Il robot memorizza ma non generalizza mai (rimane bloccato).
Collo di Bottiglia Minuscolo: Il robot non riesce nemmeno a memorizzare (fallimento istantaneo).

Questo esperimento ha collegato i puntini. Ha dimostrato che il regime di "fallimento istantaneo" del robot speciale è semplicemente l'estremo fine dello stesso spettro in cui avviene il grokking. Man mano che si riduce la capacità di un robot, il ritardo diventa sempre più lungo, finché finalmente il ritardo diventa infinito perché il robot non è nemmeno in grado di memorizzare i dati in primo luogo.

E Per Quanto Riguarda l'Imparare le Chiavi?

Ci si potrebbe chiedere: "E se il robot potesse imparare le proprie chiavi?". Gli autori hanno testato questo aspetto permettendo al robot di imparare la propria codifica di input (invece di ricevergli una codifica fissa di "radici dell'unità").

Il Risulto: La "scala a gradini" di successo e fallimento istantaneo è scomparsa. Il robot poteva ora risolvere quasi tutti i problemi lineari istantaneamente.
L'Eccezione: C'era ancora un problema che non poteva risolvere: il compito di moltiplicazione ( $a \times b$ ). Anche con un cervello appreso, la struttura del robot era troppo semplice per catturare la complessità della moltiplicazione. Questo ha confermato che il fallimento non riguardava solo la matematica specifica usata per alimentare il robot; era un limite fondamentale dell'architettura del robot stesso.

La Conclusione

Questo articolo rivela una verità fondamentale sull'addestramento dell'IA: Il grokking è una gara tra memorizzazione e generalizzazione. Ma affinché questa gara possa avvenire, il corridore deve prima essere in grado di allacciarsi le scarpe.

Se il cervello di una rete neurale è troppo piccolo o troppo rigido per rappresentare la risposta (per "allacciarsi le scarpe"), la gara non inizia nemmeno. Non c'è ritardo, non c'è lotta e non c'è un improvviso risveglio. C'è solo un arresto netto. La domanda "quando farà grokking?" si dissolve nella domanda più semplice e primitiva: "È effettivamente capace di rappresentare l'obiettivo?".

Gli autori hanno dimostrato che quando si spinge una rete ai suoi limiti matematici, il comportamento disordinato e confuso del grokking svanisce, sostituito da una realtà binaria e pulita: o la matematica si adatta e vinci istantaneamente; o non si adatta e perdi istantaneamente. È un promemoria del fatto che, prima di poter parlare di come l'IA impara, dobbiamo assicurarci che sia effettivamente capace di imparare ciò che le stiamo chiedendo di fare.

Sintesi Tecnica: Rappresentabilità Algebrica come Regime Limite del Grokking

Enunciato del Problema
La letteratura recente sul "grokking" — il fenomeno per cui le reti neurali addestrate su compiti di aritmetica modulare passano dalla memorizzazione alla generalizzazione dopo un ritardo significativo — ha stabilito che la capacità del modello governa la tempistica di questa transizione. Tuttavia, gli esistemi framework (ad esempio, Song e Ye 2026) assumono che la rete sia sufficientemente grande da poter eventualmente memorizzare i dati di addestramento. Questo articolo investiga il regime limite in cui la classe di funzioni esprimibili dalla rete è così vincolata da non poter rappresentare la funzione target, anche in linea di principio. La domanda centrale è: cosa accade alla dinamica di memorizzazione-generalizzazione quando la capacità dell'architettura è strutturalmente insufficiente per adattarsi al set di addestramento, piuttosto che semplicemente lenta nel farlo?

Metodologia
Gli autori studiano un'architettura specifica ed esattamente risolvibile: una rete neurale a due strati a valori complessi con un'attivazione monomiale oloforma $\sigma(z) = z^k$ . La rete viene addestrata su compiti di aritmetica modulare $f: \mathbb{Z}_p \times \mathbb{Z}_p \to \mathbb{Z}_p$ (dove $p$ è primo) utilizzando una codifica tramite radici dell'unità, dove gli input $(a, b)$ sono mappati in $(\omega^a, \omega^b)$ con $\omega = e^{2\pi i/p}$ .

Le principali scelte metodologiche includono:

Trattabilità Algebrica: La scelta di $\sigma(z) = z^k$ garantisce che l'output della rete sia un polinomio di grado $k$ . Sulla codifica delle radici dell'unità, questo restringe l'output della rete a un sottospazio specifico di caratteri del gruppo $(\mathbb{Z}_p)^2$ .
Analisi di Fourier: Gli autori utilizzano l'analisi armonica su gruppi abeliani finiti per caratterizzare la "classe esprimibile" $\mathcal{F}_k$ . Dimostrano che, indipendentemente dalla larghezza nascosta $H$ , l'output della rete è confinato in un sottospazio di dimensione $(k+1)$ spaziato da etichette di frequenza $(\ell, k-\ell)$ per $0 \le \ell \le k$ .
Limiti Teorici: L'articolo deriva un limite inferiore sulla perdita di addestramento per target non rappresentabili, dimostrando che la perdita rimane strettamente positiva e indipendente dalla larghezza nascosta.
Validazione Sperimentale: La teoria è testata attraverso 585 sessioni sperimentali coinvolgenti 39 compiti (35 a fase lineare, 4 a fase non lineare) e 5 gradi di attivazione ( $k=2$ a $6$).
Ablazioni Comparative: Lo studio include un baseline ReLU (approssimatore universale) e un'ablazione "bottleneck" sulle reti ReLU per tracciare la transizione dal fallimento della rappresentazione al grokking.

Contributi Chiave

Caratterizzazione Algebrica Esatta della Rappresentabilità:
L'articolo fornisce una caratterizzazione completa di quali compiti modulari giacciono all'interno della classe esprimibile $\mathcal{F}_k$ .
- Target a fase lineare ( $f(a,b) = ma + nb \mod p$ ): Un compito è rappresentabile se e solo se $m + n = k$ (assumendo che $m+n \le k$ ). Se questa condizione non è soddisfatta, il target è ortogonale all'intero sottospazio esprimibile.
- Target a fase non lineare (es. $ab$, $a^2+b^2$ ): Questi compiti hanno un supporto di Fourier che si estende oltre la diagonale $u+v \equiv k \pmod p$ . L'articolo dimostra che questi sono irrappresentabili per qualsiasi $k < p$ finito.
- Indipendenza dalla Codifica: Attraverso la Proposizione 1, gli autori mostrano che anche con embedding appresi, la rappresentabilità di un compito è vincolata dal rango della matrice target. Nello specifico, il compito $ab$ (che corrisponde a una matrice DFT a pieno rango) rimane irrappresentabile per qualsiasi $k < p-1$ , indipendentemente dalla codifica di input.
Il Regime "No Memorization":
L'articolo dimostra che, per i target non rappresentabili, la rete non può memorizzare il set di addestramento. Poiché l'output è algebricamente confinato in un sottospazio che non contiene il target, la perdita di addestramento è limitata inferiormente da una costante positiva (il gap spettrale). Di conseguenza, non c'è una fase di "memorizzazione", né un ritardo di grokking, né un miglioramento graduale; la rete semplicemente fallisce nell'adattarsi ai dati, rimanendo a un livello di accuratezza casuale.
Validazione Empirica di Esiti Binari:
In 585 sessioni, la previsione algebrica ha corrisposto all'esito osservato con un'accuratezza del 99,8%. I risultati sono stati strettamente binari:
- Compiti rappresentabili: Appresi quasi istantaneamente (Generalizzazione Istantanea, o INST) senza gap tra accuratezza di addestramento e di test.
- Compiti non rappresentabili: Fallimento totale (FAIL) con l'accuratezza di addestramento bloccata a livelli casuali.
- Non ci sono stati alcuni casi di grokking o memorizzazione-senza-generalizzazione per la rete oloforma.
Connessione allo Spettro della Capacità:
L'articolo colma il divario tra l' "estremo algebrico" (reti oloforme) e gli approssimatori universali standard (reti ReLU).
- Baseline ReLU: Le reti ReLU standard memorizzano tutti i compiti ed esibiscono il grokking su compiti non lineari difficili, con ritardi che scalano con la complessità del compito.
- Ablazione Bottleneck: Comprimendo una rete ReLU tramite un bottleneck lineare, gli autori tracciano un percorso continuo dal FAIL (quando il bottleneck è troppo stretto per adattarsi ai dati) al MEM (memorizzazione senza generalizzazione) al GROK (con un gap che si restringe all'aumentare della capacità). Ciò dimostola che il regime "FAIL" osservato nel modello oloforme è il limite strutturale dello spettro capacità-grokking.

Significato e Rivendicazioni
L'articolo sostiene che la domanda "quando una rete farà grokking" è una domanda secondaria che presuppone la condizione primaria di rappresentabilità.

Regime Limite: La rete oloforma rappresenta il caso limite in cui la classe esprimibile collassa in un oggetto algebrico fisso. In questo regime, la competizione tra le velocità di memorizzazione e generalizzazione (il meccanismo del grokking) non inizia mai perché la fase di memorizzazione è strutturalmente impossibile.
Vincoli Strutturali vs. di Ottimizzazione: I risultati distinguono tra difficoltà di ottimizzazione (che causano ritardi di grokking nelle reti standard) e impossibilità di rappresentazione (che causano un fallimento immediato nelle reti vincolate).
Universalità dell'Ostruzione: Il fallimento del compito $ab$ è mostrato essere una proprietà intrinseca dei vincoli di rango dell'architettura, non un artefatto della codifica fissa delle radici dell'unità.

Gli autori concludono che il loro lavoro definisce un regime in cui la dinamica del grokking si dissolve in una domanda binaria di rappresentabilità. Sebbene i risultati algebrici specifici si applichino a questo contesto oloforme, gli esperimenti sul bottleneck suggeriscono che la struttura a tre regimi (Fallimento $\to$ Memorizzazione $\to$ Grokking) è una caratteristica generale dello spettro della capacità, con il modello oloforme che fornisce una condizione al contorno analiticamente risolvibile e rigorosa per l'estremità "Fallimento" di tale spettro.