Riepilogo Tecnico: Due Velocità di Apprendimento: Una Decomposizione Rappresentazione-Lettura del Grokking e del Double Descent

Enunciato del Problema

I segnali standard per il monitoraggio dell'addestramento delle reti neurali profonde, come la perdita di addestramento e l'accuratezza, spesso non riescono a catturare la dinamica complessa della generalizzazione. Due fenomeni prominenti complicano questo quadro:

1. Grokking: Un modello raggiunge prestazioni quasi perfette sull'addestramento mentre l'accuratezza sul test rimane a livelli casuali per un periodo prolungato, seguita da una comparsa improvvisa della generalizzazione.
2. Double Descent per Epoca: La perdita di addestramento diminuisce in modo monotono, mentre la perdita o l'errore sul test mostrano un andamento non monotono di crescita e successiva diminuzione.

Le spiegazioni esistenti sono frequentemente specifiche del compito (ad esempio, basate su strutture algebriche nell'aritmetica modulare) o si affidano a transizioni di regime binarie (ad esempio, dall'apprendimento "pigro" a quello "ricco"). Manca un quadro unificato, agnostico rispetto al compito, capace di diagnosticare questi fenomeni attraverso architetture e compiti diversi, distinguendo la generalizzazione genuina da artefatti di apprendimento spurio indotti da ricette di addestramento non standard.

Metodologia: Decomposizione Rappresentazione-Lettura

Gli autori propongono un quadro che scompone una rete neurale $f(x)$ in due componenti distinte:

1. Codificatore ($\phi_\theta$): Una mappa non lineare dallo spazio degli input a uno spazio di rappresentazione di dimensione $N$.
2. Lettura ($W$): Una mappa lineare dallo spazio di rappresentazione ai logit di output.

Questa decomposizione permette il monitoraggio separato dell'apprendimento della rappresentazione (variazioni in $\phi_\theta$) e della calibrazione della lettura (variazioni in $W$). Per analizzare l'interazione tra queste componenti, gli autori impiegano quattro misure diagnostiche agnostiche rispetto al compito, derivate dalla geometria rappresentazionale e dalla teoria del Neural Tangent Kernel (NTK):

1. Dimensione Critica ($N_{crit}$): Quantifica la robustezza della separabilità lineare nello spazio di rappresentazione. È definita come la dimensione di proiezione più piccola attesa necessaria per preservare la separabilità con probabilità $\geq 0.5$. Una $N_{crit}$ più bassa indica varietà (manifold) meglio "districate" e una maggiore generalizzabilità.
2. Misure Geometriche Rilevanti per il Compito (GLUE): Un insieme di quattro metriche ($D, R, \rho_c, \rho_a$) derivate dalla teoria della Geometria Collegata all'Efficienza di Districamento (GLUE). Queste caratterizzano la dimensione effettiva del manifold, il raggio e l'allineamento dei centri e degli assi tra i manifold condizionati dall'etichetta.
3. Accuratezza del Linear Probe: Un classificatore lineare regolarizzato addestrato su rappresentazioni congelate. Il divario tra l'accuratezza del probe e l'accuratezza del modello diagnostica un disallineamento della lettura (sovradattamento o sottoadattamento rispetto alle capacità del codificatore).
4. Allineamento NTK-Etichetta dell'Ultimo Strato: Misura l'allineamento tra la matrice di Gram delle caratteristiche (NTK dell'ultimo strato) e il kernel delle etichette. Questo quantifica quanto bene la geometria delle caratteristiche corrente supporta il flusso del gradiente verso soluzioni discriminative delle etichette, valutato separatamente sui set di addestramento e di test.

Contributi e Risultati Chiave

1. Due Velocità di Apprendimento nel Grokking

Applicando la decomposizione a compiti canonici di grokking (addizione modulare, composizione di permutazioni, parità sparsa) su architetture MLP e Transformer, gli autori confutano la rigorosa spiegazione "da pigro a ricco", che postula che l'apprendimento della rappresentazione sia dormiente fino all'inizio del grokking.

• Apprendimento Continuo della Rappresentazione: $N_{crit}$ diminuisce gradualmente e continuamente durante tutto l'addestramento, inclusa la fase pre-grokking. L'apprendimento della rappresentazione è lento ma non assente; procede in modo continuo piuttosto che come una transizione di fase improvvisa.
• Lettura Biasata verso l'Addestramento: Prima dell'inizio del grokking, la direzione di apprendimento della lettura è sistematicamente biasata verso i dati di addestramento. Il divario di allineamento NTK (addestramento meno test) è grande e positivo, indicando che la lettura sovradatta il set di addestramento mentre le rappresentazioni non sono ancora sufficientemente robuste da supportare la generalizzazione.
• Meccanismo: Il grokking nasce non da un cambio improvviso di regimi di apprendimento, ma dalla graduale equalizzazione della direzione della lettura man mano che la qualità della rappresentazione ($N_{crit}$) alla volta raggiunge la velocità di calibrazione della lettura.

2. Differenze Architettoniche nei Meccanismi Geometrici

Il quadro rivela che diverse architetture raggiungono la generalizzazione attraverso percorsi geometrici distinti.

• MLP vs. Transformer: Nei compiti di addizione modulare e composizione di permutazioni, MLP e Transformer mostrano trend opposti nell'allineamento dei centri ($\rho_c$) e nell'allineamento degli assi ($\rho_a$). Mentre entrambe le architetture riducono la dimensione e il raggio del manifold, manipolano la geometria inter-classe in modo diverso per raggiungere lo stesso comportamento di grokking a livello superficiale.

3. Diagnosi dell'Apprendimento Spurio

Il quadro distingue con successo la generalizzazione genuina dagli artefatti causati da ricette di addestramento non standard.

• Artefatto di Grokking su MNIST: Un esempio di grokking precedentemente riportato su MNIST (indotto da norme di peso iniziali elevate e set di addestramento piccoli) viene diagnosticato come spurio. Il quadro rivela degradazione della rappresentazione (aumento di $N_{crit}$ e diminuzione dell'accuratezza del linear probe) e sovradattamento della lettura durante la fase "pre-grokking". La generalizzazione ritardata apparente è un artefatto della lettura che alla fine corregge una rappresentazione degradata, piuttosto che un miglioramento genuino nell'apprendimento delle caratteristiche.
• Double Descent per Epoca: In scenari di double descent indotti da rumore nelle etichette, il quadro identifica un processo a due stadi: una fase iniziale di deterioramento della rappresentazione seguita da una fase in cui gli aggiornamenti della lettura sono dominati da segnali spurii (etichette rumorose). Rimuovendo gli ingredienti non standard (ad esempio, rumore nelle etichette) si elimina sia il pattern di double descent sia le firme diagnostiche.

4. Quadro di Analisi Top-Down

Gli autori posizionano questa decomposizione come complemento "top-down" all'interpretabilità meccanicistica "bottom-up" (ad esempio, scoperta di circuiti). Caratterizzando la struttura globale delle rappresentazioni (geometria del manifold, separabilità, allineamento), il quadro fornisce osservabili coerenti attraverso le divisioni train/test e compiti diversi, offrendo un segnale affidabile per monitorare la dinamica di apprendimento laddove le curve di perdita standard falliscono.

Significato

Il paper stabilisce la decomposizione rappresentazione-lettura come un quadro unificato e agnostico rispetto al compito per comprendere la dinamica di apprendimento. Il suo significato principale risiede in:

• Raffinamento dei Conteggi Teorici: Supera la dicotomia binaria pigro-ricco, dimostrando che l'apprendimento della rappresentazione è continuo e che il grokking è guidato dalle velocità relative del miglioramento della rappresentazione rispetto alla calibrazione della lettura.
• Utilità Diagnostica: Fornisce firme specifiche per identificare dinamiche di apprendimento spurie (ad esempio, degradazione della rappresentazione o disallineamento della lettura) che potrebbero essere scambiate per fenomeni di apprendimento genuini in configurazioni di addestramento non standard.
• Generalizzabilità: Il quadro si applica coerentemente attraverso compiti algoritmici, dataset reali (MNIST) e architetture (MLP, Transformer, ResNet), offrendo uno strumento principiale per la ricerca sull'interpretabilità e il monitoraggio di modelli critici per la sicurezza.

Gli autori concludono che, sebbene il quadro sia attualmente applicato al livello lineare finale, offre una base robusta per future indagini su livelli intermedi, strutture specifiche del compito e scenari di apprendimento continuo.