Riepilogo Tecnico: Repulsione delle Caratteristiche e Blocco Spettrale

Enunciato del Problema

Il grokking—il fenomeno per cui le reti neurali transitano bruscamente dalla memorizzazione alla generalizzazione molto dopo che la perdita di addestramento si è stabilizzata—è stato spiegato attraverso diverse lenti, tra cui l'interpretabilità meccanica e la regolarizzazione implicita. Tian [2025] ha fornito un quadro principiato che scompone la dinamica del grokking nelle reti a due strati in tre fasi, culminando in una fase di "Apprendimento interattivo delle caratteristiche" (Fase III). All'interno di questa fase, il Teorema 6 di Tian postula un "teorema di repulsione": caratteristiche nascoste simili si respingono a vicenda a causa della struttura fuori diagonale della matrice $B = (\tilde{F}^\top \tilde{F} + \eta I)^{-1}$.

Tuttavia, il quadro di Tian ha lasciato due domande empiriche senza risposta:

1. Tempistica: A quale punto specifico dell'addestramento questo meccanismo di repulsione diventa empiricamente osservabile?
2. Osservabilità: Questo meccanismo si manifesta come una firma misurabile e online in quantità che i praticanti possono calcolare senza costosi diagnostici offline?

Questo articolo affronta queste domande testando il Teorema 6 e un osservabile spettrale candidato sulla configurazione esatta di addizione modulare di Tian.

Metodologia

Lo studio replica la configurazione di addizione modulare di Tian [2025] ($M=71$ classi, $K=2048$ unità nascoste, frazione di addestramento $p \approx 0.40$) utilizzando l'ottimizzazione Adam con decadimento dei pesi $\eta$. Gli autori impiegano due test complementari su più semi casuali:

1. Verifica Diretta del Teorema 6:

   • Gli autori calcolano $B$ esattamente utilizzando l'identità di Woodbury per ridurre la complessità computazionale.
   • A checkpoint deterministici, identificano le 200 coppie di caratteristiche più simili basandosi sulla similarità del coseno.
   • Verificano la regola del segno: $\text{sgn}(B_{j\ell}) = -\text{sgn}(\tilde{f}_j^\top P_{\eta, -j\ell} \tilde{f}_\ell)$, dove $P$ è una matrice di proiezione che esclude le colonne $j$ e $\ell$.
   • Questa verifica viene eseguita su diverse funzioni di attivazione ($\sigma(x)=x^2$ e $\sigma(x)=\text{ReLU}$).

2. Rilevamento della Firma Spettrale:

   • Gli autori monitorano la matrice di Gram a finestra mobile degli aggiornamenti dei parametri ($\Delta W$).
   • Tracciano il rapporto del gap degli autovalori $\sigma_2/\sigma_3$ (il rapporto tra il secondo e il terzo autovalore).
   • Un rilevatore basato sulla pendenza identifica il momento di "blocco" quando questo rapporto entra in una fase di crescita sostenuta, ipotizzando che la repulsione consolidi le caratteristiche ridondanti in una struttura a basso rango (specificamente rango-2).
   • Vengono condotte analisi di sensibilità sulla dimensione della finestra ($W$) e sul decadimento dei pesi ($\eta$).

Risultati Chiave

1. Verifica del Teorema 6 (Generale rispetto all'Attivazione)

La regola del segno del Teorema 6 vale empiricamente su diverse funzioni di attivazione, confermando che il meccanismo è generale rispetto all'attivazione.

• $\sigma(x) = x^2$: La corrispondenza empirica dei segni per le 200 coppie più simili sale da 0,865 all'epoca 50 a una saturazione stretta di 0,985 entro l'epoca 300. La saturazione ($\ge 0,95$) si verifica coerentemente all'epoca 175 su tutti i semi.
• $\sigma(x) = \text{ReLU}$: Anche la regola del segno vale, saturando ancora più velocemente (1,000 entro l'epoca 500).
• Conclusione: Il meccanismo di repulsione, governato dalla struttura di $\tilde{F}^\top \tilde{F}$, opera indipendentemente dal fatto che l'attivazione sia una funzione di potenza o ReLU.

2. Blocco Spettrale (Specifico rispetto all'Attivazione)

Sebbene il meccanismo sia generale, la firma spettrale degli aggiornamenti dei parametri è specifica rispetto all'attivazione.

• $\sigma(x) = x^2$ (Memorizzazione Focalizzata): Il rilevatore basato sulla pendenza si attiva in 15/15 semi di grokking all'epoca 174. C'è una separazione di magnitudine massiccia ($229\times$) nel rapporto $\sigma_2/\sigma_3 delle fasi tardive tra i semi di grokking (mediana$\approx 300$) e i semi di controllo ($\eta=0$, mediana $\approx 1,31$). Lo spettro collassa a rango-2, indicando che le caratteristiche si consolidano su due direzioni persistenti.
• $\sigma(x) = \text{ReLU}$ (Memorizzazione Diffusa): Il rilevatore non si attiva in 0/15 semi di grokking. La separazione di magnitudine collassa a $1,4\times$, e lo spettro rimane dominato dal rango-1 ($\sigma_1 \gg \sigma_2 \approx \sigma_3$).
• Conclusione: La firma di blocco a rango-2 emerge solo nel regime di "memorizzazione focalizzata" (attivazioni di potenza) dove le caratteristiche collassano su picchi netti. Nel regime di "memorizzazione diffusa" (ReLU), le caratteristiche rimangono distribuite, impedendo la formazione di una distinta firma spettrale a rango-2.

3. Controlli Metodologici e Scalabilità

• Sensibilità alla Dimensione della Finestra: Il rilevatore richiede una dimensione della finestra $W \in \{20, 30\}$. Finestre più piccole ($W \le 10$) producono falsi positivi nelle condizioni di controllo.
• Scalatura di $\eta$: Un'esecuzione estesa a $\eta = 10^{-5}$ conferma la previsione di Tian sulla scalatura $1/\eta$ per il tempo di grokking (grokking all'epoca 1527). Tuttavia, la magnitudine del blocco ($\sigma_2/\sigma_3$) è significativamente ridotta ($\approx 25$ contro $\approx 300$), suggerendo che la struttura a rango-2 è sviluppata in modo incompleto a questa scala temporale lenta.
• Rilevatore a Livello-Metrica ($\rho_{tian}$): Una metrica più semplice basata sulla struttura fuori diagonale della Gramiana di attivazione prevede l'inizio del grokking con un anticipo positivo per $\sigma=x^2$, ma non riesce a generalizzare a ReLU o a diverse configurazioni $(M, p)$, segnando l'inizio della dinamica delle caratteristiche piuttosto che il grokking riuscito.

Significato e Affermazioni

L'articolo traccia una distinzione critica struttura–meccanismo:

1. Il Meccanismo (Generale): Il Teorema 6 di Tian governa la struttura del segno fuori diagonale di $B$ attraverso le proprietà della Gramiana delle caratteristiche $\tilde{F}^\top \tilde{F}$. Questo meccanismo è robusto e indipendente dalla specifica funzione di attivazione $\sigma$.
2. La Firma (Specifica): La firma spettrale osservabile negli aggiornamenti dei parametri dipende da come la repulsione si traduce in aggiornamenti dei pesi, il quale è mediato dalla derivata $\sigma'$.
   • Le attivazioni di potenza ($\sigma=x^2$) producono caratteristiche focalizzate che si consolidano su due direzioni, producendo un blocco spettrale a rango-2.
   • ReLU produce caratteristiche diffuse che rimangono dominate dal rango-1, mancando della firma di blocco spettrale nonostante la presenza del meccanismo di repulsione sottostante.

Gli autori collegano questa dissociazione empirica al Teorema 5 di Tian, che distingue formalmente tra regimi di memorizzazione focalizzata e diffusa. L'articolo conclude che, sebbene il meccanismo di repulsione sia universale nella Fase III, l'approccio spettrale alla diagnostica del grokking è dipendente dall'attivazione. I praticanti non possono assumere che una singola metrica spettrale (come $\sigma_2/\sigma_3$) rileverà il grokking su tutte le funzioni di attivazione; la scelta della diagnostica deve allinearsi al regime specifico di memorizzazione indotto dalla funzione di attivazione.