Riepilogo Tecnico: Rilevamento dell'Overfitting nelle Reti Neurali durante il Grokking a Lungo Orizzonte mediante Teoria delle Matrici Casuali

Enunciato del Problema

Addestrare reti neurali profonde (NN) senza overfitting è una sfida, e rilevare l'overfitting è ugualmente difficile, specialmente quando non è disponibile l'accesso ai dati di addestramento, ai dati di test, agli stati dell'ottimizzatore o alle cronologie di addestramento. Questa è una questione critica per i modelli fondazionali open-weight, dove gli utenti possono possedere i pesi del modello e le relative schede, ma mancano del contesto necessario per determinare se un checkpoint sia stato addestrato in modo robusto o se abbia subito overfitting su specifiche correlazioni dei dati.

Il documento si concentra sul fenomeno del grokking, in cui l'accuratezza di addestramento di un modello raggiunge quasi la perfezione mentre l'accuratezza di test rimane vicina al caso per un lungo periodo prima di migliorare bruscamente. Mentre la ricerca precedente si è concentrata sulla transizione dalla memorizzazione alla generalizzazione, questo lavoro indaga il regime a lungo orizzonte successivo al grokking. In questa fase, definita "anti-grokking", un modello che ha generalizzato con successo può perdere le prestazioni su dati non inclusi nell'addestramento e regressare verso l'overfitting sui dati di addestramento, nonostante mantenga un'accuratezza di addestramento quasi perfetta. Distinguere questa dannosa fase di "anti-grokking" dalla fase iniziale "pre-grokking" (in cui il modello non ha ancora trovato una soluzione generalizzante) è difficile utilizzando esclusivamente le curve standard di accuratezza train/test, poiché entrambi i regimi presentano un'alta accuratezza di addestramento e una scarsa accuratezza di test.

Metodologia

Gli autori propongono un nuovo metodo diagnostico basato sulla Teoria delle Matrici Casuali (RMT) che opera esclusivamente sulle matrici dei pesi del modello senza richiedere l'accesso ai dati.

Concetto Chiave: Trappole di Correlazione

Il metodo si basa sul principio dell'auto-mediazione. In un modello ben addestrato e generalizzante, le matrici dei pesi dovrebbero esibire proprietà statistiche coerenti con le matrici casuali quando la loro struttura interna viene randomizzata.

1. Randomizzazione: Per ogni matrice dei pesi di un livello $W$, gli elementi vengono mescolati elemento per elemento per creare una matrice randomizzata $W_{rand}$.
2. Analisi Spettrale: Viene calcolata la distribuzione spettrale empirica (ESD) della matrice di covarianza $X_{rand} = \frac{1}{N} W_{rand}^\top W_{rand}$.
3. Baseline di Marchenko-Pastur (MP): L'ESD viene adattata alla distribuzione di Marchenko-Pastur, che funge da baseline teorica per una matrice casuale non correlata e auto-mediante.
4. Rilevamento delle Trappole: Gli autori identificano le Trappole di Correlazione come valori propri (eigenvalue) outlier ($\lambda_{trap}$) che si trovano significativamente oltre il bordo destro della distribuzione MP adattata (tenendo conto delle fluttuazioni di Tracy-Widom).
   • Definizione: Una Trappola di Correlazione è un valore proprio $\lambda_{trap} > \lambda_{MP}^+ + \Delta_{TW}$.
   • Significato: Questi outlier indicano una violazione dell'auto-mediazione, suggerendo la presenza di correlazioni strutturate e non casuali all'interno del livello che persistono anche dopo il mescolamento elemento per elemento.

Distinzione tra Trappole Dannose e Benigne

Poiché la presenza di trappole indica una mancanza di auto-mediazione ma non prova intrinsecamente un overfitting dannoso, gli autori introducono un test di ablazione diagnostico JSD (Divergenza di Jensen-Shannon) senza dati:

• Procedura: Una specifica trappola (vettore proprio) viene sostituita con un vettore casuale. Il modello viene quindi eseguito su input di prova (token casuali per i transformer, input gaussiani per gli MLP).
• Metrica: Viene calcolata la JSD tra i logit di output del modello originale e del modello ablatto.
• Classificazione:
  • Trappola Dannosa: La rimozione della trappola modifica significativamente la distribuzione di output del modello (alta JSD) e altera l'accuratezza di test.
  • Trappola Benigna: La rimozione della trappola ha un effetto trascurabile sugli output e sull'accuratezza.

Contributi Chiave

1. Definizione delle Trappole di Correlazione: Gli autori definiscono le Trappole di Correlazione come outlier spettrali nelle matrici dei pesi dei livelli mescolati che violano la baseline di Marchenko-Pastur, fungendo da firma di una struttura non auto-mediante.
2. Identificazione dell'Anti-Grokking: Il documento caratterizza l'"anti-grokking" come una fase distinta che segue una generalizzazione riuscita, in cui l'accuratezza di test si degrada mentre l'accuratezza di addestramento rimane alta. Questa fase è strutturalmente distinta dal pre-grokking.
3. Trappole di Correlazione come Diagnostico: Lo studio dimostra che le Trappole di Correlazione sono assenti durante il pre-grokking e il grokking, ma emergono e crescono in numero e scala specificamente durante l'inizio dell'anti-grokking.
4. Collegamento Meccanicistico all'Overfitting: Gli autori collegano queste trappole alla localizzazione (dove la varianza è concentrata su un piccolo insieme di coordinate) e alla condensazione spettrale (dove un singolo modo dominante trasporta una varianza macroscopica), entrambi fenomeni che impediscono all'errore di generalizzazione di concentrarsi.
5. Validazione Empirica: Il metodo è stato validato su tre architetture e compiti distinti:
   • Un MLP a 3 livelli su MNIST.
   • Un piccolo Transformer su un compito di Addizione Modulare (MA).
   • Un Transformer in stile GPT2 su un compito di composizione sintetica.
6. Applicazione ai Modelli Fondazionali: La diagnostica è stata applicata ai checkpoint open-weight di gpt-oss-20b e gpt-oss-120b di OpenAI, rivelando la presenza di Trappole di Correlazione, suggerendo un potenziale overfitting nei modelli su scala frontier.

Risultati

• Separazione delle Fasi: In tutti e tre i benchmark (MLP, MA, GPT2), il numero di Trappole di Correlazione rimane efficacemente zero durante il pre-grokking e il grokking. Un aumento netto del numero di trappole correla precisamente con il declino dell'accuratezza di test durante la fase di anti-grokking.
• Controllo tramite Decadimento dei Pesi: Gli esperimenti con decadimento dei pesi (WD=0.01) hanno mostrato che, sebbene l'anti-grokking si verifichi ancora, la crescita delle Trappole di Correlazione e la gravità del degrado dell'accuratezza di test sono significativamente soppresse rispetto all'impostazione senza decadimento dei pesi (WD=0).
• Robustezza alle Perturbazioni: Gli studi di perturbazione hanno confermato che i conteggi delle trappole non sono semplicemente un proxy per la scala globale (norma) dei pesi. Anche quando le norme globali dei pesi sono state alterate, le trappole sono rimaste assenti nel pre-grokking/grokking e sono apparse solo nell'anti-grokking.
• Insight Meccanicistico (MLP): Nel caso di studio MLP, le direzioni delle trappole localizzate sono state trovate evolvere in strutture "simili a prototipi" nello spazio dei pixel. Queste strutture hanno causato il modello a fare affidamento sulla magnitudine globale dell'input (ad esempio, $\|x\|^2$) piuttosto che su pattern semantici delle cifre, portando a un comportamento fragile su input mescolati o gaussiani, pur mantenendo un'accuratezza di addestramento perfetta.
• Ablazione JSD: La diagnostica JSD ha distinto con successo le trappole che, una volta rimosse, degradavano le prestazioni del modello (dannose) da quelle che avevano scarso effetto (benigne).

Significato e Affermazioni

Il documento afferma che le Trappole di Correlazione forniscono una diagnostica pratica, basata solo sui pesi, per rilevare le firme di un potenziale overfitting dannoso nei modelli addestrati senza accesso ai dati di addestramento o di test.

• Distinzione Strutturale: Il significato principale è la capacità di distinguere strutturalmente tra un modello che non ha ancora imparato (pre-grokking) e un modello che ha imparato e poi disimparato/generalizzato male (anti-grokking). Entrambi gli stati appaiono identici tramite metriche di accuratezza ma differiscono fondamentalmente nei loro spettri di pesi.
• Screening dei Modelli Fondazionali: Il rilevamento di Trappole di Correlazione in grandi LLM open-weight suggerisce che i modelli su scala fondazionale potrebbero involontariamente subire overfitting sui dati di addestramento in modi rilevabili tramite analisi spettrale.
• Utilità Normativa e Pratica: Gli autori suggeriscono che questo metodo potrebbe servire come strumento imparziale per organismi di regolamentazione o utenti per valutare la sicurezza e la robustezza del modello, specialmente quando i dati proprietari non sono disponibili.
• Limitazioni: Gli autori notano modestamente che le loro prove provengono da contesti controllati di grokking a lungo orizzonte. Non affermano che tutto l'overfitting produca Trappole di Correlazione, né sostengono che la presenza di trappole nei modelli frontier provi definitivamente un comportamento dannoso senza un'ulteriore valutazione basata sul compito. Il conteggio delle trappole è un segnale di avvertimento, non un punteggio di qualità universale.