Riepilogo Tecnico: Dinamiche Spettrali nelle Reti Profonde

Enunciato del Problema

Comprendere l'evoluzione delle rappresentazioni nascoste nelle grandi reti neurali rimane una sfida centrale nella teoria dell'apprendimento profondo. Sebbene i limiti di larghezza infinita abbiano fornito intuizioni significative, esiste un divario critico nei regimi in cui le reti esibiscono apprendimento delle caratteristiche (il regime "ricco") piuttosto che semplicemente adattare modelli lineari su caratteristiche statiche (il regime "pigro" o del kernel). Nello specifico, manca una spiegazione teorica completa per:

1. Come le dinamiche spettrali delle matrici dei pesi nascosti evolvono durante l'addestramento, in particolare l'emergere di valori singolari isolati (outlier) dal bulk casuale.
2. I meccanismi alla base del trasferimento degli iperparametri (ad esempio, la stabilità del tasso di apprendimento) attraverso diverse larghezze di rete.
3. Il comportamento delle reti con dimensioni di output estensive (ad esempio, modelli linguistici con vocabolari ampi), dove la classica immagine "bulk + outlier finiti" potrebbe fallire.

I modelli attuali della Teoria delle Matrici Casuali (RMT), come la transizione BBP (Baik-Ben Arous-Péché), assumono tipicamente che gli spike del segnale siano statisticamente indipendenti dal bulk del rumore casuale. Tuttavia, nelle reti neurali addestrate, le direzioni apprese (spike) dipendono causalmente dai pesi casuali iniziali, rendendo i modelli standard di matrici con spike insufficienti.

Metodologia

Gli autori sviluppano un framework di Teoria del Campo Medio Dinamico (DMFT) a due livelli per tracciare gli spettri dei valori singolari di reti profonde larghe, inizializzate casualmente e addestrate mediante discesa del gradiente (stocastica).

Framework Teorico di Base

1. Spike Statisticamente Accoppiati: La teoria modella la matrice dei pesi $W^{(S)}$ come un'inizializzazione casuale $W^{(0)}$ più un aggiornamento di rango finito (spike), dove i vettori degli spike sono funzionalmente dipendenti dalla matrice casuale iniziale. Questo cattura la dipendenza causale delle caratteristiche apprese dall'inizializzazione.
2. DMFT a Due Livelli:
   • Livello 1 (Dinamiche di Addestramento): Descrive l'evoluzione dei campi di addestramento (caratteristiche in avanti $\phi$ e gradienti all'indietro $g$) generati dalla discesa del gradiente. Questi campi determinano la struttura degli spike.
   • Livello 2 (Sonda Spettrale): Introduce una sonda spettrale lineare per risolvere lo spettro della matrice dei pesi risultante. Questo livello distingue tra il bulk continuo (governato dalla legge di Marchenko-Pastur) e gli outlier isolati.
3. Criterio di Rilevamento degli Outlier: Il framework deriva una condizione a dimensione finita per l'emergere degli outlier. Nello specifico, gli outlier corrispondono agli zeri del determinante di una funzione a valori matriciali $A(z)$, costruita dalle funzioni di correlazione e risposta della DMFT.

Regimi di Applicazione

Il framework è applicato a due impostazioni specifiche:

• Reti Non Lineari Super-Larghe: Limiti di larghezza infinita con dimensione del batch e tempo di addestramento fissi (scaling Mean-field/$\mu$P).
• Reti Lineari ad Alta Dimensione Proporzionale: Limiti in cui la larghezza ($N$), la dimensione di input ($D$) e la dimensione del campione ($P$) divergono con rapporti fissi ($\nu = N/D$, $\alpha = P/D$).

Contributi Chiave

1. Teoria degli Spike Statisticamente Dipendenti

Il documento fornisce una caratterizzazione teorica esatta delle dinamiche dei valori singolari per insiemi di matrici in cui gli spike sono statisticamente accoppiati al bulk casuale. Questo estende la RMT standard al contesto delle reti neurali addestrate, producendo un criterio per quando e come gli outlier "sfuggono" dal bulk (transizione BBP) in funzione del tempo di addestramento, della larghezza e dell'inizializzazione.

2. Meccanismo del Trasferimento degli Iperparametri

La teoria spiega perché $\mu$P (parametrizzazione di aggiornamento massimale) abilita un trasferimento degli iperparametri coerente con la larghezza, mentre la parametrizzazione NTK non lo fa:

• $\mu$P: Il principale outlier spettrale (modo NTK) esibisce dinamiche stabili rispetto alla larghezza. Il tempo per raggiungere il "Bordo della Stabilità" (EoS) e la crescita del principale autovalore sono coerenti tra diverse larghezze.
• NTK-P: Nonostante converga a un limite stabile di larghezza grande, le dinamiche degli outlier sono fortemente dipendenti dalla larghezza, portando a un trasferimento incoerente del tasso di apprendimento.

3. Limiti dell'Immagine degli Outlier Finiti

Gli autori dimostrano che l'immagine "bulk + outlier finiti" è descrittiva per compiti con canali di output ridotti (ad esempio, classificazione CIFAR-10). Tuttavia, per compiti con canali di output estensivi (dove il numero di classi $C$ scala con la larghezza $N$, come nella modellazione linguistica in stile GPT), l'addestramento ristruttura l'intero bulk spettrale invece di produrre spike isolati.

4. Modello di Canale di Output Estensivo

Per affrontare il regime estensivo, gli autori propongono un modello giocattolo per reti lineari con $C \sim O(N)$ canali di output. Dimostrano che in questo regime, il bulk spettrale si sposta e si allarga, e il bordo dello spettro converge solo quando la larghezza è sufficientemente grande rispetto alla dimensione di output.

Risultati

Validazione Empirica e Teorica

• CIFAR-10 (Reti Non Lineari): La teoria predice accuratamente le dinamiche degli outlier spettrali in ampi ResNet addestrati su CIFAR-10. Le dinamiche osservate mostrano un numero finito di spike che si distaccano da un bulk Marchenko-Pastur stabile, coerente con la transizione BBP.
• Reti Lineari Profonde:
  • La teoria predice che in $\mu$P, il principale autovalore NTK cresce verso il Bordo della Stabilità in modo coerente con la larghezza.
  • Al contrario, la parametrizzazione NTK mostra una forte dipendenza dalla larghezza nella crescita del principale autovalore, fallendo nel supportare un trasferimento coerente del tasso di apprendimento.
• ImageNet e GPT (Output Estensivi):
  • ImageNet: L'addestramento modifica il bulk dello spettro dei pesi nascosti (spostandolo a sinistra e creando una coda destra) invece di creare semplicemente outlier isolati.
  • Pre-addestramento GPT: Una simile ristrutturazione del bulk è osservata nei modelli linguistici dove la dimensione del vocabolario ($\sim 50k$) supera la larghezza nascosta. La densità spettrale non può essere descritta da un bulk costante più un insieme finito di outlier.
  • Modello Giocattolo: Il modello di rete lineare proposto con classi estensive ricapitola questa ristrutturazione del bulk. L'analisi teorica mostra che il bordo spettrale converge a un plateau Marchenko-Pastur spostato, con correzioni di larghezza finita che scalano come $O(1/\nu)$.

Significato e Affermazioni

Il documento afferma di fornire una diagnostica meccanicistica per:

1. Apprendimento delle Caratteristiche: L'evoluzione del bulk spettrale e degli outlier isolati funge da firma della transizione dai regimi pigri a quelli ricchi.
2. Trasferimento degli Iperparametri: Le dinamiche degli outlier stabili rispetto alla larghezza sono identificate come una condizione necessaria per un trasferimento riuscito del tasso di apprendimento attraverso le dimensioni del modello. La teoria spiega perché $\mu$P ha successo dove NTK fallisce in questo aspetto.
3. Leggi di Scalabilità: Il lavoro collega le dinamiche spettrali alle leggi di scalabilità delle reti neurali, suggerendo che l'immagine "bulk + outlier" è insufficiente per i moderni compiti su larga scala con output estensivi, rendendo necessaria una visione dell'addestramento come ristrutturazione dell'intero bulk spettrale.

Gli autori rimangono modesti riguardo alla portata, riconoscendo che la teoria attuale si applica rigorosamente alle reti non lineari super-larghe (dove l'immagine bulk+spike vale) o alle reti lineari proporzionali con canali di output finiti. L'analisi delle classi estensive è attualmente limitata a un singolo passo di gradiente, e le dinamiche dello spettro nelle reti con output estensivi completamente addestrate sono lasciate per lavori futuri.