Correlation flow governs learning at criticality

Sintesi Tecnica: Il Flusso di Correlazione Governa l'Apprendimento alla Criticità

Definizione del Problema
L'inizializzazione delle reti neurali profonde è critica per determinare se l'informazione e i gradienti possano propagarsi attraverso la profondità. Sebbene il successo empirico abbia guidato la scalabilità della dimensione delle reti, una teoria unificata che connetta le proprietà di inizializzazione alla dinamica di apprendimento rimane elusiva. Nello specifico, manca una comprensione di come l'interazione tra la propagazione della correlazione, lo spettro del Jacobiano end-to-end e il Neural Tangent Kernel (NTK) sia condizionata dalle scelte di inizializzazione (Gaussiana vs ortogonale) nel limite di reti infinitamente larghe e infinitamente profonde. Lavori precedenti hanno stabilito che la "criticità" (un punto specifico nel piano della varianza di pesi e bias) permette una decadimento algebrico anziché esponenziale delle correlazioni, ma la relazione precisa tra questo flusso di correlazione e la risultante dinamica di apprendimento (governata dall'NTK) non è stata pienamente caratterizzata. Inoltre, il ruolo dell'inizializzazione ortogonale nel controllare le correzioni di dimensione finita in questo limite richiede un fondamento teorico rigoroso.

Metodologia
Gli autori utilizzano una combinazione di teoria del campo medio (mean-field theory) e teoria delle matrici casuali per analizzare reti neurali completamente connesse nel limite sequenziale, dove la larghezza $N$ viene portata all'infinito prima della profondità $L$ ($N \to \infty$ seguito da $L \to \infty$).

1. Framework Teorico:

   • Regime di Campo Medio: Gli autori analizzano le relazioni di ricorrenza deterministiche per la covarianza e la correlazione delle pre-attivazioni all'aumentare della profondità. Identificano tre regimi: ordinato (correlazione $\to 1$), caotico (correlazione $\to$ costante $<1$) e un nuovo regime di varianza evanescente identificato (dove la varianza $\to 0$).
   • Punto Critico: Localizzano il punto critico all'intersezione tra il confine del regime di varianza evanescente e la linea dell'"edge of chaos", definita da $\sigma_w = 1/\phi_1$ e $\sigma_b = 0$ (dove $\phi_1$ è il primo coefficiente di Taylor della funzione di attivazione).
   • Analisi del Jacobiano: Utilizzando la teoria della probabilità libera, analizzano lo spettro dei valori singolari dei Jacobiani layer-wise ed end-to-end. Derivano le leggi di scala per la media e la varianza dello spettro del Jacobiano sia sotto inizializzazione Gaussiana che ortogonale.
   • Derivazione dell'NTK: Esprimono l'NTK come una somma di kernel di covarianza riportati indietro dai Jacobiani parziali. Analizzando il comportamento asintotico di questi termini alla criticità, derivano la relazione tra l'NTK e la correlazione a punto fisso.

2. Analisi della Dimensione Finita:

   • Gli autori derivano le correzioni di ordine superiore ($O(L/N)$) alla dimensione finita del kernel empirico. Decompongono queste fluttuazioni in "difetti di Wick" (derivanti dalla non-gaussianità delle pre-attivazioni) ed effetti di "non-ortogonalità dei pesi".
   • Confrontano come questi errori si accumulino sotto inizializzazione Gaussiana rispetto a quella ortogonale.

3. Validazione Numerica:

   • Le previsioni teoriche sono validate utilizzando reti completamente connesse con funzioni di attivazione seno (e alcune tanh). Gli esperimenti tracciano la propagazione del manifold, il flusso di correlazione, gli spettri del Jacobiano e il condizionamento dell'NTK attraverso diverse profondità e larghezze.

Contributi Chiave e Risultati

1. La Criticità è Necessaria per la Propagazione della Correlazione:
   Gli autori dimostrano che la propagazione di una correlazione non banale verso una profondità infinita è possibile solo al punto critico. In tutti gli altri regimi, le correlazioni o collassano a 1 (ordinato), o diventano una costante indipendente dall'input (caotico), o la varianza svanisce esponenzialmente, causando un collasso numerico. Alla criticità, la correlazione converge algebricamente, preservando la dipendenza dall'input.

2. Svanimento Algebrico del Jacobiano End-to-End:
   Contrariamente alla speranza che la criticità possa abilitare l'isometria dinamica (dove lo spettro del Jacobiano si concentra vicino all'unità), gli autori dimostrano che, alla criticità, il Jacobiano end-to-end svanisce algebricamente con la profondità ($\Xi \propto 1/L$). Ciò avviene anche con l'inizializzazione ortogonale. Di conseguenza, l'isometria dinamica è assente nel limite sequenziale alla criticità.

3. Equivalenza tra NTK e Correlazione di Output:
   Il risultato teorico centrale del paper è la prova che, nel limite di profondità infinita alla criticità, l'NTK diventa esattamente proporzionale alla matrice di correlazione a punto fisso (specificamente, $\Theta_L \to \frac{1}{A\sigma_w^2} \rho_\infty$). Questo stabilisce un legame diretto tra la propagazione dell'informazione (correlazione) e la dinamica di apprendimento (spettro NTK). Questa equivalenza regge indipendentemente dallo svanimento del Jacobiano, poiché il decadimento è compensato nei Jacobiani di sovrapposizione riscalati utilizzati nella definizione dell'NTK.

4. Ruolo dell'Inizializzazione Ortogonale:
   Sebbene l'inizializzazione ortogonale non possa ripristinare l'isometria dinamica, essa gioca un ruolo cruciale nel controllare gli effetti di dimensione finita.

   • Sotto inizializzazione Gaussiana, le fluttuazioni di dimensione finita nella correlazione e nell'NTK scalano come $O(\sqrt{L/N})$, accumulandosi con la profondità e portando a spettri mal condizionati.
   • Sotto inizializzazione ortogonale, le fluttuazioni di ordine superiore derivanti dalla non-ortogonalità dei pesi sono soppresse. I restanti difetti (difetti di Wick) scalano come $O(1/\sqrt{N})$ e sono indipendenti dalla profondità. Ciò permette alle previsioni del limite sequenziale di reggere per reti molto più profonde.

5. Vincoli della Funzione di Attivazione:
   Gli autori mostrano che affinché l'informazione si propaghi senza collassare in un punto fisso banale, la funzione di attivazione deve soddisfare $\phi_2 = 0$ (ovvero deve essere una funzione dispari al minimo ordine). Se $\phi_2 \neq 0$, le correlazioni collassano indipendentemente dall'inizializzazione.

Significato e Rivendicazioni
Il paper sostiene di fornire un quadro unificato che connette la propagazione dell'informazione, il controllo del gradiente e la dinamica di apprendimento nelle reti profonde. La sua importanza primaria risiede nel:

• Unificare Correlazione e Apprendimento: Dimostra che lo spettro dell'NTK, che detta la velocità e la direzione dell'apprendimento, è asintoticamente determinato dalla struttura di correlazione degli input alla criticità. Questo spiega perché preservare la somiglianza dell'input attraverso la rete è essenziale per l'addestramento.
• Giustificare l'Inizializzazione Critica: Fornisce una giustificazione teorica rigorosa per l'inizializzazione al punto critico, mostrando che è l'unica scelta che preserva le correlazioni dipendenti dall'input mantenendo una struttura del Jacobiano ben definita (sebbene evanescente).
• Chiarire l'Inizializzazione Ortogonale: Risolve la tensione tra i regimi "frozen" (lineare) e "feature-learning" mostrando che l'inizializzazione ortogonale è la condizione necessaria per sopprimere la crescita incontrollata delle fluttuazioni di dimensione finita che altrimenti distruggerebbero la prevedibilità dell'NTK nelle reti profonde.
• Implicazioni Pratiche: I risultati suggeriscono che per reti molto profonde (ad esempio, SIREN o rappresentazioni neurali implicite), l'inizializzazione critica combinata con pesi ortogonali è l'approccio principato per garantire dinamiche di addestramento stabili e un controllo del bias spettrale, dove la rete impara lungo i modi principali della struttura di correlazione del dataset di input.

Gli autori notano che questi risultati si basano sul limite sequenziale e su specifiche assunzioni sulle funzioni di attivazione (limitate, differenziabili, $\phi_2=0$), e riconoscono che estendere queste scoperte al limite congiunto ($L/N \to c$) o ad attivazioni non limitate (come ReLU) rimane un'area aperta per il lavoro futuro.