Towards Understanding Gradient Flow Dynamics of Homogeneous Neural Networks Beyond the Origin

Sintesi Tecnica: Verso la Comprensione della Dinamica del Flusso del Gradiente di Reti Neurali Omogenee Oltre l'Origine

Enunciato del Problema
Le moderne reti neurali profonde addestrate tramite metodi basati sul gradiente esibiscono spesso una forte capacità di generalizzazione nonostante la sovra-parametrizzazione, un fenomeno attribuito alla regolarizzazione implicita indotta dall'algoritmo di addestramento. Sebbene siano stati fatti progressi significativi nella comprensione delle dinamiche di addestramento nel regime del Neural Tangent Kernel (NTK) (inizializzazione ampia) e nelle fasi avanzate dell'addestramento, il regime di "piccola inizializzazione" rimane meno compreso. In questo regime, le reti operano in una modalità di apprendimento delle caratteristiche (feature-learning mode), ma l'evoluzione altamente non lineare dei pesi pone sfide analitiche.

Lavori precedenti (ad esempio, Maennel et al., 2018; Kumar e Haupt, 2024, 2025) hanno stabilito che per reti neurali omogenee con piccola inizializzazione, i pesi rimangono vicini all'origine per un periodo prolungato. Durante questa fase, i pesi convergono in direzione verso un punto KKT (Karush-Kuhn-Tucker) di una Funzione di Correlazione Neurale (NCF), un fenomeno noto come "convergenza direzionale precoce". Inoltre, questi punti KKT delle prime fasi spesso esibiscono sparsità. Tuttavia, il comportamento del flusso del gradiente dopo che i pesi escono dall'origine e la preservazione della struttura di sparsità emergente durante questa transizione non sono stati pienamente caratterizzati. Questo articolo affronta tale lacuna analizzando la dinamica del flusso del gradiente delle reti neurali omogenee immediatamente dopo che esse escono dall'origine, fino al primo punto di sella incontrato.

Metodologia e Setup
L'articolo studia reti neurali omogenee $H(x; w)$ che sono $L$-positivamente omogenee ($L \ge 2$), il che significa che $H(x; cw) = c^L H(x; w)$ per $c \ge 0$. L'analisi assume che la rete abbia gradienti localmente Lipschitz, il che include reti lineari profonde e reti con attivazioni ReLU polinomiali ($p \ge 2$), ma esclude esplicitamente le reti ReLU standard ($p=1$) a causa della non differenziabilità all'origine, sebbene i risultati empirici suggeriscano potenziali estensioni.

L'obiettivo di addestramento è la minimizzazione di una funzione di perdita $\mathcal{L}(w)$ tramite flusso del gradiente:
$$\dot{w} = -\nabla \mathcal{L}(w)$$
Gli autori si basano sul concetto di Funzione di Correlazione Neurale (NCF), definita come $N(u) = \bar{e}_y^\top H(X; u)$, dove $\bar{e}_y = -\ell'(0, y)$. Analizzano l'ottimizzazione vincolata di $N(u)$ sulla sfera unitaria.

La metodologia centrale prevede:

1. Costruzione della Traiettoria Limite: Definire una soluzione limite $p(t)$ che rappresenta il percorso del flusso del gradiente dopo l'uscita dall'origine. Ciò viene ottenuto traslando nel tempo la soluzione $\psi(t, \delta w_0)$ (dove $\delta$ è la scala di inizializzazione) di un termine dipendente da $\ln(1/\delta)$ e prendendo il limite per $\delta \to 0$.
2. Analisi di Stabilità: Utilizzare le proprietà dei punti KKT positivi del secondo ordine $\Delta$ della NCF vincolata. Gli autori assumono che la direzione iniziale dei pesi giaccia nell'insieme stabile di tale punto KKT.
3. Sottoinsiemi Preservanti lo Zero: Introdurre il concetto di un "sottoinsieme preservante lo zero" dei pesi — pesi inizializzati a zero che rimangono zero durante tutto l'addestramento sotto il flusso del gradiente. Questo viene utilizzato per analizzare la preservazione della sparsità.

Contributi Chiave e Risultati

1. Dinamica del Flusso del Gradiente Post-Uscita (Teoremi 4 e 10)
L'articolo stabilisce che, per un'inizializzazione sufficientemente piccola, la traiettoria del flusso del gradiente dopo l'uscita dall'origine segue strettamente un percorso limite specifico $p(t)$, indipendentemente dalla specifica scala di piccola inizializzazione $\delta$, a condizione che la direzione iniziale sia allineata con un insieme stabile di un punto KKT del secondo ordine della NCF.

• Reti Bi-Omogenee ($L=2$): Il Teorema 4 mostra che, dopo una scala temporale di $O(\ln(1/\delta))$, la traiettoria $\psi(t, \delta w_0)$ converge a $p(t)$ con un limite di errore di $O(\delta^{\frac{\Delta}{\Delta + 8N(w^*)}})$.
• Reti Omogenee Profonde ($L > 2$): Il Teorema 10 estende questo risultato a reti $L$-omogenee. Il tempo di uscita scala come $O(\delta^{-(L-2)})$ e la traiettoria converge similmente a un percorso limite $p(t)$ con un limite di errore specifico.
• Implicazione: Il comportamento del flusso del gradiente immediatamente dopo l'uscita dall'origine è determinato principalmente dal punto KKT della NCF verso cui i pesi si sono avvicinati mentre erano vicini all'origine.

2. Caratterizzazione del Primo Punto di Sella (Corollari 5, 6, 11, 12)
Gli autori dimostrano che la traiettoria limite $p(t)$ converge a un punto stazionario (punto di sella) della funzione di perdita di addestramento. Di conseguenza, per una piccola inizializzazione, la traiettoria effettiva del flusso del gradiente $\psi(t, \delta w_0)$ si avvicinerà allo stesso punto di sella dopo l'uscita dall'origine.

• L'articolo distingue tra casi in cui il punto di sella è finito (traiettoria limitata) e casi in cui è all'infinito (traiettoria illimitata, comune con la perdita logistica).
• I risultati implicano che il flusso del gradiente segua una traiettoria "da sella a sella", caratterizzando specificamente il primo punto di sella incontrato dopo l'origine.

3. Preservazione della Sparsità nelle Reti Feed-Forward (Sezione 4 e Teorema 18)
Un contributo critico è la dimostrazione che la struttura di sparsità che emerge durante la fase "vicino all'origine" viene preservata dopo l'uscita dall'origine, fino al primo punto di sella.

• Sottoinsiemi Preservanti lo Zero: Gli autori dimostrano che per le reti omogenee feed-forward, le righe e le colonne delle matrici di peso corrispondenti alle voci a magnitudo zero in un punto KKT della NCF formano un "sottoinsieme preservante lo zero". Se questi pesi sono inizializzati a zero, rimangono zero durante tutto l'addestramento.
• Preservazione della Sparsità: Poiché il flusso del gradiente con piccola inizializzazione converge in direzione a un punto KKT con una specifica sparsità (dove certi pesi sono zero), e poiché questi pesi zero formano un sottoinsieme preservante lo zero, la struttura di sparsità viene mantenuta mentre la rete esce dall'origine e si avvicina al primo punto di sella.
• Teorema 18: Formalizza che sia per le reti $L=2$ che per $L>2$, la magnitudo dei pesi nel sottoinsieme preservante lo zero rimane trascurabile ($O(\delta^{\text{esponente}})$) anche dopo il tempo di uscita, preservando efficacementamente il pattern di sparsità.

Validazione Sperimentale
Il lavoro fornisce esperimenti numerici (Figure 1, 4, 5, 6) utilizzando funzioni di attivazione quadrate ($L=2$) e attivazioni ReLU polinomiali.

• Attivazione Quadrata: Gli esperimenti confermano che i pesi diventano sparsi prima di uscire dall'origine e che questa sparsità è preservata al punto di sella successivo.
• Attivazione ReLU: Sebbene il quadro teorico escluda la ReLU standard ($L=1$), gli esperimenti su reti ReLU mostrano che, sebbene i pesi non diventino perfettamente sparsi (con più voci non nulle rispetto al caso polinomiale), la struttura di sparsità relativa (dove i pesi piccoli rimangono piccoli) è preservata. Ciò suggerisce che i risultati possano estendersi empiricamente alle reti ReLU, nonostante la mancanza di gradienti localmente Lipschitz all'origine.

Significato e Rivendicazioni
L'articolo sostiene di fornire una caratterizzazione rigorosa di un segmento specifico delle dinamiche di addestramento: la transizione dalla fase "vicino all'origine" al primo punto di sella.

• Meccanismo di Regolarizzazione Implicita: Esso collega la regolarizzazione implicita osservata nei regimi di piccola inizializzazione alla geometria della NCF e ai punti KKT specifici verso cui la rete converge.
• Stabilità della Sparsità: Offre una spiegazione teorica del perché i pattern di sparsità osservati nelle prime fasi dell'addestramento persistano, attribuendoli alla natura "preservante lo zero" di specifici sottoinsiemi di pesi nelle architetture feed-forward.
• Limitazioni: Gli autori dichiarano esplicitamente la modestia del loro ambito. I risultati sono limitati a:
  1. Reti omogenee con gradienti localmente Lipschitz (escludendo la ReLU standard).
  2. La dinamica riguarda solo il periodo fino al primo punto di sella incontrato dopo l'uscita dall'origine. Il comportamento oltre questo punto (ad esempio, l'uscita dalla sella verso un minimo globale) non è coperto ed è identificato come una direzione per lavori futuri.
  3. L'assunzione che la direzione iniziale giaccia nell'insieme stabile di un punto KKT del secondo ordine positivo.

In sintesi, il lavoro colma il divario tra la convergenza direzionale della fase iniziale e la successiva fase di addestramento, dimostrando che le proprietà strutturali (specificamente la sparsità) stabilite mentre si è vicino all'origine dettano la traiettoria e la stabilità della rete quando essa inizia ad apprendere le caratteristiche e ad avvicinarsi al primo punto di sella.