Implicit Bias of SGD in Multivariate ReLU Networks: Effective Width Collapse

Sintesi Tecnica: Bias Implicito di SGD in Reti ReLU Multivariate: Collasso della Larghezza Effettiva

Problema
Le reti sovraparametrizzate possiedono infiniti soluzioni che interpolano i dati di addestramento, eppure la discesa del gradiente stocastico (SGD) seleziona costantemente soluzioni con forti proprietà di generalizzazione. Questo fenomeno è attribuito al "bias implicito" dell'algoritmo di ottimizzazione. Sebbene il bias implicito sia ben compreso per i modelli lineari e nel regime "lazy" (kernel) delle reti ampie, il bias nei regimi di apprendimento delle caratteristiche (feature-learning) per reti non lineari rimane incompletamente compreso. Nello specifico, manca una caratterizzazione rigorosa su come la SGD rumorosa selezioni specifiche soluzioni in contesti di regressione multivariata con attivazioni ReLU, in particolare riguardo alla sparsità delle caratteristiche apprese e alla struttura geometrica del predittore risultante.

Metodologia
Gli autori analizzano la dinamica di addestramento di reti ReLU ampie a due strati utilizzando il regime mean-field. In questo framework, i parametri della rete sono modellati come una misura di probabilità su neuroni, e la dinamica di addestramento della SGD rumorosa viene approssimata da un flusso di gradiente di Wasserstein.

Principali passaggi metodologici:

1. Approssimazione Mean-Field: L'addestramento di una rete con $N$ unità nascoste è descritto da un'equazione differenziale alle derivate parziali (PDE) che governa l'evoluzione della distribuzione dei parametri $\rho_t$. L'inclusione del rumore gaussiano (temperatura $\beta^{-1}$) e del decadimento del peso ($\lambda$) assicura l'esistenza di una misura stazionaria unica $\rho^*$ per $t \to \infty$.
2. Approssimazione di ReLU: Poiché i neuroni ReLU standard sono illimitati e non regolari, violando le assunzioni richieste dai teoremi di convergenza mean-field, gli autori impiegano un'approssimazione smussata e limitata ($\sigma_{m,\tau}$) della funzione ReLU. Analizzano i limiti per $\tau \to \infty$ e $m \to \infty$, recuperando efficacemente il comportamento ReLU.
3. Limite della Temperatura Evanescente: Lo studio si concentra sul limite in cui il livello di rumore $\beta^{-1} \to 0$ (temperatura evanescente), che corrisponde alla SGD standard con decadimento del peso. Gli autori investigano le proprietà strutturali della misura stazionaria e della funzione soluzione corrispondente in questo limite, senza assumere a priori l'esistenza di un limite unico, ma analizzando piuttosto i punti di accumulazione.
4. Analisi Geometrica: Le dimostrazioni si basano sull'analisi dell'Hessiano della funzione soluzione e sulla geometria dello spazio dei parametri. Nello specifico, utilizzano una "Condizione di Positività Quadratica" per limitare l'Hessiano e dimostrare che il supporto della misura stazionaria si concentra su specifici raggi nello spazio dei parametri.

Contributi Chiave e Risultati

1. Soluzione Pezzo per Pezzo Affine (Teorema 4):
   Gli autori dimostrano che mentre la larghezza della rete $N \to \infty$ e il rumore svanisce, la soluzione selezionata dalla SGD rumorosa converge a una funzione continua a tratti affini. Questa funzione è affine sulle componenti connesse del complemento di un insieme finito di iperpiani.

   • Limite di Complessità: Il numero di iperpiani di "kink" (piega) $K$ è limitato da $K \le 2P - 1$, dove $P$ è il numero di dicotomie lineari realizzabili sui dati di input. Questo limite dipende esclusivamente dalla geometria combinatoria dei dati di addestramento, non dalla larghezza della rete o dalla dimensione ambiente.

2. Collasso della Larghezza Effettiva (Teorema 5):
   Il documento stabilisce che, nonostante la rete sia infinitamente sovraparametrizzata, il predittore appreso ammette una rappresentazione efficacemente finita.

   • Allineamento delle Caratteristiche: I pesi di input e i bias della rete addestrata si allineano lungo al massimo $2P - 1$ direzioni distinte (raggi) nello spazio dei parametri.
   • Collasso: Di conseguenza, la rete a larghezza infinata collassa a una larghezza effettiva di al massimo $2P - 1$. La soluzione può essere rappresentata esattamente da una rete ReLU superficiale con questo numero finito di neuroni nascosti.

3. Non-Ridondanza delle Caratteristiche (Teorema 6):
   Gli autori stabiliscono una forte proprietà di non-ridondanza per le direzioni apprese.

   • Pattern di Attivazione: Ogni direzione appresa induce un pattern di attivazione ternario unico sui dati di addestramento (mappando gli input in $\{-1, 0, 1\}$).
   • Incomparabilità: Questi pattern sono incomparabili sotto un ordine parziale specifico (dove un pattern è una "degenerazione" di un altro trasformando i label $\pm 1$ in $0$). Nello specifico, per qualsiasi pattern di segno binario, al massimo due pattern ternari appresi possono degenerare da esso.

4. Caratterizzazione Specifica per Dati Simmetrici (Proposizione 7):
   Per dataset a due punti simmetrici, gli autori caratterizzano esplicitamente la posizione degli iperpiani di kink, mostrando che dipendono dalla norma dei dati di input e dalla configurazione dei label (pari vs dispari).

Significato e Rivendicazioni
Il paper sostiene di fornire la prima derivazione del collasso della larghezza effettiva come bias implicito della SGD rumorosa per la regressione multivariata con dati di addestramento generici. A differenza dei lavori precedenti che si basavano su assunzioni restrittive (ad esempio, dati ortogonali o simmetrici) o analizzavano problemi variazionali statici (ad esempio, interpolazione a norma $L_1$ minima), questo lavoro deriva la struttura a larghezza finita direttamente dalle dinamiche di addestramento della SGD rumorosa nel limite mean-field.

I risultati colmano il divario tra le caratterizzazioni di ottimizzazione statica e i processi di addestramento dinamico, mostrando che la geometria combinatoria dei dati di addestramento (specificamente il numero di dicotomie lineari) governa la complessità del predittore appreso. Gli autori notano che la loro analisi richiede che la rete sia sufficientemente ampia per sfruttare il framework mean-field e richiede un parametro di decadimento del peso positivo ($\lambda > 0$) per garantire la validità dell'analisi della misura stazionaria. Essi riconoscono che ottenere limiti non asintotici sull'insieme di fallimento (dove l'Hessiano non svanisce) per dimensioni $d > 1$ rimane una sfida aperta rispetto al caso univariato.

Il lavoro estende i risultati di Shevchenko et al. (2022) dal contesto univariato a quello multivariato e caratterizza in modo unico la struttura della misura stazionaria nello spazio dei parametri, piuttosto che solo nello spazio delle funzioni.