Do Deep Networks Forget Initialization? A Forgetting-Time View of Practical Inductive Bias

Riepilogo Tecnico: "Le Reti Profonde Dimenticano l'Inizializzazione? Una Prospettiva dei Tempi di Dimenticanza del Bias Induttivo Pratico"

Enunciato del Problema
Le reti neurali moderne sono altamente sovrapparametrizzate, il che significa che la loro capacità da sola non può spiegare la generalizzazione. Sebbene la pipeline di addestramento (architettura, ottimizzatore, regolarizzazione, ecc.) selezioni una specifica funzione dalla classe di ipotesi, il ruolo dei pesi iniziali casuali nel determinare il predittore finale rimane ambiguo. La letteratura esistente presenta due visioni conflittuali:

1. L'inizializzazione come fonte di bias: Il lavoro teorico suggerisce che le reti casuali possiedono un intrinseco "bias di semplicità" (un prior sulle funzioni) che potrebbe sopravvivere all'addestramento e guidare la generalizzazione.
2. L'inizializzazione come meccanismo di trainabilità: L'addestramento pratico su larga scala tratta spesso l'inizializzazione semplicemente come uno strumento per stabilizzare la propagazione del segnale e prevenire gradienti esplosivi o che svaniscono, assumendo che il predittore finale sia largamente indipendente dal seme iniziale una volta che l'addestramento converge.

Il documento investiga una sottodomanda precisa: In quale misura il predittore finale selezionato da una moderna pipeline di addestramento dipende dalla scala dell'inizializzazione casuale? Nello specifico, il processo di addestramento "dimentica" la condizione iniziale, o il bias iniziale persiste nella soluzione finale?

Metodologia
Gli autori conducono uno studio empirico controllato utilizzando ResNet sul dataset CIFAR-10. Introducono una metrica diagnostica chiamata Memoria dell'Inizializzazione, definita come la dipendenza del predittore selezionato sulla validazione dalla scala dell'inizializzazione $\sigma_w$.

• Progettazione Sperimentale: Eseguono una scansione della scala globale $\sigma_w$ dell'inizializzazione casuale dei kernel, mantenendo costanti tutti gli altri fattori (architettura, divisione dei dati, ottimizzatore, dimensione del batch, programma del tasso di apprendimento e orizzonte di addestramento).
• Metriche:
  • Dispersione della Precisione sul Test: La differenza tra la migliore e la peggiore precisione sul test attraverso diversi valori di $\sigma_w$ al checkpoint con la minima perdita di validazione.
  • Epoca di Interpolazione ($\tau_{interp}$): L'epoca in cui la precisione sull'addestramento raggiunge il 99,5%.
  • Norma di Frobenius ($\|W\|_F$): Utilizzata per misurare la "memoria radiale" (se la norma finale dei pesi rimane accoppiata alla norma iniziale).
  • Gap di Riparazione: La variazione della precisione sulla validazione tra l'interpolazione e il checkpoint finale.
• Variabili: Lo studio varia gli ottimizzatori (SGD, SGD con momento, Adam, AdamW, Muon), le dimensioni dei batch ($b \in \{16, 32, 64, 128, 256\}$), le scale di inizializzazione ($\sigma_w \in [0.1, 2.5]$), le profondità della rete (ResNet-9, 56, 110) e la regolarizzazione esplicita (decadimento dei pesi L2).
• Quadro Teorico: Gli autori impiegano l'analisi dell'errore all'indietro per interpretare gli ottimizzatori discreti come flussi gradiente su obiettivi modificati. Propongono "scale temporali di dimenticanza" basate sulla forza accumulata dei meccanismi di regolarizzazione piuttosto che su semplici conteggi di epoche.

Risultati Chiave

1. Dipendenza dall'Ottimizzatore:

   • SGD Ricorda: Con bassi tassi di apprendimento, lo SGD classico mantiene una forte memoria dell'inizializzazione. Su ResNet-9 con dimensione del batch $b=128$, la precisione sul test varia di 26,5 punti percentuali attraverso le scale di inizializzazione, nonostante il raggiungimento di una precisione sull'addestramento $\ge 99,5\%$. La norma finale dei pesi rimane accoppiata alla norma iniziale.
   • Metodi Adattivi Dimenticano: Adam, AdamW e Muon cancellano in gran parte la dipendenza dalla scala di inizializzazione. Nelle stesse condizioni, la loro dispersione della precisione sul test è minima (ad esempio, ~4,0 pp per Muon). Convergono a una scala di norma finale comune indipendentemente dalla scala iniziale.

2. Dipendenza dagli Iperparametri:

   • Il Tempo di Addestramento è Insufficiente: Estendere lo SGD a basso tasso di apprendimento a 5.000 epoche non riduce significativamente la dispersione dell'inizializzazione; la memoria persiste.
   • Regolarizzazione e Tasso di Apprendimento: Lo SGD può essere indotto a dimenticare l'inizializzazione se la ricetta di addestramento include tassi di apprendimento più elevati o regolarizzazione L2 esplicita (decadimento dei pesi). Ad esempio, aggiungere un decadimento L2 con $\eta=10^{-2}$ riduce la dispersione a quasi zero.
   • Dimensione del Batch: Dimensioni del batch più grandi rallentano il processo di dimenticanza per lo SGD, aumentando la dispersione.

3. Profondità e Architettura:

   • Nelle reti più profonde (ResNet-56, ResNet-110), dinamiche di dimenticanza povere si manifestano in modo diverso: invece di interpolare semplicemente con una scarsa generalizzazione, le reti spesso falliscono nell'addestrarsi bene (non riescono a interpolare) a scale di inizializzazione elevate.

4. Scale Temporali di Dimenticanza:
   Gli autori identificano che la dimenticanza è governata da "orologi" cumulativi piuttosto che dal conteggio delle epoche:

   • $T_{SGD} = \frac{1}{b} \sum \eta_k^2$: La scala temporale per gli effetti stocastici a passo finito (rumore del minibatch). Lo SGD a basso LR ha un $T_{SGD}$ minuscolo, portando al mantenimento della memoria.
   • $T_{L2} = \lambda \sum \eta_k$: La scala temporale per il decadimento esplicito della norma.
   • $T_{adapt} = \sum \eta_k$: La scala temporale per la precondizionamento adattivo.
     I metodi adattivi operano sulla scala $T_{adapt}$, che è significativamente più grande (dimenticanza più rapida) rispetto alla scala $T_{SGD}$ dello SGD a basso LR.

Significato e Affermazioni
Il documento afferma che il "bias induttivo pratico" di una rete addestrata non è solo il prior architetturale presente all'inizializzazione, ma piuttosto il prior architetturale filtrato dalle dinamiche di dimenticanza della pipeline di addestramento.

• Risoluzione del Paradosso: Gli autori risolvono la contraddizione apparente tra le teorie del bias di semplicità e la stabilità pratica dell'addestramento. Sostengono che i meccanismi che migliorano la generalizzazione (ad esempio, decadimento dei pesi, ottimizzatori adattivi, tassi di apprendimento più elevati) sono esattamente quelli che cancellano la memoria dell'inizializzazione.
• Ruolo dell'Inizializzazione: In pipeline di addestramento moderne ricche di regolarizzazione, l'inizializzazione serve principalmente come dispositivo di trainabilità (stabilizzando l'ottimizzazione, abilitando la profondità) piuttosto che come fonte persistente di bias induttivo. Il "rasoio di Occam" che conta nella pratica è imposto dai regolarizzatori accumulati lungo la traiettoria, non dalla mappa dei parametri iniziale.
• Limitazioni: Gli autori riconoscono che i loro risultati si basano su ResNet con BatchNorm su CIFAR-10. Le espressioni di scala temporale proposte sono principi organizzativi derivati da argomenti lineari e invarianti di scala, non teoremi universali per reti non lineari con BatchNorm. Tuttavia, la gerarchia empirica osservata (SGD ricorda, i metodi adattivi dimenticano, la regolarizzazione cancella la memoria) si allinea con questi orologi teorici.

In sintesi, il documento dimostra che le reti profonde non dimenticano automaticamente l'inizializzazione; la dimenticano solo quando le specifiche dinamiche di addestramento (stocasticità, adattatività o regolarizzazione esplicita) forniscono un sufficiente "tempo di dimenticanza" per sovrascrivere i bias geometrici iniziali.