How Controlling the Variance can Improve Training Stability of Sparsely Activated DNNs and CNNs

Sintesi Tecnica: Controllo della Varianza per Migliorare la Stabilità dell'Addestramento di DNN e CNN a Attivazione Sparsa

Problematica
L'addestramento di Reti Neurali Profonde (DNN) e Reti Neurali Convoluzionali (CNN) con funzioni di attivazione che inducono un elevato grado di sparsità (ad esempio, dall'85% al 90%) presenta sfide significative in termini di inizializzazione. La tradizionale teoria dell'Edge-of-Chaos (EoC), che caratterizza gli strati intermedi come processi gaussiani per garantire una propagazione stabile dell'informazione, assume tipicamente che le attivazioni siano approssimativamente lineari attorno all'origine. In questo regime, la teoria EoC raccomanda spesso che la varianza del punto fisso della distribuzione di pre-attivazione, $q^*$, converga a zero o a un piccolo valore non nullo per ottenere l'isometria dinamica.

Tuttavia, per le attivazioni che inducono sparsità dove $\phi(z) = 0$ per $|z| \leq \tau$ (una regione vicino all'origine), l'assunzione di linearità fallisce. Un lavoro precedente [1] ha dimostrato che le strategie di inizializzazione EoC standard portano spesso a instabilità nell'addestramento in tali contesti. L'instabilità deriva dal fatto che la varianza empirica degli strati nascosti, $\tilde{q}^{(\ell)}$, fluttua stochasticamente attorno al punto fisso teorico $q^*$. In assenza di linearità vicino all'origine, queste fluttuazioni possono causare l'accumulo esponenziale delle perturbazioni moltiplicative degli errori (governate da $\chi_1$) con la profondità, portando all'esplosione dei gradienti o al collasso dell'espressività della rete.

Metodologia
Gli autori estendono la teoria EoC al contesto delle attivazioni che inducono sparsità, analizzando specificamente la funzione esemplare $CReLU_{\tau,m}$ (e funzioni correlate come $CST_{\tau,m}$, $HardShrink$e$Sawtooth$). La metodologia principale consiste nel trattare la varianza del punto fisso $q^*$ non solo come un parametro derivato, ma come un iperparametro regolabile.

L'analisi teorica si concentra su tre metriche di controllo che determinano la stabilità dell'addestramento nel limite di larghezza infinita:

1. Simmetria della Mappa di Varianza: Gli autori analizzano la derivata seconda della funzione di mappatura della varianza, $V''(q^*)$. Un valore elevato di $V''(q^*)$ indica una perdita di simmetria attorno al punto fisso, causando una deriva asimmetrica della varianza empirica $\tilde{q}^{(\ell)}$.
2. Correzione per Dimensionalità Finita: Utilizzando un'espansione in serie infinita per reti a larghezza finita, gli autori derivano i limiti per il termine di correzione del termine di ordine superiore, $\tilde{q}^{(1)}$. Questo termine rappresenta la deviazione dal limite gaussiano a larghezza infinita.
3. Sensibilità di $\chi_1$: Gli autori esaminano la derivata del fattore di perturbazione moltiplicativa, $\chi'_{1,\phi}(q^*)$, rispetto alla varianza $q$. Un'alta sensibilità implica che piccole fluttuazioni stocastiche nella varianza dello strato portano a grandi cambiamenti nella propagazione dell'errore.

La strategia di inizializzazione proposta prevede l'aumento esplicito di $q^*$ (ad esempio, da 1 a 2 o 3) e la regolazione dei parametri di attivazione ($\tau, m$) e delle varianze di peso/bias ($\sigma_w^2, \sigma_b^2$) per soddisfare le condizioni EoC ($\chi_1(q^*) = 1$ e $q^* = V(q^*)$) in questo nuovo punto fisso più elevato.

Contributi Chiave

1. Identificazione di un Nuovo Fenomeno: Il documento identifica un fenomeno controintuitivo in cui, per le attivazioni azzerate vicino all'origine, aumentare la varianza del punto fisso $q^*$ migliora la stabilità dell'addestramento. Ciò contrasta con gli approcci EoC tradizionali che cercano $q^* \to 0$.
2. Caratterizzazione Teorica: Gli autori dimostrano che aumentare $q^*$ migliora simultaneamente:
   • La simmetria della mappa di varianza $V(q)$ attorno al punto fisso (riducendo $V''(q^*)$).
   • Stringe il limite del termine di correzione per dimensionalità finita $\tilde{q}^{(1)}$, rendendo il comportamento a larghezza finita più vicino al limite gaussiano a larghezza infinita.
   • Riduce la sensibilità del fattore di propagazione dell'errore $\chi_1$ alle fluttuazioni della varianza dello strato (riducendo $\chi'_{1,\phi}(q^*)$).
3. Schema di Inizializzazione Pratico: Viene fornito un procedimento di inizializzazione concreto per le attivazioni sparsificanti. Questo schema consente l'addestramento di reti con fino al 90% di sparsità negli strati nascosti, un regime precedentemente difficile da stabilizzare.

Risultati Sperimentali
Gli autori validano la loro teoria attraverso esperimenti su DNN (100 strati, larghezza 300) e CNN (50 strati, 300 canali) addestrate su MNIST, CIFAR10 e Tiny ImageNet utilizzando attivazioni $CReLU_{\tau,m}$.

• Stabilità e Accuratezza: Per alti livelli di sparsità ($s=0.85$ e $s=0.9$), le reti inizializzate con $q^*=1$ spesso fallivano l'addestramento o mostravano un'alta sensibilità alla scelta del parametro di pendenza $V'(q^*)$. Aumentare $q^*$ a 2 o 3 ha ridotto significativamente questa sensibilità e ha ripristinato la stabilità dell'addestramento.
• Performance: Nei casi in cui $q^*=1$ risultava in un'accuratezza bassa (ad esempio, 11% per le DNN a $s=0.9$), l'aumento di $q^*$ a 3 ha recuperato l'accuratezza a livelli quasi massimi (ad esempio, 89%).
• Convergenza: Le curve di perdita di addestramento e accuratezza di validazione hanno mostrato una convergenza più rapida per valori di $q^*$ più elevati, particolarmente nei regimi di alta sparsità.
• Efficienza: Il documento include un'implementazione di un kernel CUDA personalizzato che dimostra come la sparsità indotta generi accelerazioni computazionali (fino a ~2.9x) e riduzioni energetiche, validando l'utilità pratica della sparsità.

Significato e Rivendicazioni
Il documento afferma che la varianza del punto fisso $q^*$ è un parametro critico, sebbene precedentemente poco esplorato, per controllare la dinamica di addestramento delle reti con attivazione sparsa. Revisando il framework EoC per attivazioni non lineari che sono nulle vicino all'origine, gli autori dimostrano che una semplice regolazione — aumentare $q^*$ — può superare l'instabilità inerente ai regimi di alta sparsità.

Gli autori notano con modestia che i loro risultati si basano sull'assunzione del limite di larghezza infinita e sono dimostrati principalmente su architetture proxy profonde (DNN e CNN) piuttosto che su modelli di produzione ottimizzati. Essi dichiarano esplicitamente che le estensioni a Transformer e modelli State-Space non sono coperte a causa delle differenze architettoniche (ad esempio, le connessioni skip che negano la sparsità di attivazione) e di linee di analisi separate. Tuttavia, il lavoro fornisce una base teorica e una prova di concetto empirica per consentire l'addestramento stabile di reti con estrema sparsità di attivazione (fino al 90%), sbloccando potenzialmente significative efficienze computazionali senza sacrificare le prestazioni del modello.