How Controlling the Variance can Improve Training Stability of Sparsely Activated DNNs and CNNs

Technische Samenvatting: Het beheersen van de variantie om de trainingsstabiliteit van spaars geactiveerde DNN's en CNN's te verbeteren

Probleemstelling
Het trainen van diepe neurale netwerken (DNN's) en convolutionele neurale netwerken (CNN's) met activatiefuncties die een hoge mate van spaarste (sparsity) induceren (bijv. 85% tot 90%), brengt significante uitdagingen met zich mee voor de initialisatie. De traditionele Edge-of-Chaos (EoC) theorie, die intermediaire lagen karakteriseert als Gaussische processen om stabiele informatiepropagatie te waarborgen, gaat doorgaans uit van de aanname dat activaties ongeveer lineair zijn rond de oorsprong. In dit regime pleit de EoC-theorie vaak voor een vaste-punt variantie van de pre-activatieverdeling, $q^*$, die convergeert naar nul of een kleine niet-nul waarde om dynamische isometrie te bereiken.

Echter, voor spaarsheid-inducerende activaties waarbij $\phi(z) = 0$ voor $|z| \leq \tau$ (een regio nabij de oorsprong), faalt de lineariteitsaanname. Eerder werk [1] heeft aangetoond dat standaard EoC-initialisatiestrategieën in deze settings vaak leiden tot instabiliteit tijdens de training. Deze instabiliteit ontstaat doordat de empirische variantie van verborgen lagen, $\tilde{q}^{(\ell)}$, stochastisch fluctueert rond het theoretische vaste punt $q^*$. Bij afwezigheid van lineariteit nabij de oorsprong kunnen deze fluctuaties ervoor zorgen dat de multiplicatieve perturbatie van fouten (bepaald door $\chi_1$) exponentieel accumuleert met de diepte, wat leidt tot exploderende gradiënten of een instorting van de expressiviteit van het netwerk.

Methodologie
De auteurs breiden de EoC-theorie uit naar de setting van spaarsheid-inducerende activaties, waarbij specifiek de exemplar functie $CReLU_{\tau,m}$ (en gerelateerde functies zoals $CST_{\\tau,m}$, $HardShrink$ en $Sawtooth$) wordt geanalyseerd. De kernmethodologie behelst het behandelen van de vaste-punt variantie $q^*$ niet louter als een afgeleide parameter, maar als een afstembare hyperparameter.

De theoretische analyse richt zich op drie controlemetrieken die de trainingsstabiliteit bepalen in de limiet van oneindige breedte:

1. Symmetrie van de variantie-mapping: De auteurs analyseren de tweede afgeleide van de variantie-mappingfunctie, $V''(q^*)$. Een grote $V''(q^*)$ duidt op een verlies van symmetrie rond het vaste punt, waardoor de empirische variantie $\tilde{q}^{(\ell)}$ asymmetrisch afwijkt.
2. Correctie voor eindige dimensies: Gebruikmakend van een oneindige reeksexpansie voor netwerken met eindige breedte, leiden de auteurs grenzen af voor de eerstvolgende leidende correctieterm, $\tilde{q}^{(1)}$. Deze term vertegenwoordigt de afwijking van de Gaussische limiet met oneindige breedte.
3. Gevoeligheid van $\chi_1$: De auteurs onderzoeken de afgeleide van de multiplicatieve perturbatiefactor, $\chi'_{1,\phi}(q^*)$, met betrekking tot de variantie $q$. Hoge sensitiviteit impliceert dat kleine stochastische fluctuaties in de laagvariantie leiden tot grote veranderingen in foutenpropagatie.

De voorgestelde initialisatiestrategie houdt in dat $q^*$ expliciet wordt verhoogd (bijv. van 1 naar 2 of 3) en de activatieparameters ($\tau, m$) en gewichts-/bias-varianties ($\sigma_w^2, \sigma_b^2$) worden aangepast om aan de EoC-condities ($\chi_1(q^*) = 1$ en $q^* = V(q^*)$) te voldoen bij dit nieuwe, hogere vaste punt.

Belangrijkste Bijdragen

1. Identificatie van een nieuw fenomeen: Het artikel identificeert een contra-intuïtief fenomeen waarbij, voor activaties die nabij de oorsprong op nul worden gezet, het verhogen van de vaste-punt variantie $q^*$ de trainingsstabiliteit verbetert. Dit staat in contrast met traditionele EoC-benaderingen die streven naar $q^* \to 0$.
2. Theoretische karakterisering: De auteurs bewijzen dat het verhogen van $q^*$ gelijktijdig zorgt voor:
   • Een verbetering van de symmetrie van de variantie-mapping $V(q)$ rond het vaste punt (het reduceren van $V''(q^*)$).
   • Het aanscherpen van de grens voor de correctieterm voor eindige dimensies $\tilde{q}^{(1)}$, waardoor het gedrag van netwerken met eindige breedte dichter bij de Gaussische limiet van oneindige breedte komt te liggen.
   • Het verminderen van de gevoeligheid van de foutenpropagatiefactor $\chi_1$ voor fluctuaties in de laagvariantie (het reduceren van $\chi'_{1,\phi}(q^*)$).
3. Praktisch initialisatieschema: Er wordt een concreet initialisatieprocedure verstrekt voor spaarsheid-inducerende activaties. Dit schema maakt het mogelijk om netwerken te trainen met tot wel 90% spaarsheid in de verborgen lagen, een regime dat voorheen moeilijk te stabiliseren was.

Experimentele Resultaten
De auteurs valideren hun theorie via experimenten op DNN's (100 lagen, breedte 300) en CNN's (50 lagen, 300 kanalen) getraind op MNIST, CIFAR10 en Tiny ImageNet met behulp van $CReLU_{\tau,m}$ activaties.

• Stabiliteit en Nauwkeurigheid: Voor hoge spaarsheidsniveaus ($s=0.85$ en $s=0.9$) faalden netwerken geïnitialiseerd met $q^*=1$ vaak tijdens de training of vertoonden ze een hoge gevoeligheid voor de keuze van de hellingsparameter $V'(q^*)$. Het verhogen van $q^*$ naar 2 of 3 verminderde deze gevoeligheid aanzienlijk en herstelde de trainingsstabiliteit.
• Prestaties: In gevallen waar $q^*=1$ resulteerde in een lage nauwkeurigheid (bijv. 11% voor DNN's bij $s=0.9$), herstelde het verhogen van $q^*$ naar 3 de nauwkeurigheid naar bijna volledige niveaus (bijv. 89%).
• Convergentie: De trainingsverlies- en validatienauwkeurigheidscurven vertoonden snellere convergentie voor hogere $q^*$-waarden, met name in de hoog-spaarse regimes.
• Efficiëntie: Het artikel bevat een implementatie van een aangepaste CUDA-kernel die aantoont dat de geïnduceerde spaarsheid computationele versnellingen (tot ~2.9x) en energiebesparingen oplevert, wat het praktische nut van de spaarsheid valideert.

Betekenis en Claims
Het artikel claimt dat de vaste-punt variantie $q^*$ een cruciale, maar voorheen onderbelichte parameter is voor het beheersen van de trainingsdynamiek van spaars geactiveerde netwerken. Door het EoC-kader te herzien voor niet-lineaire activaties die nabij nul zijn, laten de auteurs zien dat een eenvoudige aanpassing — het verhogen van $q^*$ — de instabiliteit die inherent is aan hoog-spaarse regimes kan overwinnen.

De auteurs merken bescheiden op dat hun resultaten steunen op de aanname van oneindige breedte en primair worden gedemonstreerd op diepe proxy-architecturen (DNN's en CNN's) in plaats van geoptimaliseerde productiemodellen. Ze geven expliciet aan dat uitbreidingen naar Transformers en State-Space modellen niet worden behandeld vanwege architecturale verschillen (bijv. skip-verbindingen die activatie-spaarsheid tenietdoen) en aparte analysecategorieën. Desalniettemin biedt het werk een theoretische fundering en een empirisch bewijs van concept om de stabiele training van netwerken met extreme activatie-spaarsheid (tot 90%) mogelijk te maken, wat potentieel aanzienlijke computationele efficiënties ontsluit zonder de modelprestaties op te offeren.