Exploding and vanishing gradients in deep neural networks: the effect of residual connections

Technische Samenvatting: Exploderende en verdwijnende gradiënten in diepe neurale netwerken

Probleemstelling
Het artikel behandelt het goed gedocumenteerde fenomeen van exploderende en verdwijnende gradiënten in diepe neurale netwerken (DNN's). Tijdens de training via stochastische gradiëntafdaling (SGD) kunnen gradiënten in bepaalde richtingen asymptotisch verdwijnen (vervallen naar nul) of exploderen (ongecontroleerd groeien in norm). Hoewel de bestaande literatuur diverse verklaringen en mitigatieschema's biedt, streeft dit werk ernaar een precieze wiskundige karakterisering te geven van dit fenomeen en het stabiliserende effect van residuele verbindingen (ResNets) met behulp van multiplicatieve ergodentheorie en Lyapunov-exponenten.

Methodologie
De auteur, Vivek S. Borkar, herformuleert de DNN als een discreet-tijds dynamisch systeem om instrumenten uit de nietlineaire dynamica toe te passen.

1. Formulering van het dynamisch systeem: Een DNN bestaande uit $N$ feedforward-blokken wordt gemodelleerd als een compositie van functies $f^N_{\beta^N} = f_{\beta_N} \circ \dots \circ f_{\beta_1}$. De input-output-afbeelding wordt behandeld als de iteratie van een dynamisch systeem $x_{n+1} = f_{\beta_n}(x_n)$.
2. Linearisatie: Het gedrag van gradiënten wordt geanalyseerd via de Jacobiaan-matrices van deze afbeeldingen. Het product van Jacobiaan-matrices langs de diepte van het netwerk komt overeen met de evolutie van een lineair dynamisch systeem dat wordt gedreven door willekeurige matrices.
3. Multiplicatieve ergodentheorie: Het kerninstrument voor de analyse is de Furstenberg-Kifer stelling [8]. In tegenstelling tot eerdere werken die multiplicatieve ergodentheorie breder toepassen, maakt dit artikel gebruik van de specifieke exacte karakterisering van Lyapunov-exponenten die door Furstenberg en Kifer wordt geboden. Dit omvat:
   • Het definiëren van het probleem op de projectieve ruimte $P^{d-1}$.
   • Het analyseren van de verzameling stationaire maten ($\mu$-stationaire maten) voor een Markov-keten geïnduceerd door de willekeurige matrices op de projectieve ruimte.
   • Het karakteriseren van het Lyapunov-spectrum ($\gamma_i(\mu)$) als de discrete waarden genomen door de integraal $\alpha(\mu, \nu) = \int \int \log(\|Au\|) \mu(dA)\nu(du)$ over deze stationaire maten.

Belangrijkste bijdragen en resultaten
De primaire bijdrage is de toepassing van de Furstenberg-Kifer karakterisering om een precieze stelling af te leiden met betrekking tot het Lyapunov-spectrum van DNN's en de specifieke impact van residuele verbindingen.

• Theoretisch kader: Het artikel stelt vast dat het Lyapunov-spectrum van een DNN kan worden beschreven via een directe som-decompositie van de toestandsruimte en een sequentie van invariante subruimten, bepaald door de stationaire maten van een geassocieerde Markov-keten op de projectieve ruimte.
• Analyse van residuele verbindingen: Het artikel modelleert een residuele verbinding als een transformatie waarbij de afbeelding $x \mapsto f_{\beta}(x)$ wordt vervangen door $x \mapsto x + f_{\beta}(x)$.
• Hoofdstelling (Stelling 4.1): Het artikel bewijst dat het Lyapunov-spectrum onder een residuele verbinding een "kleinere perturbatie" is van het spectrum van de identiteitsmatrix (die overeenkomt met een spectrum van alle 1'en) vergeleken met een netwerk zonder residuele verbindingen.
  • Mechanisme: Het bewijs maakt gebruik van geometrische argumenten in de projectieve ruimte. Het toont aan dat voor een vector $\hat{u}$, de afbeelding $(I+A)\hat{u}$ resulteert in een richting die geometrisch dichter bij de oorspronkelijke richting $\hat{u}$ ligt dan de richting die voortkomt uit $A\hat{u}$ alleen.
  • Implicatie: Deze geometrische nabijheid impliceert dat de integraal van de logaritmische groeivoet (de Lyapunov-exponent) in grootte wordt verminderd wanneer residuele verbindingen aanwezig zijn. Specifiek is het verschil tussen de verwachte log-normgroei met en zonder de identiteitsterm negatief, wat wijst op een stabiliserend effect.

Betekenis en claims
Het artikel beweert een "andere kijk" te bieden op het probleem van exploderende/verdwijnende gradiënten door verder te gaan dan kwalitatieve verklaringen naar een "precieze wiskundige wijze" met behulp van projectieve geometrie en de Furstenberg-Kifer stelling.

• Precisie: Het werk onderscheidt zich van eerdere studies (zoals [13], [6] en [3]) door de exacte karakterisering van het Lyapunov-spectrum te gebruiken om het effect van residuele verbindingen in meer detail te "vastpinnen".
• Kwantitatieve stabilisatie: Het resultaat biedt een kwantificeerbare verklaring voor de empirische observatie dat ResNets gemakkelijker te trainen zijn: residuele verbindingen houden de Lyapunov-exponenten wiskundig gezien dichter bij nul (of het identiteitsspectrum), waardoor extreme groei of afname van gradiënten wordt voorkomen.
• Reikwijdte en beperkingen: De auteur merkt op dat de analyse steunt op specifieke aannames, waaronder het bestaan van een limiettoestand $x_\infty$ (Aanname 2) en integrabiliteitsvoorwaarden op de matrixnormen (Aanname 1). Het artikel erkent dat het model gestileerd is (bijv. uitgaande van gladde activatiefuncties in plaats van ReLU en constante dimensies), maar dat het gedemonstreerde mechanisme plausibel is. De auteurs stellen dat het uitbreiden van deze resultaten naar volledige algemeenheid (bijv. niet-gladde activaties, variërende dimensies) verdere geavanceerde wiskunde vereist en een taak is voor toekomstig onderzoek.

Samenvattend betoogt het artikel dat residuele verbindingen functioneren door de evolutie van gradiëntrichtingen in de projectieve ruimte geometrisch te beperken, waardoor het Lyapunov-spectrum van de Jacobiaan-producten van het netwerk dichter bij dat van de identiteitsmatrix wordt gehouden, wat de mitigatie van exploderende en verdwijnende gradiënten wiskundig verklaart.