Deep Network Trainability via Persistent Subspace Orthogonality

Technische Samenvatting: Deep Network Trainability via Persistent Subspace Orthogonality

1. Het Probleem: Gradiëntinstabiliteit in Diepe Netwerken

Het trainen van zeer diepe neurale netwerken via backpropagation wordt vaak bemoeilijkt door het fenomeen van verdwijnende (vanishing) of exploderende (exploding) gradiënten. Dit komt doordat de norm van de gradiënt tijdens het terugpropageren door de lagen heen exponentieel kan afnemen of toenemen, afhankelijk van de singularwaarden van de Jacobiaan van het netwerk.

Hoewel concepten zoals dynamical isometry (waarbij de singularwaarden van de Jacobiaan rond de 1 geconcentreerd zijn) helpen bij het trainen van extreem diepe netwerken, zijn deze vaak beperkt tot specifieke architecturen of specifieke activatiefuncties (zoals ReLU-netwerken die vaak geen volledige dynamische isometrie kunnen bereiken).

2. Methodologie en Theoretisch Kader

De auteurs introduceren een nieuwe, verzwakte (relaxed) vorm van isometrie om de trainbaarheid te verbeteren zonder de strikte beperkingen van volledige Jacobiaan-orthogonaliteit op te leggen.

A. Exacte Jacobiaan-orthogonaliteit (Theorie):
Eerst karakteriseren de auteurs een klasse van netwerken waarvan de Jacobiaan bijna overal (a.e.) orthogonaal is. Ze bewijzen dat voor een bepaalde klasse van vectorvelden, de Jacobiaan orthogonaal is als en slechts als de functies stuksgewijs affien (piecewise affine) zijn. Dit leidt tot specifieke ontwerpen voor zowel feedforward als residual (ResNet) blokken.

B. Persistent Subspace Orthogonality (PSO):
Dit is de kernbijdrage van het paper. In plaats van te eisen dat de Jacobiaan op de volledige ruimte een isometrie is, stellen de auteurs voor dat de Jacobiaan een isometrie is op een specifieke, niet-triviale subruimte ($V$).

• Subspace Orthogonality: Een laag is subruimte-orthogonaal als er een subruimte bestaat waarin de norm van de vector behouden blijft.
• Persistentie: Het probleem met gewone subruimte-orthogonaliteit is dat de subruimte per laag kan veranderen, waardoor de gradiënt alsnog verloren gaat bij compositie. PSO vereist dat er een gedeelde subruimte bestaat die door alle lagen heen "overleeft" (de intersectie van de teruggehaalde subruimtes blijft niet-triviaal).

C. Implementatiestrategieën:
De auteurs bieden twee praktische methoden om PSO te forceren tijdens de initialisatie:

1. Shared Orthogonal Initialization: Het delen van een orthogonale matrix over de diepte van het netwerk.
2. Block-structured Initialization: Het creëren van een architectuur waarbij een specifiek deel van de input (een subruimte) door een orthogonaal blok wordt verwerkt, terwijl de rest van de ruimte vrijer kan variëren.

3. Belangrijkste Bijdragen

• Nieuw Concept: De introductie van Persistent Subspace Orthogonality (PSO) als een fundamenteel mechanisme voor de stabiliteit van gradiënten.
• Theoretische Karakterisering: Een formeel bewijs van de structurele voorwaarden waaronder Jacobiaan-orthogonaliteit kan worden bereikt in neurale netwerken.
• Architecturale Ontwerpen: Nieuwe, trainbare ontwerpen voor zowel feedforward- als residual-netwerken die gebruikmaken van stuksgewijs affiene activatiefuncties (zoals aangepaste ReLU-varianten).
• Initialisatie-algoritmen: Praktische methoden om netwerken in een PSO-regime te initialiseren.

4. Resultaten en Experimenten

De auteurs testen hun theorie uitgebreid op MNIST, Fashion-MNIST en CIFAR-10 met verschillende dieptes (tot wel 200 lagen).

• Diepte-onafhankelijkheid: Netwerken die voldoen aan de PSO-conditie (zoals de voorgestelde Orth-shared modellen) behouden een hoge nauwkeurigheid, zelfs bij een extreem grote diepte ($L=200$), terwijl standaard Kaiming-initialisatie faalt.
• Dimensie van de subruimte: Experimenten tonen aan dat zelfs een zeer kleine isometrische subruimte (dimensie $k=1$) voldoende kan zijn om het netwerk trainbaar te maken.
• Robuustheid: De voorgestelde methoden werken met verschillende activatiefuncties (zoals $\text{ReLU}_3$ en $\sigma_3$) en zijn robuust tegen variaties in de leerfrequentie (learning rate).
• Ablatie: De resultaten bevestigen dat het niet voldoende is om alleen per laag subruimte-orthogonaliteit te hebben; de persistentie (het delen van de subruimte) is cruciaal voor de stabiliteit van de compositie.

5. Betekenis en Conclusie

Dit werk biedt een diep theoretisch inzicht in waarom bepaalde diepe architecturen stabiel blijven tijdens de training. De verschuiving van het streven naar volledige dynamical isometry naar de meer flexibele persistent subspace orthogonality opent de deur naar het ontwerpen van zeer diepe, efficiënte netwerken die niet beperkt zijn tot strikt orthogonale gewichten. Dit heeft directe implicaties voor het ontwerpen van stabiele architecturen in diverse domeinen, waaronder convolutionele netwerken en mogelijk toekomstige transformator-modellen.