Technische Samenvatting: Kritikaliteit en Saturatie in Orthogonale Neuronale Netwerken

Probleemstelling

Het is algemeen bekend dat het initialiseren van de gewichtsmatrices van een neurale netwerk als orthogonaal (waarbij $W W^\top = I$) in plaats van het gebruik van onafhankelijke en identiek verdeelde (i.i.d.) Gaussische componenten, de trainingsprestaties kan verbeteren. De theoretische onderbouwing van dit fenomeen was echter beperkt. Eerdere studies waren grotendeels beperkt tot lineaire netwerken of maakten gebruik van middelveldtheorie in de limiet van oneindige breedte. Cruciaal is dat bij oneindige breedte de Neuronale Tangent Kernel (NTK) voor netwerken met orthogonale en Gaussische initialisatie identiek is, waardoor een analyse in de limiet van oneindige breedte ontoereikend is om de waargenomen verschillen in eindige-breedte, niet-lineaire netwerken te verklaren.

Hoewel recent empirisch werk (Day et al.) aantoonde dat de tensoren die de statistieken van eindige breedte besturen, stabiliseren bij grote diepten in orthogonale netwerken (in tegenstelling tot in Gaussische netwerken), ontbrak een rigoureuze theoretische afleiding die deze stabiliteit verklaarde. Specifiek had nog geen analyse succesvol aangetoond dat orthogonale initialisaties van niet-lineaire netwerken met eindige breedte leiden tot verbeterde prestaties of stabiliteit ten opzichte van Gaussische initialisaties via een systematische expansie.

Methodologie

De auteurs maken gebruik van een correctiekader voor eindige breedte, waarbij ze de netwerkstatistieken analyseren als een machtreeks in $1/n$, waarbij $n$ de breedte van het netwerk is. De nulde-orde term komt overeen met de limiet van oneindige breedte, terwijl hogere-orde termen effecten van eindige breedte vastleggen.

Belangrijke methodologische componenten zijn:

1. Orthogonale Weingarten-calculus: In plaats van Wick's theorema (gebruikt voor Gaussische gewichten), gebruiken de auteurs orthogonale Weingarten-functies om de gezamenlijke momenten van gewichtsmatrices te karakteriseren die zijn bemonsterd uit de orthogonale groep met betrekking tot de Haar-maat. Dit introduceert niet-verdwijnende hogere-orde cumulanten voor de gewichten, die centraal staan in de statistieken van eindige breedte.
2. Laagsgewijze recursierelaties: De auteurs leiden expliciete recursierelaties af voor de tensoren die de correcties van de eerste orde ($O(1/n)$) aan de trainingsdynamica besturen. Deze tensoren omvatten de correctie van het NTK-middelpunt ($\Theta^{(1)}$), de kruiscorrelatoren van NTK-vooractivaties ($D, F$) en de NTK-variatietensoren ($A, B$). Ze leiden ook de recursie af voor de zes-punts vooractivatie-cumulantentensor ($V_6$) van orde $O(1/n^2)$.
3. Feynman-diagrammatisch kader: Om de algebraïsche complexiteit van het afleiden van deze recursies te beheersen, breiden de auteurs een recent geïntroduceerd Feynman-diagramkader (oorspronkelijk voor Gaussische gewichten) uit tot het orthogonale geval. Deze uitbreiding introduceert:
   • Orthogonaliteitslading: Een label dat het orthogonale karakter van lijnen bijhoudt.
   • Vierkante propagatoren: Die de volledige verwachtingswaarde over de gewichten vertegenwoordigen.
   • Selectieregels: Specifieke regels (bijvoorbeeld kleurbehoud) die bepalen welke diagrammen bijdragen op een gegeven orde.
   • Weingarten-gewichten: Diagrammen worden gewogen met Weingarten-functies die worden bepaald door de relatieve volgorde van koppelingsparen.
     De auteurs bewijzen dat dit diagrammatische formalisme compleet is voor alle orden in $1/n$.

Belangrijkste Bijdragen

1. Afleiding van Recursierelaties: Het artikel biedt de eerste expliciete laagsgewijze recursierelaties voor de tensoren $D, F, A, B, P, Q, R, S, T, U$ en de eerste correctie van het NTK-middelpunt ($\Theta^{(1)}$) van orde $O(1/n)$ voor orthogonale initialisaties. Het leidt ook de recursie af voor de $V_6$-tensor van orde $O(1/n^2)$.
2. Uitbreiding van Feynman-regels: De auteurs bieden een set Feynman-regels specifiek voor orthogonale gewichten die de berekening van deze recursierelaties vereenvoudigen. Ze bewijzen de volledigheid van deze regels voor alle orden in $1/n$ en demonstreren hun nut door de $V_6$-correctie te berekenen, wat via directe methoden algebraïsch onhaalbaar zou zijn.
3. Theoretische Verklaring van Stabiliteit: Door de afgeleide recursierelaties op te lossen (zowel numeriek voor gevallen met één invoer als analytisch via expansies voor grote diepte), tonen de auteurs aan dat de theorie de empirisch waargenomen stabiliteit en saturatie van tensoren met eindige breedte in orthogonale netwerken reproduceert.
4. Kritikaliteitsanalyse: Het artikel breidt kritikaliteitsresultaten voor het Neuronale Netwerk Gaussisch Proces (NNGP) en NTK uit van Gaussische naar orthogonale initialisaties, en toont aan dat kritikaliteit van de limiet van oneindige breedte kritikaliteit impliceert voor de orthogonale vooractivatie- en NTK-cumulanten.

Resultaten

• Stabiliteit en Saturatie: Numerieke oplossingen van de recursierelaties voor tanh-MLP's (breedte $n=50$, diepte $L=10$) tonen uitstekende overeenkomst met Monte Carlo-schattingen uit ensemble van netwerken. De resultaten bevestigen dat genormaliseerde NTK-tensoren ($D, F, A, B$) en vooractivatie-cumulanten kleinere groottes bereiken dan hun Gaussische tegenhangers en vroege-laagsaturatie vertonen.
• Gedrag bij Grote Diepte: Analytische expansies voor grote diepte ($\ell \to \infty$) van de oplossingen komen overeen met de exacte numerieke oplossingen en Monte Carlo-simulaties, met name in het regime $\ell > n$. Dit bevestigt dat orthogonale netwerken saturatie vertonen bij grote diepten, een gedrag dat niet wordt gezien in Gaussische netwerken.
• Kritikaliteit: De studie verifieert dat op het kritieke punt ($C_W = 1$) de NNGP en NTK stabiel blijven over variërende diepten, in overeenstemming met de bootstrap-structuur waarbij kritikaliteit van lagere-rang tensoren kritikaliteit van hogere-rang tensoren beheerst.
• Diagrammatische Validatie: De Feynman-diagrambenadering reproduceert succesvol bekende algebraïsche resultaten voor Gaussische gewichten (door te beperken tot diagonale Weingarten-bijdragen) en genereert correct de extra termen die nodig zijn voor orthogonale gewichten.

Betekenis

Dit werk biedt de eerste theoretische verklaring voor de stabiliteit van niet-lineaire, eindige-breedte neurale netwerken die zijn geïnitieerd met orthogonale gewichten, en sluit zo een langdurige kloof in de literatuur. Door de kloof te overbruggen tussen empirische observaties (Day et al.) en theoretische analyse, toont het artikel aan dat de stabiliteit van orthogonale netwerken een direct gevolg is van de specifieke structuur van hun correcties voor eindige breedte, die worden beheerst door orthogonale Weingarten-functies. De ontwikkeling van een compleet Feynman-diagrammatisch kader voor orthogonale gewichten biedt een krachtig hulpmiddel om systematisch netwerkstatistieken te berekenen tot willekeurige orden in $1/n$, en faciliteert toekomstig theoretisch onderzoek naar de dynamiek van deep learning.