Beyond ReLU: How Activations Affect Neural Kernels and Random Wide Networks

Technische Samenvatting: Beyond ReLU

1. Het Probleem (Problem Statement)

In de theoretische deep learning-studie worden oneindig brede neurale netwerken vaak geanalyseerd via de Neural Tangent Kernel (NTK) en de Neural Network Gaussian Process (NNGP) kernel. Deze kernels maken de trainingdynamiek en generalisatie van netwerken wiskundig hanteerbaar.

Echter, de bestaande theoretische kennis over de eigenschappen van deze kernels is grotendeels beperkt tot activatiefuncties die gebaseerd zijn op de ReLU (Rectified Linear Unit) of functies die overal oneindig glad ($\mathcal{C}^\infty$) zijn. In de praktijk gebruiken onderzoekers echter veel andere functies zoals SELU, ELU, LeakyReLU, GELU en Sigmoid. Het is onduidelijk hoe de specifieke mate van "niet-gladheid" (non-smoothness) van deze functies — bijvoorbeeld een knik in de afgeleide bij nul — de structuur van de bijbehorende Reproducing Kernel Hilbert Spaces (RKHS) en de gladheid van de resulterende functies beïnvloedt.

2. Methodologie (Methodology)

De auteurs benaderen het probleem door de kernels te bestuderen op een eenheidssfeer ($\mathbb{S}^d$), waarbij ze gebruikmaken van de eigenschappen van dot-product kernels. De kern van hun methodologie omvat:

• Dual Activations: Ze maken gebruik van de "dual activation function" $\hat{\phi}$, een concept dat de oneindige-breedte limiet van een enkele verborgen laag beschrijft via een kwadratische vorm.
• Boundary Behavior Analysis: De auteurs analyseren het gedrag van de duale activatiefuncties nabij de grenzen ($\pm 1$). Ze bewijzen dat de asymptotische eigenschappen van de eigenwaarden van de kernel direct worden bepaald door de mate van niet-gladheid van de activatiefunctie bij nul.
• Recursieve Analyse: Voor diepe netwerken gebruiken ze een recursieve methode om te laten zien hoe de eigenschappen van de duale functies door de lagen heen propageren.
• Classificatie van Activaties: Ze definiëren een brede klasse van activatiefuncties die overal oneindig glad zijn, behalve in een punt (meestal nul), en categoriseren deze op basis van hun "smoothness" $s$.

3. Belangrijkste Bijdragen (Key Contributions)

De belangrijkste bijdrage is Theorem 9, een algemene karakterisering van de RKHS voor zowel NTK als NNGP. De bijdragen kunnen als volgt worden onderverdeeld:

• Karakterisering van de RKHS: Ze bewijzen dat voor de meeste gangbare activaties (zoals SELU en ELU) de RKHS equivalent is aan een Sobolev-ruimte $H^s(\mathbb{S}^d)$. De orde van deze ruimte hangt direct samen met de mate van gladheid van de activatiefunctie.
• Pariteit en Bias: Ze analyseren hoe de aanwezigheid van biases en de even/oneven symmetrie van de activatiefunctie de kernel beïnvloeden. In het geval van netwerken zonder bias (bias-free) kunnen de even en oneven delen van de functie in verschillende Sobolev-ruimtes vallen.
• Polynomiale Activaties: Ze tonen aan dat voor polynomiale activaties de RKHS fundamenteel anders is: de eigenwaarden zijn slechts voor een eindig aantal indices groter dan nul, en de RKHS bevat alleen polynomen waarvan de graad exponentieel groeit met de diepte.
• Gladheid van Sample Paths: Ze leveren een resultaat (Theorem 14) dat de gladheid van de functies die worden gesampled uit de NNGP beschrijft. Ze tonen aan dat de sample paths van een oneindig breed netwerk bij initialisatie een "halve orde" aan extra gladheid winnen ten opzichte van de RKHS.

4. Belangrijkste Resultaten (Results)

De resultaten kunnen worden samengevat in de volgende observaties:

1. Effect van Diepte: Voor activaties met een eindige gladheid $s \in [1, \infty)$ (zoals ReLU, LeakyReLU, ELU) zijn de RKHS's van diepe en ondiepe netwerken equivalent. Dit suggereert dat de theoretische voordelen van diepte in het kernel-regime beperkt zijn voor deze klasse functies.
2. Eigenwaarde-decay: De snelheid waarmee de eigenwaarden van de kernel afvallen ($\mu_l \sim (l+1)^{-k}$), wordt bepaald door de gladheid $s$. Hoe gladder de activatie, hoe sneller de eigenwaarden afvallen, wat leidt tot een "spectrale bias" (het netwerk leert lage frequenties sneller).
3. Universele Kernels: Voor oneindig gladde functies die geen polynomen zijn (zoals Sigmoid of Tanh), zijn de kernels universeel, maar de eigenwaarden vallen sneller af dan elke inverse polynoom.

5. Betekenis (Significance)

Dit werk heeft grote implicaties voor de theoretische deep learning:

• Verbreding van de Theorie: Het tilt de NTK/NNGP-theorie voorbij de beperkte ReLU-wereld naar een breed scala aan praktisch relevante activatiefuncties.
• Inzicht in Generalisatie en Training: Door de link te leggen tussen activatiefuncties en Sobolev-ruimtes, kunnen onderzoekers beter begrijpen waarom bepaalde activaties leiden tot betere generalisatie of snellere convergentie (via de spectrale eigenschappen).
• Fundamentele Grenzen: Het resultaat dat diepte de RKHS niet verandert voor niet-gladde functies, biedt een kritisch perspectief op de vraag of het kernel-regime wel in staat is om de werkelijke kracht van diepe netwerken te modelleren.