Technische Samenvatting: Het Perspectief van de Neural Tangent Kernel op Symmetrieën in de Parameterruimte

Probleemstelling

Deep learning-modellen, met name overgeparameteriseerde neurale netwerken, worden vaak gemodelleerd als niet-lineaire dynamische systemen met talrijke interagerende vrijheidsgraden. Hoewel het Neural Tangent Kernel (NTK)-raamwerk heeft vastgesteld dat brede neurale netwerken lineair gedrag vertonen ten opzichte van hun parameters in de oneindige breedte-limiet, blijft het fundamentele mechanisme dat deze linearisering aandrijft deels onbegrepen. Bestaande literatuur heeft gedebatteerd over de "NTK-inferioriteitsparadox", waarbij NTK-gebaseerd leren vaak ondermaats presteert vergeleken met netwerken met een eindige breedte op echte data. Bovendien waren eerdere theoretische analyses van linearisering vaak beperkt tot specifieke architecturen, vertrouwden ze op het middelen van correlatiewaarden in plaats van hun asymptotische gedrag, of faalden ze in het bieden van een verenigde equivalentie tussen linearisering en onderliggende structurele eigenschappen. Dit artikel beoogt de fundamentele oorzaak van linearisering in gradiëntafdaling-gebaseerde leersystemen te identificeren en een rigoureus, algemeen raamwerk te bieden voor het analyseren van afwijkingen van lineariteit tijdens de training.

Methodologie

De auteurs introduceren een nieuw analytisch raamwerk gecentreerd rond zwakke afgeleidecorrelaties en een nieuw wiskundig instrument voor het karakteriseren van asymptotisch gedrag van willekeurige tensoren.

1. Asymptotisch gedrag van willekeurige tensoren: Het artikel definieert een "Subordinate Tensor Norm" gecombineerd met een "Stochastische Big-O Notatie" om het asymptotische gedrag van willekeurige tensoren te karakteriseren naarmate de systeemgrootte (limiterende parameter $n$) de oneindigheid nadert. Deze notatie maakt het mogelijk om de asymptotische grenzen van deze tensoren rigoureus te begrenzen, wat de uitdagingen met betrekking tot stochasticiteit en componentcomplexiteit aanpakt. De auteurs bewijzen de existentie en uniciteit van definitieve asymptotische grenzen voor deze tensoren met behulp van de stelling van Zorn.

2. Afgeleidecorrelaties: De auteurs definiëren een set correlatiefuncties, $C_{D,d}(\theta)$, die de correlatie meten tussen de eerste afgeleide van de hypothesefunctie en de hogere-orde afgeleiden ervan (specifiek de interactie tussen de $D$-de orde afgeleide en $d$ kopieën van de eerste afgeleide). Deze correlaties zijn genormaliseerd door de leersnelheid en factoriële termen.

3. Equivalentietheorema's: De kern van de theoretische bijdrage is de vestiging van een equivalentie tussen de lineariteit van de leerdynamiek en de zwakte van deze afgeleidecorrelaties bij initialisatie.

   • Theorema 3.1 & 3.2: Het artikel bewijst dat voor gradiëntafdaling-gebaseerd leren het systeem lineair gedrag vertoont (waarbij de hypothesefunctie en zijn afgeleiden lineair evolueren) indien en slechts indien de correlaties tussen de eerste en hogere-orde afgeleiden vervallen met een specifieke snelheid (bijv. $O(1/\sqrt{n})$ of $O(1/n)$) naarmate de breedte $n \to \infty$.
   • De bewijzen maken gebruik van Taylor-reeksontwikkelingen van de hypothesefunctie en zijn afgeleiden, waarbij wordt aangetoond dat de evolutie van het systeem wordt beheerst door een lineaire combinatie van deze correlaties.

4. Toepassing op Neurale Netwerken: Met behulp van de "Tensor Programs" formalisering (een uitbreiding van het werk van Yang & Littwin) passen de auteurs hun raamwerk toe op volledig verbonden neurale netwerken (FCNN's). Zij demonstreren via inductie dat brede FCNN's met passende initialisatie en activatiefuncties voldoen aan de voorwaarde om "zwak gecorreleerd" te zijn, waarmee zij bewijzen dat zij PGDML (Properly Normalized Gradient Descent-based Machine Learning) systemen zijn.

Belangrijkste Bijdragen

1. Fundamentele Equivalentie: Het artikel stelt vast dat de waargenomen linearisering in brede neurale netwerken fundamenteel equivalent is aan de aanwezigheid van zwakke correlaties tussen de eerste en hogere-orde afgeleiden van de hypothesefunctie bij initialisatie. Dit biedt een noodzakelijke en voldoende voorwaarde voor linearisering, waarmee verder wordt gegaan dan de louter voldoende voorwaarden in eerder werk.
2. Algemeen Raamwerk: In tegen tegenstelling tot eerdere bewijzen die beperkt waren tot specifieke architecturen, is deze aanpak toepasbaar op elk systeem dat beschreven kan worden als een compositie van globale lineaire operaties en puntgewijze niet-lineaire functies (inclusief die buiten de strikte Tensor Programs formalisering, zoals netwerken met verschillende activatiefuncties per neuron).
3. Afwijkingsgrenzen: De auteurs leiden een grens af voor de afwijking van lineariteit tijdens Stochastic Gradient Descent (SGD) training over de tijd. Dit generaliseert eerdere resultaten voor deterministische gradiëntafdaling, waarbij wordt aangetoond dat voor exponentieel zwak gecorreleerde systemen de afwijking begrensd blijft door $O(s^0/m(n))$ over $s$ stappen.
4. Nieuw Analytisch Instrument: De introductie van de "Random Tensor Asymptotic Behavior" formalisering biedt een robuuste methode voor het analyseren van het limiterende gedrag van willekeurige tensoren, wat de auteurs naar argumentatie ook toepasbaar achten buiten deep learning voor diverse wiskundige en fysische kaders.

Resultaten

• Theoretische Validatie: Het artikel bewijst dat brede neurale netwerken $\sqrt{n}$-zwak gecorreleerd en machts-zwak gecorreleerd zijn, wat bevestigt dat hun lineaire gedrag voortkomt uit de structurele compositie van zwakke submodellen (neuronen worden onafhankelijk in de oneindige breedte-limiet).
• Architectuurgevoeligheid: De analyse laat zien hoe architecturale wijzigingen de lineariseringssnelheden beïnvloeden. Bijvoorbeeld, de $n$-de afgeleide van de activatiefunctie $\phi^{[n]}$ moet voldoen aan $\phi^{[n]} \le O((n+1)!)$ om te garanderen dat het systeem zwak gecorreleerd blijft.
• Empirische Ondersteuning: Numerieke experimenten op de MNIST, CIFAR10 en FMNIST datasets valideren de theoretische voorspellingen. De experimenten vergelijken de trainingsdynamica van niet-lineaire netwerken met hun lineair benaderde (NTK) varianten. De resultaten tonen aan dat de lineariseringsfout schaalt met de netwerkbreedte en de leersnelheid-schaling, waarbij de geobserveerde machtswet-hellingen consistent zijn met (hoewel iets vlakker dan) de theoretische bovengrenzen.
• SGD Dynamica: De afgeleide grenzen bevestigen dat hoewel linearisering standhoudt, de afwijking van de lineaire limiet cumuleert tijdens de training, wat een theoretische verklaring biedt voor waarom netwerken met een eindige breedte kunnen afwijken van NTK-voorspellingen over langere trainingshorizonten.

Betekenis en Claims

Het artikel stelt dat zwakke afgeleidecorrelaties de fundamentele oorzaak zijn van de prominente lineariseringseigenschappen in brede neurale netwerken. De auteurs betogen dat dit perspectief de "NTK-inferioriteitsparadox" herkadert: lineair leren kan ondermaats presteren vergeleken met eindige neurale netwerken, niet omdat lineariteit inherent superieur is, maar omdat eindige netwerken gunstige "biases" behouden in de vorm van niet-verdwijnende afgeleidecorrelaties, waardoor ze in staat zijn om realistische datastructuren te prioriteren boven de "overmatig onbevooroordeelde" lineaire limiet.

De betekenis van dit werk ligt in het vermogen om:

• Een universeel criterium voor linearisering te bieden dat toepasbaar is op generieke leersystemen, niet alleen op neurale netwerken.
• Een verenigde verklaring te bieden voor waarom brede netwerken lineariseren, door dit direct te koppelen aan de statistische onafhankelijkheid van parameters bij initialisatie.
• De trainingsdynamica te analyseren (afwijking over tijd) in stochastische omgevingen, wat cruciaal is voor praktische toepassingen waar SGD de standaard optimizer is.
• Te suggereren dat het introduceren van specifieke correlaties (niet-lineariteiten in de bias-structuur) een levensvatbare strategie kan zijn om het leren te verbeteren in scenario's waar strikte linearisering (NTK-limiet) suboptimaal is.

De auteurs concluderen dat hun raamwerk een dieper, algemener begrip biedt van de transitie van "feature learning" naar de NTK-limiet, en daarmee de kloof overbrugt tussen theoretische oneindige breedte-limieten en het empirische succes van eindige breedte deep learning.