📊 statistics

Revisiting the Neural Tangent Kernel: the role of large width and depth

Dit artikel daagt de conventionele visie uit dat de Neural Tangent Kernel (NTK) er niet in slaagt complexe overgeparameteriseerde netwerken te beschrijven door aan te tonen dat, in tegenstelling tot het "lazy training"-regime, geaggregeerde afwijkingen in neuronale activatie aanhouden en een juiste schaling van diepte en trainingstijd leidt tot niet-triviale, generaliseerbare outputs, zelfs in oneindig brede en diepe netwerken.

Oorspronkelijke auteurs: William St-Arnaud, Margarida Carvalho, Golnoosh Farnadi

Gepubliceerd 2026-06-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: William St-Arnaud, Margarida Carvalho, Golnoosh Farnadi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een gigantisch orkest voor waarbij elke muzikant een piepkleine neuron is in een computereenheid. Jarenlang geloofden wetenschappers dat als je dit orkest oneindig groot zou maken (door oneindig veel muzikanten toe te voegen), de muziek saai en statisch zou worden. Ze dachten dat de muzikanten voor altijd hun eerste noten zouden blijven spelen, zonder ooit van melodie te veranderen, ongeacht hoeveel ze oefenden. Dit werd het "luie regime" genoemd.

Dit artikel, "Revisiting the Neural Tangent Kernel", daagt deze saaie conclusie uit. De auteurs stellen dat, hoewel individuele muzikanten nauwelijks bewegen, het gehele orkest eigenlijk danst en op complexe wijze evolueert. Ze laten ook zien dat als je te veel lagen muzikanten toevoegt (het orkest heel diep maakt), de muziek kan instorten tot één enkele, repetitieve toon—tenzij je precies weet hoe je het moet dirigeren.

Hier is een uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. Het "luie" orkest is eigenlijk aan het dansen (Het breedteprobleem)

Het oude idee: Als je een enorme koor hebt (oneindige breedte), blijft elke zanger in zijn startpositie staan. Omdat ze niet bewegen, kunnen ze geen nieuwe liedjes of patronen leren. Ze zijn "lui".

De nieuwe ontdekking: De auteurs zeggen dat dit een te nauwe kijkwijze is. Het is alsof je naar één enkele mier kijkt in een enorme kolonie. De mier beweegt misschien niet veel, maar de kolonie als geheel bouwt een complex kasteel.

De analogie: Stel je een stadion voor vol mensen die gekleurde kaarten omhoog houden. Als je naar één persoon kijkt, beweegt hun kaart nauwelijks. Maar als je naar de hele menigte kijkt, verschuift en verandert het patroon van kleuren dramatisch om een plaatje te vormen.
Het resultaat: Zelfs al blijven individuele neuronen (muzikanten) dicht bij waar ze begonnen zijn, het gecombineerde effect van miljoenen van hen creëert een dynamische, evoluerende set aan kenmerken. Het label "lui" is misleidend, omdat de groep complexe patronen leert, zelfs als de individuen statisch lijken.

2. Het Probleem van de Toren van Babel (Het diepteprobleem)

Het oude idee: Als je steeds meer lagen neuronen op elkaar stapelt (het netwerk dieper en dieper maakt), suggereert de wiskunde dat het netwerk uiteindelijk de data volledig vergeet. Het wordt een "data-onafhankelijke" voorspeller.

De analogie: Stel je voor dat je een spelletje "telefoontje" speelt met 1.000 mensen. Als je een boodschap door de rij doorgeeft, is de boodschap tegen de tijd dat deze de laatste persoon bereikt, zo vervormd dat het klinkt als willekeurige ruis of een enkele, betekenisloze brom. Het netwerk verliest zijn vermogen om onderscheid te maken tussen verschillende inputs.

De nieuwe ontdekking: De auteurs vonden een manier om te voorkomen dat de boodschap in ruis verandert. Je hoeft het spel niet eeuwig te laten doorgaan.

De analogie: Denk aan het netwerk als een hardloper. Als ze eeuwig blijven rennen (oneindige tijd), raken ze verdwaald. Maar als je ze vertelt om op het perfecte moment te stoppen (vroegtijdige stopzetting/early stopping) en de lengte van de baan aanpast (diepte) op basis van hoeveel hardlopers er zijn (datasetgrootte), kunnen ze nog steeds een betekenisvolle boodschap overbrengen.
Het resultaat: Door de diepte van het netwerk zorgvuldig af te stemmen op de hoeveelheid data die het ziet en wanneer de training wordt gestopt, blijft het netwerk stabiel en expressief. Het stort niet in tot een saai, constant antwoord; het kan nog steeds onderscheid maken tussen verschillende inputs.

3. De "Goldilocks"-zone

Het artikel suggereert dat het "luie regime" geen doodlopende weg is. In plaats daarvan is het een "Goldilocks"-zone:

Niet te ondiep: Het heeft genoeg breedte nodig om complexe patronen te creëren.
Niet te diep (zonder controle): Als het zonder controle te diep wordt, stort het in.
Precies goed: Als je de diepte schaalt en de training op het juiste moment stopt, gedraagt het netwerk zich als een goed afgestemd instrument dat kan generaliseren naar nieuwe data, zelfs als het theoretisch "lui" is.

Samenvatting

De auteurs vertellen ons: Gooi de "luie" theorie nog niet weg.

Individu versus Groep: Alleen omdat de individuele onderdelen niet veel veranderen, betekent dat niet dat het hele systeem niet leert. De groepsdynamiek is rijk en complex.
Dieptecontrole: Diepe netwerken hoeven niet te falen. Als je de diepte beheert en de training op het juiste moment stopt, kunnen ze nog steeds krachtig en accuraat zijn.

In essentie herschrijven ze het regelboek over hoe we deze enorme, overmachtige computerbreinen begrijpen, door te laten zien dat ze dynamischer en nuttiger zijn dan voorheen werd gedacht, mits we de wiskunde van hun omvang en diepte begrijpen.

Technische Samenvatting: Het heroverwegen van de Neural Tangent Kernel

Probleemstelling

Het Neural Tangent Kernel (NTK) raamwerk beschrijft de leerdynamiek van overgeparameteriseerde neurale netwerken die getraind worden met gradiëntafdaling, waarbij wordt gesteld dat het netwerk in de limiet van oneindige breedte zich gedraagt als een kernelmethode met een vaste kernel. Dit regime wordt vaak aangeduid als "lazy training" omdat de activaties van individuele verborgen neuronen willekeurig dicht bij hun initiële waarden blijven. Deze karakterisering presenteert echter twee belangrijke theoretische uitdagingen:

De Breedte-as: Het "lazy regime" impliceert dat kenmerken (activaties van verborgen neuronen) statisch en willekeurig zijn, wat niet verklaart waarom praktische diepe netwerken wel "feature learning" vertonen. Eerdere studies suggereren dat hoewel de NTK complexe afhankelijkheden vastlegt, dit gebeurt zonder het extraheren van betekenisvolle kenmerken, wat een paradox creëert tussen het succesvolle generalisatievermogen en het gebrek aan evolutie van kenmerken.
De Diepte-as: Naarmate de netwerkdiepte toeneemt in de limiet van oneindige breedte, convergeert de NTK naar een data-onafhankelijke voorspeller (een constante matrix), waardoor het model niet in staat is om datapunten te onderscheiden die niet aanwezig zijn in de trainingsset. Dit suggereert een theoretisch doodlopend pad voor diepe netwerken onder standaard NTK-schaling, waarbij het model zijn expressiviteit en generalisatievermogen verliest.

Dit artikel daagt de conclusies uit dat de NTK puur "lazy" is met betrekking tot feature learning en dat diepe NTK's onvermijdelijk degenereren tot triviale voorspellers.

Methodologie

De auteurs maken gebruik van een combinatie van theoretische asymptotische analyse en empirische validatie op volledig verbonden ReLU-netwerken met een standaard Gaussische initialisatie en Mean Squared Error (MSE) loss.

Theoretisch Raamwerk

Notatie en Definities: Het artikel maakt gebruik van de recursieve definities van de NTK ( $\Theta^{(L)}_\infty$ ) en de covariantie van neuronen ( $\Sigma^{(L)}$ ) zoals vastgesteld door Jacot et al. (2018a) en Arora et al. (2019b). De focus ligt op de limiet van oneindige breedte waar de NTK convergeert naar een deterministische kernel.
Kenmerk-analyse (Breedte): De auteurs analyseren het geaggregeerde gedrag van verborgen lagen in plaats van individuele neuronen. Ze leiden een gesloten vorm oplossing af voor het inproduct van de activaties van de verborgen lagen over de tijd, $\langle h_t(x), h_t(x') \rangle$ , om aan te tonen dat hoewel de afwijkingen van individuele neuronen verdwijnen, de geaggregeerde norm van de afwijkingen dat niet doet.
Diepte-analyse: Het artikel onderzoekt de limiet naarmate de diepte $L \to \infty$ . Het introduceert een genormaliseerde kernel $\bar{\Theta}^{(L)}_\infty$ en analyseert de convergentie-eigenschappen ervan. De auteurs leiden asymptotische grenzen af voor de eigenwaarden van de kernelmatrix en de voorspellingsfunctie $f_t(x)$ .
Schalingsstrategie: Om de diepte-degeneratie aan te pakken, stelt het artikel een specifiek schalingsregime voor waarbij de diepte $L$ , de stoppertijd $t$ en de datasetgrootte $n$ aan elkaar gekoppeld zijn. Specifiek vermijdt het de aanname dat $t \to \infty$ of $L \to \infty$ in isolatie plaatsvindt, maar vereist in plaats daarvan dat $L$ proportioneel schaalt met $n$ en $t$ om binnen de "geordende fase" van de kernel-dynamiek te blijven.

Empirische Validatie

Toy Modellen en Datasets: Experimenten worden uitgevoerd op synthetische data, de text8 dataset (met gebruik van one-hot encoding) en MNIST.
Metrieken: De auteurs meten de afwijking van de laatste verborgen laag van haar initialisatie ( $\|h_t - h_0\|_2$ ) en de convergentiesnelheden van de kernelwaarden en eigenwaarden naarmate de diepte toeneemt.

Belangrijkste Bijdragen

1. Herwaardering van het "Lazy Regime" (Breedte-as)

Het artikel weerlegt het binaire onderscheid tussen "lazy" (statische kenmerken) en "feature learning" (dynamische kenmerken) regimes.

Geaggregeerde Dynamiek: Hoewel de activaties van individuele neuronen convergeren naar hun initialisatie-waarden naarmate de breedte toeneemt, verdwijnt de geaggregeerde norm van de afwijkingen in de laatste verborgen laag niet.
Theoretisch Bewijs (Propositie 4): De auteurs bewijzen dat voor ReLU-netwerken met ten minste twee verborgen lagen, het inproduct van de activaties van de verborgen lagen voor verschillende inputs, $\langle h_t(x), h_t(x') \rangle$ , een strikt niet-constante functie is van de trainingsstap $t$ . Dit demonstreert dat statistische correlaties tussen datapunten evolueren tijdens de training, zelfs in de limiet van oneindige breedte.
Implicatie: Het "lazy regime" sluit feature learning niet uit; in plaats daarvan evolueren de kenmerken op een manier die wordt gevangen door de geaggregeerde laagdynamiek, en niet door het volgen van individuele neuronen.

2. Oplossen van Expressiviteit in Diepe Netwerken (Diepte-as)

Het artikel adresseert de ineenstorting van de NTK tot een data-onafhankelijke voorspeller naarmate de diepte toeneemt.

Convergentie naar een Constante: De auteurs bevestigen dat de genormaliseerde kernel $\bar{\Theta}^{(L)}_\infty(x, x')$ convergeert naar $1/4$ voor $x \neq x'$ naarmate $L \to \infty$ (Theorem 2).
Stabilisatie via Schaling (Theorem 3): Het artikel toont aan dat de voorspellingsfunctie $f_t$ $f_{t}$ stabiel en expressief kan blijven als de diepte $L$ $L$ relatief wordt geschaald ten opzichte van de datasetgrootte $n$ $n$ en de stoppertijd $t$ $t$ gepast wordt gekozen (early stopping).
- Door $t \in o(1/\lambda_n)$ te stellen (waarbij $\lambda_n$ de kleinste eigenwaarde is) en $L$ zodanig te schalen dat het groot genoeg is om de kernel te stabiliseren maar niet zo groot dat het data-onafhankelijkheid induceert, behoudt het model het vermogen om datapunten te onderscheiden.
- De auteurs bieden een grens voor $L$ die afhankelijk is van de separatie van de datapunten: $L \in O\left(\frac{1}{\sqrt{1-\rho^{(2)}(x_i^\top x_j)}}\right)$ .
Generalisatie: Deze resultaten gelden voor willekeurige datasets op de sfeer zonder aan te nemen dat de data gegenereerd is vanuit een waarschijnlijkheidsverdeling met een dichtheidsfunctie, wat de beperkingen van eerdere literatuur (bijv. Xiao et al., 2020) versoepelt.

Resultaten

Feature Evolutie: Empirische resultaten op text8 laten zien dat hoewel de afwijkingen van individuele neuronen klein zijn (consistent met "lazy" gedrag), de geaggregeerde afwijking van de laatste verborgen laag groeit tijdens de training, wat de theoretische voorspelling van niet-statische kenmerken bevestigt.
Kernel Convergentie: Experimenten op synthetische en MNIST-data bevestigen dat de kernelwaarden convergeren naar $1/4$ met een snelheid van $O(1/L)$ .
Stabiliteit: Door de afgeleide schalingswetten toe te passen (Theorem 3), tonen de auteurs aan dat de norm van de projectie-operator in de gesloten vorm oplossing begrensd blijft ( $O(n)$ ) en dat het model expressiviteit behoudt, zelfs voor grote dieptes, mits de diepte niet excessief groot is ten opzichte van de scheiding tussen datapunten.

Betekenis en Claims

Het artikel claimt een meer genuanceerd theoretisch begrip te bieden van schaling in neurale netwerken:

Nuance aan het "Lazy Regime": Het betoogt dat de term "lazy regime" incompleet is. Hoewel individuele neuronen statisch zijn, maakt de collectieve laagdynamiek feature learning mogelijk, wat de succesvolle generalisatie van de NTK en het concept van kenmerkextractie met elkaar verzoent.
Leefbaarheid van Diepe NTK's: Het daagt het idee uit dat oneindig diepe NTK's theoretische doodlopende wegen zijn. Door diepte en stoppertijd correct te schalen, kan de NTK welgetemperde, niet-triviale outputs opleveren voor grote datasets.
Praktische Afstemming: De bevindingen suggereren dat de "Goldilocks"-zone voor NTK-analyse ligt in regimes waar de diepte groot maar eindig is, en waar early stopping wordt toegepast, wat de praktische experimentele settings weerspiegelt waar $L \ll n$ .
Generalisatie: De auteurs bieden een reeks slechteigenschappen (diagonale dominantie, positieve definitheid bij voldoende diepte) die deze resultaten toelaten te generaliseren naar andere kernels en architecturen, zoals CNN's, hoewel ze expliciet vermelden dat hun analyse geen rekening houdt met de stochastische fluctuaties die voorkomen in regimes waar de diepte de breedte ver overstijgt (Hanin en Nica, 2020).

Het artikel concludeert dat de NTK een waardevol instrument blijft voor het analyseren van overgeparameteriseerde netwerken, mits men verder kijkt dan de aanname van statische kenmerken en oneindige trainingstijd/diepte zonder schaling.