📊 statistics

Revisiting the Neural Tangent Kernel: the role of large width and depth

Diese Arbeit stellt die konventionelle Ansicht infrage, dass der Neural Tangent Kernel (NTK) daran scheitert, komplexe überparametrisierte Netzwerke zu beschreiben, indem sie zeigt, dass entgegen des „Lazy Training“-Regimes aggregierte Abweichungen der Neuronenaktivierungen bestehen bleiben und eine angemessene Skalierung von Tiefe und Trainingszeit selbst in unendlich breiten und tiefen Netzwerken nicht-triviale, generalisierbare Ausgaben liefert.

Ursprüngliche Autoren: William St-Arnaud, Margarida Carvalho, Golnoosh Farnadi

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: William St-Arnaud, Margarida Carvalho, Golnoosh Farnadi

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein riesiges Orchester vor, in dem jeder Musiker ein winziges Neuron in einem Computergehirn ist. Jahrelang glaubten Wissenschaftler, wenn man dieses Orchester unendlich groß machen würde (indem man unendlich viele Musiker hinzufügt), würde die Musik langweilig und statisch werden. Sie dachten, die Musiker würden einfach ewig ihre Anfangstöne spielen, ohne jemals ihre Melodie zu ändern, egal wie viel sie üben würden. Dies wurde als das „träge Regime“ bezeichnet.

Dieses Paper mit dem Titel „Revisiting the Neural Tangent Kernel“ stellt diese langweilige Schlussfolgerung infrage. Die Autoren argumentieren, dass, obwohl die einzelnen Musiker sich kaum bewegen, das gesamte Orchester tatsächlich tanzt und sich auf komplexe Weise entwickelt. Sie zeigen auch, dass, wenn man zu viele Schichten von Musikern hinzufügt (das Orchester sehr tief macht), die Musik in einem einzigen, repetitiven Ton kollabieren kann – es sei denn, man weiß genau, wie man sie dirigiert.

Hier ist eine Aufschlüsselung ihrer Erkenntnisse anhand einfacher Analogien:

1. Das „träge“ Orchester tanzt eigentlich (Das Breite-Problem)

Die alte Idee: Wenn man einen massiven Chor hat (unendliche Breite), bleibt jeder Sänger starr an seinem Ausgangsplatz stehen. Da sie sich nicht bewegen, können sie keine neuen Lieder oder Muster lernen. Sie sind „träge“.

Die neue Entdeckung: Die Autoren sagen, dass diese Sichtweise zu eng gefasst ist. Es ist, als würde man sich eine einzelne Ameise in einer riesigen Kolonie ansehen. Die Ameise bewegt sich vielleicht nicht viel, aber die Kolonie als Ganzes baut ein komplexes Schloss.

Die Analogie: Stellen Sie sich ein Stadion voller Menschen vor, die farbige Karten hochhalten. Wenn man auf eine einzelne Person schaut, bewegt sich ihre Karte kaum. Aber wenn man auf die gesamte Menge schaut, verschiebt und verändert sich das Muster der Farben dramatisch, um ein Bild zu formen.
Das Ergebnis: Selbst wenn die einzelnen Neuronen (Musiker) nah an ihrem Ausgangspunkt bleiben, erzeugt der kombinierte Effekt von Millionen von ihnen einen dynamischen, sich entwickelnden Merkmalssatz. Das Label „träge“ ist irreführend, weil die Gruppe komplexe Muster lernt, selbst wenn die Individuen statisch erscheinen.

2. Das Turmbau-zu-Babel-Problem (Das Tiefe-Problem)

Die alte Idee: Wenn man immer mehr Schichten von Neuronen stapelt (das Netzwerk immer tiefer macht), legt die Mathematik nahe, dass das Netzwerk schließlich die Daten vollständig vergisst. Es wird zu einem „datenunabhängigen“ Prädiktor.

Die Analogie: Stellen Sie sich das Spiel „Stille Post“ mit 1.000 Menschen vor. Wenn Sie eine Nachricht die Reihe entlang weitergeben, ist die Nachricht, bis sie das Ende erreicht, so stark verzerrt, dass sie wie zufälliges Rauschen oder ein einziger, bedeutungsloser Sumton klingt. Das Netzwerk verliert seine Fähigkeit, zwischen verschiedenen Eingaben zu unterscheiden.

Die neue Entdeckung: Die Autoren haben einen Weg gefunden, um zu verhindern, dass die Nachricht zu Rauschen wird. Man muss das Spiel nicht ewig laufen lassen.

Die Analogie: Betrachten Sie das Netzwerk als einen Läufer. Wenn er ewig läuft (unendliche Zeit), verirrt er sich. Aber wenn man ihm sagt, zum perfekten Zeitpunkt aufzuhören (Early Stopping) und die Länge der Strecke (Tiefe) basierend darauf anzupassen, wie viele Läufer auf der Strecke sind (Datensatzgröße), kann er immer noch eine bedeutungsvolle Nachricht übermitteln.
Das Ergebnis: Durch die sorgfältige Abstimmung der Tiefe des Netzwerks, der Menge der Daten, die es sieht, und des Zeitpunkts, zu dem man das Training stoppt, bleibt das Netzwerk stabil und ausdrucksstark. Es kollabiert nicht in eine langweilige, konstante Antwort; es kann immer noch zwischen verschiedenen Eingaben unterscheiden.

3. Die „Goldlöckchen“-Zone

Das Paper legt nahe, dass das „träge Regime“ kein Sackgasse ist. Stattdessen ist es eine „Goldlöckchen“-Zone:

Nicht zu flach: Es braucht genug Breite, um komplexe Muster zu erzeugen.
Nicht zu tief (oh%le Kontrolle): Wenn es ohne Kontrolle zu tief wird, kollabiert es.
Genau richtig: Wenn man die Tiefe skaliert und das Training zum richtigen Zeitpunkt stoppt, verhält sich das Netzwerk wie ein gut abgestimmtes Instrument, das in der Lage ist, auf neue Daten zu generalisieren, selbst wenn es theoretisch „träge“ ist.

Zusammenfassung

Die Autoren sagen uns: Werfen Sie die „träge“-Theorie noch nicht weg.

Individuum vs. Gruppe: Nur weil sich die einzelnen Teile nicht viel verändern, bedeutet das nicht, dass das Gesamtsystem nicht lernt. Die Gruppendynamik ist reichhaltig und komplex.
Tiefensteuerung: Tiefe Netzwerke müssen nicht scheitern. Wenn man die Tiefe kontrolliert und das Training zum richtigen Zeitpunkt stoppt, können sie immer noch leistungsstark und präzise sein.

Im Wesentlichen schreiben sie das Regelbuch darüber um, wie wir diese massiven, übermächtigen Computergehirne verstehen, und zeigen, dass sie dynamischer und nützlicher sind als bisher angenommen, vorausgesetzt, man versteht die Mathematik ihrer Größe und Tiefe.

Technische Zusammenfassung: Wiederaufnahme des Neural Tangent Kernels

Problemstellung

Das Neural Tangent Kernel (NTK)-Framework beschreibt die Lernmechanismen überparametrisierter neuronaler Netze, die mittels Gradientenabstieg trainiert werden, und postuliert, dass sich das Netzwerk im Grenzfall unendlicher Breite wie eine Kernel-Methode mit einem fixierten Kernel verhält. Dieses Regime wird oft als „Lazy Training“ bezeichnet, da die Aktivierungen einzelner verborgener Neuronen beliebig nah an ihren Initialisierungswerten bleiben. Diese Charakterisierung weist jedoch zwei signifikante theoretische Herausforderungen auf:

Die Breite-Achse: Das „Lazy Regime“ impliziert, dass Merkmale (Aktivierungen verborgener Neuronen) statisch und zufällig sind, was die Beobachtung von „Feature Learning“ in praktischen tiefen Netzen nicht erklären kann. Vorangegangene Arbeiten deuten darauf an, dass der NTK zwar komplexe Abhängigkeiten erfasst, dies jedoch ohne die Extraktion aussagekräftiger Merkmale tut, was ein Paradoxon zwischen seinem Generalisierungserfolg und seinem Mangel an Feature-Evolution schafft.
Die Tiefe-Achse: Mit zunehmender Netzwerktiefe $L$ im Grenzfall unendlicher Breite konvergiert der NTK zu einem datenunabhängigen Prädiktor (einer konstanten Matrix), wodurch das Modell nicht in der Lage ist, Datenpunkte zu unterscheiden, die nicht im Trainingssatz enthalten sind. Dies deutet auf eine theoretische Sackgasse für tiefe Netzwerke unter Standard-NTK-Skalierung hin, bei der das Modell an Expressivität und Generalisierungsfähigkeit verliert.

Dieses Paper stellt die Schlussfolgerungen in Frage, wonach der NTK rein „lazy“ hinsichtlich des Feature Learnings ist und tiefe NTKs zwangsläufig in triviale Prädiktoren degenerieren.

Methodik

Die Autoren verwenden eine Kombination aus theoretischer asymptotischer Analyse und empirischer Validierung an vollvernetzten ReLU-Netzwerken mit Standard-Gauß-Initialisierung und Mean Squared Error (MSE) Loss.

Theoretischer Rahmen

Notation und Definitionen: Das Paper nutzt die rekursiven Definitionen des NTK ( $\Theta^{(L)}_\infty$ ) und der Kovarianz von Neuronen ( $\Sigma^{(L)}$ ), wie sie von Jacot et al. (2018a) und Arora et al. (2019b) etabliert wurden. Es konzentriert sich auf den Grenzfall unendlicher Breite, in dem der NTK zu einem deterministischen Kernel konvergiert.
Feature-Analyse (Breite): Die Autoren analysieren das aggregierte Verhalten verborgener Schichten anstelle einzelner Neuronen. Sie leiten eine geschlossene Lösung für das Skalarprodukt der Aktivierungen verborgener Schichten über die Zeit ab, $\langle h_t(x), h_t(x') \rangle$ , um zu zeigen, dass während die Abweichungen einzelner Neuronen verschwinden, die aggregierte Norm der Abweichungen dies nicht tut.
Tiefen-Analyse: Das Paper untersucht den Grenzwert für $L \to \infty$ . Es führt einen normalisierten Kernel $\bar{\Theta}^{(L)}_\infty$ ein und analysiert dessen Konvergenzeigenschaften. Die Autoren leiten asymptotische Schranken für die Eigenwerte der Kernel-Matrix und die Prädiktionsfunktion $f_t(x)$ ab.
Skalierungsstrategie: Um die Degeneration durch die Tiefe zu adressieren, schlägt das Paper ein spezifisches Skalierungsregime vor, in dem die Tiefe $L$ , die Stoppzeit $t$ und die Datensatzgröße $n$ gekoppelt sind. Konkret vermeiden sie die Annahme von isoliertem $t \to \infty$ oder $L \to \infty$ , sondern fordern, dass $L$ angemessen mit $n$ skaliert werden muss, um innerhalb der „geordneten Phase“ der Kernel-Dynamik zu bleiben.

Empirische Validierung

Toy-Modelle und Datensätze: Experimente werden auf synthetischen Daten, dem text8-Datensatz (unter Verwendung von One-Hot-Kodierungen) und MNIST durchgeführt.
Metriken: Die Autoren messen die Abweichung der letzten verborgenen Schicht von ihrer Initialisierung ( $\|h_t - h_0\|_2$ ) sowie die Konvergenzraten der Kernel-Werte und Eigenwerte mit zunehmender Tiefe.

Zentrale Beiträge

1. Neubewertung des „Lazy Regime“ (Breite-Achse)

Das Paper widerlegt die binäre Unterscheidung zwischen „lazy“ (statische Merkmale) und „feature learning“ (dynamische Merkmale) Regimes.

Aggregierte Dynamik: Während die Aktivierungen einzelner Neuronen mit zunehmender Breite gegen ihre Initialisierungswerte konvergieren, verschwindet die aggregierte Norm der Abweichungen in der letzten verborgenen Schicht nicht.
Theoretischer Beweis (Proposition 4): Die Autoren beweisen, dass für ReLU-Netzwerke mit mindestens zwei verborgenen Schichten das Skalarprodukt der Aktivierungen verborgener Schichten für unterschiedliche Inputs, $\langle h_t(x), h_t(x') \rangle$ , eine streng nicht-konstante Funktion des Trainingsschritts $t$ ist. Dies zeigt, dass statistische Korrelationen zwischen Datenpunkten während des Trainings evolvieren, selbst im Grenzfall unendlicher Breite.
Implikation: Das „lazy regime“ schließt Feature Learning nicht aus; vielmehr entwickeln sich die Merkmale in einer Weise, die durch die aggregierte Schichtdynamik erfasst wird und nicht durch das Tracking einzelner Neuronen.

2. Lösung der Expressivität in tiefen Netzwerken (Tiefe-Achse)

Das Paper adressiert den Kollaps des NTK in einen datenunabhängigen Prädiktor bei zunehmender Tiefe.

Konvergenz zu einer Konstanten: Die Autoren bestätigen, dass der normalisierte Kernel $\bar{\Theta}^{(L)}_\infty(x, x')$ für $x \neq x'$ gegen $1/4$ konvergiert, wenn $L \to \infty$ (Theorem 2).
Stabilisierung durch Skalierung (Theorem 3): Das Paper demonstriert, dass die Prädiktionsfunktion $f_t$ $f_{t}$ stabil und expressiv bleiben kann, wenn die Tiefe $L$ $L$ relativ zur Datensatzgröße $n$ $n$ skaliert wird und die Stoppzeit $t$ $t$ angemessen gewählt wird (Early Stopping).
- Durch Setzen von $t \in o(1/\lambda_n)$ (wobei $\lambda_n$ der kleinste Eigenwert ist) und Skalierung von $L$ so, dass es groß genug ist, um den Kernel zu stabilisieren, aber nicht so groß, dass es Datunabhängigkeit induziert, behält das Modell die Fähigkeit, Datenpunkte zu unterscheiden.
- Die Autoren liefern eine Schranke für $L$ , die von der Separation der Datenpunkte abhängt: $L \in O\left(\frac{1}{\sqrt{1-\rho^{(2)}(x_i^\top x_j)}}\right)$ .
Generalisierung: Diese Ergebnisse gelten für beliebige Datensätze auf der Sphäre, ohne vorauszusetzen, dass die Daten aus einer Wahrscheinlichkeitsverteilung mit einer Dichtefunktion generiert wurden, wodurch die in der Literatur (z. B. Xiao et al., 2020) gefundenen Einschränkungen gelockert werden.

Ergebnisse

Feature Evolution: Empirische Ergebnisse auf text8 zeigen, dass während die Abweichungen einzelner Neuronen klein sind (konsistent mit „lazy“ Verhalten), die aggregierte Abweichung der letzten verborgenen Schicht mit dem Training wächst, was die theoretische Vorhersage nicht-statischer Merkmale bestätigt.
Kernel-Konvergenz: Experimente auf synthetischen Daten und MNIST bestätigen, dass die Kernel-Werte mit einer Rate von $O(1/L)$ gegen $1/4$ konvergieren.
Stabilität: Durch Anwendung der abgeleiteten Skalierungsgesetze (Theorem 3) zeigen die Autoren, dass die Norm des Projektionsoperators in der geschlossenen Form Lösung beschränkt bleibt ( $O(n)$ ) und das Modell auch für große Tiefen expressiv bleibt, sofern die Tiefe nicht übermäßig groß im Verhältnis zur Separation der Daten ist.

Bedeutung und Ansprüche

Das Paper beansprucht, ein nuancierteres theoretisches Verständnis der Skalierung in neuronalen Netzen zu liefern:

Nuancierung des „Lazy Regime“: Es argumentiert, dass die Bezeichnung „lazy regime“ unvollständig ist. Während einzelne Neuronen statisch sind, ermöglicht die kollektive Schichtdynamik Feature Learning, was den Generalisierungserfolg des NTK mit dem Konzept der Feature-Extraktion versöhnt.
Viabilität tiefer NTKs: Es stellt die Vorstellung in Frage, dass unendlich tiefe NTKs theoretische Sackgassen sind. Durch angemessene Skalierung von Tiefe und Stoppzeit kann der NTK wohldefinierte, nicht-triviale Outputs für große Datensätze liefern.
Praktische Übereinstimmung: Die Ergebnisse legen nahe, dass die „Goldlöckchen-Zone“ für die NTK-Analyse in Regimen liegt, in denen die Tiefe groß, aber endlich ist und Early Stopping angewendet wird, was die praktischen experimentellen Settings widerspiegelt, in denen $L \ll n$ gilt.
Generalisierung: Die Autoren liefern eine Reihe von Schlüsseleigenschaften (diagonale Dominanz, positive Definitheit bei ausreichender Tiefe), die es ermöglichen, diese Ergebnisse auf andere Kernel und Architekturen wie CNNs zu generalisieren, wobei sie explizit anmerken, dass ihre Analyse nicht die stochastischen Fluktuationen abdeckt, die in Regimen auftreten, in denen die Tiefe die Breite massiv übersteigt (Hanin und Nica, 2020).

Das Paper schließt mit der Feststellung, dass der NTK ein wertvolles Werkzeug zur Analyse überparametrisierter Netzwerke bleibt, sofern man über die Annahme statischer Merkmale und unendlicher Trainingszeit/Tiefe ohne Skalierung hinausgeht.