🔬 condensed matter

Weak Correlations as the Underlying Principle for Linearization of Gradient-Based Learning Systems

Dieses Paper schlägt vor, dass die Linearisierung des gradientenbasierten Lernens in tiefen neuronalen Netzen, insbesondere im Grenzfall unendlicher Breite, aus schwachen Korrelationen zwischen den ersten und höheren Ableitungen der Hypothesenfunktion resultiert, ein Prinzip, das zur Ableitung von Schranken für Trainingsabweichungen verwendet wird und mittels einer neuartigen Methode zur Analyse von Zufallstensoren charakterisiert wird.

Ursprüngliche Autoren: Ori Shem-Ur, Khen Cohen, Aviv Orly, Yaron Oz

Veröffentlicht 2026-08-13

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ori Shem-Ur, Khen Cohen, Aviv Orly, Yaron Oz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges, chaotisches Orchester zu verstehen. In der Welt der künstlichen Intelligenz ist dieses Orchester ein „neuronales Netz“, ein Computerprogramm, das darauf ausgelegt ist, aus Daten zu lernen. Diese Netzwerke bestehen aus Millionen winziger Teile (genannt Parameter), die alle miteinander kommunizieren. Normalerweise verhalten sie sich beim Lernen wie ein wilder, nicht-linearer Sturm – sie verändern sich auf komplexe, unvorhersehbare Weise, was unglaublich schwer zu erfassen ist.

Doch Wissenschaftler haben einen seltsamen Trick entdeckt: Wenn man das Orchester groß genug macht (indem man so viele Musiker hinzufügt, dass es gegen Unendlich geht), beruhigt sich das Chaos plötzlich. Das Netzwerk beginnt, sich wie eine einfache, gerade Linie zu verhalten. Dies wird als „Neural Tangent Kernel“ (NTK)-Limit bezeichnet. Denken Sie an einen verhedderten Wollknäuel, das, wenn man es zu einer massiven Größe dehnt, plötzlich wie eine perfekt gerade Schnur aussieht. Jahrelang wussten Forscher, dass dies geschieht, aber sie rätselten darüber, warum. Ist es Magie? Ist es nur ein Nebeneffekt der Mathematik? Und warum versagt dieses „gerade Linien“-Verhalten manchmal dabei, vorherzusagen, wie sich reale, endliche Netzwerke bei schwierigen Aufgaben tatsächlich schlagen?

Dieses Papier mit dem Titel „Neural Tangent Kernel Perspective on Parameter-Space Symmetries“ taucht in dieses Geheimnis ein. Die Autoren, ein Team der Universität Tel Aviv, schlagen einen neuen Weg vor, das Problem zu betrachten. Sie schlagen vor, dass der Grund, warum diese riesigen Netzwerke sich wie gerade Linien verhalten, „schwache Korrelationen“ sind. Stellen Sie sich die Teile des Netzwerks wie eine Gruppe von Freunden vor. In einem normalen, chaotischen Netzwerk tuschelt jeder und beeinflusst die Entscheidungen der anderen. Aber in diesen riesigen, linearen Netzwerken sprechen die Freunde kaum miteinander. Das Papier argumentt, dass dieser Mangel an Verbindung (schwache Korrelation) zwischen den verschiedenen Teilen des Netzwerks die grundlegende Ursache für das Gerade-Linien-Verhalten ist. Sie haben nicht nur geraten, dies geschieht; sie haben ein neues mathematisches Werkzeug aufgebaut, um es zu beweisen, und gezeigt, dass das Netzwerk zwangsläufig linear agiert, wenn diese Korrelationen schwach sind. Sie haben auch Computersimulationen verwendet, um zu zeigen, dass diese Theorie in der Praxis standhält, was hilft zu erklären, warum manche Netzwerke besser lernen als andere und warum die „unendliche“ Theorie in der realen Welt manchmal danebenliegt.

Die Geschichte des leisen Orchesters

Um zu verstehen, was die Autoren herausgefunden haben, kehren wir zu unserem Orchester zurück. Wenn ein neuronales Netz lernt, passt es seine internen Regler (Parameter) an, um eine Aufgabe besser zu bewältigen, wie etwa das Erkennen einer Katze auf einem Foto. Normalerweise beeinflusst das Drehen eines Reglers viele andere auf eine komplizierte, nicht-lineare Weise. Es ist, als ob die Änderung des Rhythmus durch den Schlagzeuger plötzlich dazu führt, dass der Geiger seine Tonhöhe ändert, was wiederum dazu führt, dass der Bassist sein Instrument wechselt. Es ist ein Chaos.

Doch die Autoren bemerkten etwas Besonderes an den „unendlichen“ Netzwerken. Sie erkannten, dass für das Netzwerk, um wie eine einfache, gerade Linie zu agieren, die „Regler“ aufhören müssen, sich auf eine tiefe, verhedderte Weise gegenseitig zu beeinflussen. Sie nennen dies schwache Ableitungskorrelationen (weak derivative correlations).

Hier ist eine einfache Art, es sich vorzustellen: Stellen Sie sich vor, Sie versuchen das Wetter vorherzusagen.

Starke Korrelation (Das chaotische Netzwerk): Sie schauen auf den Wind, und er verrät Ihnen die Temperatur. Aber die Temperatur verrät auch etwas über den Wind, und die Luftfeuchtigkeit verrät beides. Alles ist in einem riesigen, verhedderten Netz miteinander verbunden. Eine Änderung an einer Stelle pflanzt sich in einer wilden, unvorhersehbaren Kurve durch das gesamte System fort.
Schwache Korrelation (Das lineare Netzwerk): Sie schauen auf den Wind, und er verrät Ihnen die Temperatur. Aber die Temperatur kümmert sich nicht wirklich mehr um den Wind. Sie sind weitgehend unabhängig. Wenn Sie den Wind ändern, ändert sich die Temperatur auf eine einfache, vorhersehbare, geradlinige Weise.

Das Papier beweist, dass Linearität exakt dasselbe ist wie das Vorhandensein dieser schwachen Korrelationen. Wenn die Teile des Netzwerks „schwach korreliert“ sind (sie kommunizieren nicht viel miteinander), wird das gesamte System linear. Wenn sie stark korreliert sind, bleibt es chaotisch und nicht-linear.

Das „Huhn-Ei-Dilemma“-Rätsel

Diese Entdeckung löst ein großes Rätsel. Lange Zeit dachten die Leute, das Netzwerk würde deshalb linear, weil es riesig ist. Aber dieses Papier legt nahe, dass es eigentlich daran liegt, dass die spezifische Art und Weise, wie diese riesigen Netzwerke aufgebaut sind, ihre Teile voneinander unabhängig macht.

Die Autoren befassen sich auch mit einer kniffligen Frage: Ist diese Unabhängigkeit eine gute oder eine schlechte Sache?

Die „statische“ Sicht: Einige könnten denken, dass das Netzwerk, weil die Teile nicht miteinander kommunizieren, „statisch“ ist und Dinge einfach nur auf eine einfache Weise auswendig lernt.
Die „Bias“-Sicht: Die Autoren schlagen eine tiefere Idee vor. Sie argumentieren, dass diese schwachen Korrelationen tatsächlich eine Form der Entfernung von Bias (Voreingenommenheit) sind. Wenn die Teile des Netzwerks zu stark miteinander verbunden sind, könnten sie das Netzwerk dazu zwingen, ein spezifisches, seltsames Muster zu lernen, das gar nicht in den Daten vorhanden ist. Indem sie die Korrelationen schwach halten, bleibt das Netzwerk „offen“ und lernt die Daten selbst.

Dennoch weist das Papier auf ein Paradoxon hin. Während dieses „statische“, lineare Verhalten mathematisch wunderschön und leicht zu untersuchen ist, schneiden reale neuronale Netze (die endlich sind, nicht unendlich) oft besser ab als diese linearen Modelle. Warum? Die Autoren vermuten, dass reale Netzwerke etwas Verbindung (etwas Korrelation) benötigen, um die schwierigen, nicht-linearen Muster der realen Welt zu lernen. Wenn man das Netzwerk zu sehr zur Linearität zwingt (zu unkorreliert macht), könnte es die „Nuancen“ der Daten verpassen.

Was sie tatsächlich getan haben

Die Autoren haben nicht nur darüber gesprochen; sie haben eine neue mathematische Sprache entwickelt, um dies zu beschreiben. Sie führten eine Methode ein, um das „asymptotische Verhalten“ von zufälligen Tensoren zu messen (welches im Grueinander mehrdimensionale Gitter von Zahlen sind, die sich ändern, während das Netzwerk wächst). Denken Sie an dies als ein neues Lineal, das messen kann, wie „wild“ oder „ruhig“ ein Netzwerk wird, während es größer wird.

Mit diesem neuen Lineal haben sie:

Den Zusammenhang bewiesen: Sie zeigten mathematisch, dass, wenn die Korrelationen schwach sind, das Netzwerk zwangsläver linear werden muss. Es ist eine „Wenn-und-nur-wenn“-Beziehung.
Die Mathematik mit Simulationen überprüft: Sie führten Computerexperimente mit realen Datensätzen (wie MNIST und CIFAR10) mit unterschiedlichen Netzwerkgrößen und Lernraten durch. Sie maßen, wie sehr das reale Netzwerk von der „geraden Linie“-Vorhersage abwich.
Die Grenzen gefunden: Sie entdeckten, dass die „gerade Linie“-Vorhersage sehr gut funktioniert, wenn das Netzwerk riesig ist und die Lernrate genau richtig gewählt wurde. Aber wenn man die Lernrate zu hoch ansetzt oder das Netzwerk zu klein macht, bricht die „schwache Korrelation“ zusammen und das Netzwerk kehrt zu seinem chaotischen und nicht-linearen Zustand zurück.

Das Fazzeit

Das Papier legt nahe, dass die „Magie“ großer neuronaler Netze gar keine Magie ist. Sie ist das Ergebnis davon, dass die Teile des Netzwerks so zahlreich werden, dass sie aufhören, sich gegenseitig zu beeinflussen. Dieses „Schweigen“ zwischen den Teilen ist es, das es dem Netzwerk ermöglicht, sich wie eine einfache, gerade Linie zu verhalten.

Aber hier ist die Wendung: Die Autoren deuten an, dass dieses Schweigen der Grund sein könnte, warum diese unendlichen Netzwerke manchmal gegen reale, endliche Netzwerke verlieren. Das echte Leben ist chaotisch und vernetzt. Vielleicht sind die besten Netzwerke nicht jene, die perfekt still und linear sind, sondern jene, die einen Mittelweg finden – wo sie weitgehend linear sind, aber immer noch gerade genug „Gerede“ (Korrelation) besitzen, um die komplexen, nicht-linearen Geheimnisse der Welt zu lernen.

Kurz gesagt: Das Papier gibt uns eine neue Perspektive darauf, warum große neuronale Netze sich so verhalten, wie sie es tun. Es sagt uns, dass der Schlüssel zu ihrer Einfachheit in ihrem Mangel an Verbindung liegt, warnt uns aber auch, dass zu viel Einfachheit dazu führen kann, dass wir den Kern der Sache verpassen.

Technisches Resümee: Die Perspektive des Neural Tangent Kernels auf Symmetrien im Parameterraum

Problemstellung

Deep-Learning-Modelle, insbesondere überparametrierte neuronale Netze, werden häufig als nichtlineare dynamische Systeme mit zahlreichen interagierenden Freiheitsgraden modelliert. Während das Neural Tangent Kernel (NTK)-Framework etabliert hat, dass weite neuronale Netze im Unendlichkeitslimit der Breite bezüglich ihrer Parameter linear agieren, bleibt der fundamentale Mechanismus, der diese Linearisierung antreibt, teilweise unverstanden. In der bestehenden Literatur wird über das „NTK-Inferioritäts-Paradoxon“ debattiert, bei dem das NTK-basierte Lernen oft schlechter abschneidet als endliche Breiten-Netzwerke bei realen Daten. Zudem waren bisherige theoretische Analysen der Linearisierung oft auf spezifische Architekturen beschränkt, stützten sich auf die Mittelung von Korrelationswerten statt auf deren asymptotisches Verhalten oder versäumten es, eine einheitliche Äquivalenz zwischen Linearisierung und zugrunde liegenden strukturellen Eigenschaften bereitzustellen. Diese Arbeit zielt darauf ab, die fundamentale Ursache der Linearisierung in Gradientenabstieg-basierten Lernsystemen zu identifizieren und einen rigorosen, allgemeinen Rahmen für die Analyse von Abweichungen von der Linearität während des Trainings bereitzustellen.

Methodik

Die Autoren führen einen neuartigen analytischen Rahmen ein, der auf schwachen Ableitungskorrelationen und einem neuen mathematischen Werkzeug zur Charakterisierung des asymptotischen Verhaltens zufälliger Tensoren basiert.

Asymptotisches Verhalten zufälliger Tensoren: Das Paper definiert eine „Subordinierte Tensor-Norm“ kombiniert mit einer „Stochastischen Groß-O-Notation“, um das asymptotische Verhalten zufälliger Tensoren zu charakterisieren, wenn die Systemgröße (limitierender Parameter $n$ ) gegen Unendlich geht. Diese Notation ermöglicht die rigorose Begrenzung von Sequenzen zufälliger Tensoren und adressiert Herausforderungen im Zusammenhang mit Stochastizität und Komponentenkomplexität. Die Autoren beweisen die Existenz und Eindeutigkeit definitiver asymptotischer Schranken für diese Tensoren unter Verwendung des Satzes von Zorn.
Ableitungskorrelationen: Die Autoren definieren einen Satz von Korrelationsfunktionen, $C_{D,d}(\theta)$ , welche die Korrelation zwischen der ersten Ableitung der Hypothesenfunktion und ihren höheren Ableitungen messen (speziell die Interaktion zwischen der $D$ -ten Ordnung der Ableitung und $d$ Kopien der ersten Ableitung). Diese Korrelationen sind normiert durch die Lernrate und Faktorialterme.
Äquivalenz-Theoreme: Der zentrale theoretische Beitrag ist die Etablierung einer Äquivalenz zwischen der Linearität der Lerndynamik und der Schwäche dieser Ableitungskorrelationen bei der Initialisierung.
- Theorem 3.1 & 3.2: Das Paper beweist, dass für Gradientenabstieg-basiertes Lernen das System ein lineares Verhalten zeigt (wobei die Hypothesenfunktion und ihre Ableitungen linear evolvieren), wenn und nur wenn die Korrelationen zwischen der ersten und höheren Ableitungen mit einer spezifischen Rate (z. B. $O(1/\sqrt{n})$ oder $O(1/n)$ ) gegen $n \to \infty$ abfallen.
- Die Beweise nutzen Taylor-Reihenentwicklungen der Hypothesenfunktion und ihrer Ableitungen und zeigen auf, dass die Evolution des Systems durch eine lineare Kombination dieser Korrelationen gesteuert wird.
Anwendung auf neuronale Netze: Unter Verwendung des „Tensor Programs“-Formalismus (eine Erweiterung der Arbeit von Yang & Littwin) wenden die Autoren ihren Rahmen auf vollvernetzte neuronale Netze (FCNNs) an. Sie demonstrieren mittels Induktion, dass weite FCNNs mit angemessener Initialisierung und Aktivierungsfunktionen die Bedingung erfüllen, „schwach korreliert“ zu sein, wodurch sie als PGDML-Systeme (Properly Normalized Gradient Descent-based Machine Learning) ausgewiesen werden.

Zentrale Beiträge

Fundamentale Äquivalenz: Das Paper stellt fest, dass die beobachtete Linearisierung in weiten neuronalen Netzen fundamental äquivalent zur Existenz schwacher Korrelationen zwischen der ersten und höheren Ableitungen der Hypothesenfunktion bei der Initialisierung ist. Dies liefert eine notwendige und hinreichende Bedingung für die Linearisierung und geht über die in vorangegangenen Arbeiten gefundenen hinreichenden Bedingungen hinaus.
Genereller Rahmen: Im Gegensatz zu früheren Beweisen, die auf spezifische Architekturen beschränkt waren, lässt sich dieser Ansatz auf jedes System anwenden, das als Komposition aus globalen linearen Operationen und punktweisen nichtlinearen Funktionen beschrieben werden kann (einschließlich solcher außerhalb des strikten Tensor-Programs-Formalismus, wie etwa Netzwerke mit unterschiedlichen Aktivierungsfunktionen pro Neuron).
Abweichungsschranken: Die Autoren leiten eine Schranke für die Abweichung von der Linearität während des Trainings mittels Stochastic Gradient Descent (SGD) über die Zeit ab. Dies generalisiert bisherige Ergebnisse für deterministischen Gradientenabstieg und zeigt, dass bei exponentiell schwach korrelierten Systemen die Abweichung über $s$ Schritte durch $O(s^0/m(n))$ begrenzt bleibt.
Neues Analysetool: Die Einführung des Formalismus des „Asymptotischen Verhaltens zufälliger Tensoren“ bietet eine robuste Methode zur Analyse des Grenzverhaltens zufälliger Tensoren, die nach Argumentation der Autoren auch über Deep Learning hinaus auf verschiedene mathematische und physikalische Frameworks anwendbar ist.

Ergebnisse

Theoretische Validierung: Das Paper beweist, dass weite neuronale Netze $\sqrt{n}$ -schwach korreliert und Potenz-schwach korreliert sind, was bestätigt, dass ihr lineares Verhalten aus der strukturellen Komposition schwacher Submodelle (Neuronen werden im Unendlichkeitslimit der Breite unabhängig) hervorgeht.
Architektursensitivität: Die Analyse zeigt auf, wie architektonische Modifikationen die Linearisierungsraten beeinflussen. Beispielsweise muss die $n$ -te Ableitung der Aktivierungsfunktion $\phi^{[n]}$ die Bedingung $\phi^{[n]} \le O((n+1)!)$ erfüllen, um sicherzustellen, dass das System schwach korreliert bleibt.
Empirische Unterstützung: Numerische Experimente auf den Datensätzen MNIST, CIFAR10 und FMNIST validieren die theoretischen Vorhersagen. Die Experimente vergleichen die Trainingsdynamik nichtlinearer Netzwerke mit ihren (linearen) NTK-Approximationen. Die Ergebnisse zeigen, dass der Linearisierungsfehler mit der Netzwerkbreite und der Skalierung der Lernrate skaliert, wobei die beobachteten Potenzgesetz-Steigungen konsistent mit (wenn auch etwas flacher als) den theoretischen oberen Schranken sind.
SGD-Dynamik: Die abgeleiteten Schranken bestätigen, dass die Linearisierung zwar hält, die Abweichung von der linearen Grenze jedoch über die Trainingsschritte akkumuliert, was eine theoretische Erklärung dafür liefert, warum endliche Breiten-Netzwerke über lange Trainingshorizonen von NTK-Vorhersagen divergieren können.

Bedeutung und Behauptungen

Das Paper postuliert, dass schwache Ableitungskorrelationen die fundamentale Ursache für die prävalenten Linearisierungseigenschaften in weiten neuronalen Netzen sind. Die Autoren argumentieren, dass diese Perspektive das Verständnis des „NTK-Inferioritäts-Paradoxons“ neu rahmt: Lineares Lernen mag schlechter abschneiden als endliche neuronale Netze, nicht weil Linearität inhärent überlegen ist, sondern weil endliche Netzwerke vorteilhafte „Biases“ in Form von nicht verschwindenden Ableitungskorrelationen beibehalten, die es ihnen ermöglichen, realistische Datenstrukturen gegenüber der „übermäßig unvoreingenommenen“ linearen Grenze zu priorisieren.

Die Bedeutung dieser Arbeit liegt in ihrer Fähigkeit:

Ein universelles Kriterium für die Linearisierung bereitzustellen, das für generische Lernsysteme anwendbar ist, nicht nur für neuronale Netze.
Eine einheitliche Erklärung dafür zu liefern, warum weite Netze linearisieren, indem sie dies direkt mit der statistischen Unabhängigkeit der Parameter bei der Initialisierung verknüpft.
Die Analyse der Trainingsdynamik (Abweichung über die Zeit) in stochastischen Settings zu ermöglichen, was für praktische Anwendungen, in denen SGD der Standardoptimierer ist, entscheidend ist.
Aufzuzeigen, dass das Einführen spezifischer Korrelationen (Nichtlinearitäten in der Bias-Struktur) eine praktikable Strategie sein könnte, um das Lernen in Szenarien zu verbessern, in denen strikte Linearisierung (NTK-Limit) suboptimal ist.

Die Autoren kommen zu dem Schluss, dass ihr Rahmen ein tieferes, allgemeineres Verständnis des Übergangs von „Feature Learning“ zum NTK-Limit bietet und somit die Lücke zwischen theoretischen Unendlichkeitsgrenzen und dem empirischen Erfolg von endlichen Breiten-Deep-Learning schließt.