🌀 nonlinear sciences

A Dynamical Systems Perspective on the Analysis of Neural Networks

Dieses Kapitel verwendet einen Rahmen der dynamischen Systeme, um zentrale Herausforderungen im Deep Learning, einschließlich Informationspropagation, Trainingsdynamiken wie die „Edge of Stability“ und Mean-Field-Limits, neu zu formulieren und zu analysieren, wodurch neue Einblicke in das Verhalten, die Stabilität und die Erklärbarkeit neuronaler Netze gewonnen werden.

Ursprüngliche Autoren: Dennis Chemnitz, Maximilian Engel, Christian Kuehn, Sara-Viola Kuntz

Veröffentlicht 2026-06-17

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Dennis Chemnitz, Maximilian Engel, Christian Kuehn, Sara-Viola Kuntz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: KI als eine sich bewegende Geschichte

Stellen Sie sich ein Neuronales Netz (das Gehirn einer KI) nicht als ein statisches Computerprogramm vor, sondern als eine lebendige, atmende Geschichte, die sich im Laufe der Zeit verändert.

Die Autoren dieser Arbeit argumentieren, dass wir, um wirklich zu verstehen, wie KI funktioniert, die Mathematik nicht nur als eine Menge eingefrorener Gleichungen betrachten sollten. Stattdessen sollten wir sie durch die Linse der Dynamischen Systeme betrachten. Denken Sie an ein dynamisches System wie einen Fluss: Das Wasser (die Daten) fließt, die Ufer (die Netzwerkstruktur) formen den Fluss, und das Flussbett selbst kann seine Form ändern, während das Wasser es erodiert (das Lernen).

Die Arbeit unterteilt diesen „Fluss der KI“ in drei Hauptkapitel:

Kapitel 1: Die Reise der Information (Der Fluss)

Die Analogie: Stellen Sie sich ein Paket vor, das durch eine Serie von Förderbändern (Schichten eines Netzwerks) reist.

Das Standard-Förderband (Feed-Forward-Netzwerke): In einem Standardnetzwerk bewegt sich das Paket von einem Band zum nächsten in einer geraden Linie. Die Arbeit untersucht verschiedene Band-Designs:
- Nicht augmentiert: Die Bänder werden schmaler, während das Paket vorwärts bewegt wird (wie ein Trichter).
- Augmentiert: Die Bänder werden in der Mitte breiter, bevor sie wieder schmaler werden (wie ein Sanduhr-Design).
- Engpass (Bottleneck): Das Paket wird in der Mitte durch ein winziges Loch gepresst.
Das unendliche Förderband (Neural ODEs): Was wäre, wenn das Förderband nicht bei diskreten Schritten aufhören würde, sondern eine glatte, kontinuierliche Rutsche wäre? Die Autoren zeigen, dass man, wenn man das Förderband unendlich lang und glatt macht (eine „Neural ODE“), fast jede beliebige Form oder Funktion nachbilden kann, vorausgesetzt, die Rutsche ist breit genug.
Die Erinnerungsschleife (Neural DDEs): Manchmal muss sich ein Paket daran erinnern, wo es vor einem Moment war, um zu entscheiden, wohin es als Nächstes gehen soll. Dies ist wie ein Förderband mit einer „Verzögerungsschleife“. Die Arbeit zeigt, dass das Netzwerk komplexe Muster erinnern und schwierige Aufgaben annähern kann, die Standardnetzwerke vielleicht übersehen würden, sofern diese Verzögerung lang genug und das System stabil ist.

Das Fazit: Die Form des Netzwerks (breit, schmal, verzögert) bestimmt, welche Arten von „Geschichten“ (Funktionen) es erzählen kann. Manche Formen sind besser im Erinnern; andere sind besser im Verallgemeinern.

Kapitel 2: Der Lernprozess (Der Bildhauer)

Die Analogie: Stellen Sie sich einen Bildhauer vor, der versucht, eine Statue (die perfekte KI) aus einem Marmorblock zu meißeln. Der Bildhauer schlägt Stücke ab (passt Gewichte an), basierend darauf, wie nah die aktuelle Form dem Ziel kommt.

Das überbestimmte Problem (Zu viele Regeln, zu wenig Ton): Stellen Sie sich vor, Sie haben einen winzigen Klumpen Ton, aber eine Million Regeln darüber, wie die Statue aussehen muss. Es ist unmöglich, jede Regel perfekt zu erfüllen. Der Bildhauer versucht, so nah wie möglich heranzukommen. Die Arbeit nutzt Konzepte der „Stabilität“, um zu sehen, ob der Bildhauer irgendwann aufhört zu meißeln und sich auf einer guten Form niederschlägt, oder ob er den Block ewig weiter bearbeiten wird.
Das überparametrisierte Problem (Zu viel Ton, zu wenige Regeln): Stellen Sie sich nun einen Berg aus Ton und nur wenige Regeln vor. Es gibt Millionen von Wegen, eine perfekte Statue zu meißeln. Der Bildhauer könnte an einem beliebigen dieser Millionen perfekten Punkte anhalten.
- Die Grenze der Stabilität (Edge of Stability): Die Arbeit entdeckte etwas Überraschendes. Wenn der Bildhauer zu aggressiv meißelt (eine hohe „Lernrate“), setzt er sich nicht einfach auf einen glatten Punkt; er schwebt direkt an der Grenze der Stabilität. Es stellt sich heraus, dass das Schweben an dieser „Grenze“ oft zu einer Statue führt, die für Menschen, die die ursprünglichen Regeln noch nicht kennen, besser aussieht (bessere Generalisierung).
Der zufällige Bildhauer (Stochastischer Gradientenabstieg): In der realen Welt sieht der Bildhauer nicht den ganzen Block auf einmal; er sieht immer nur eine kleine Handvoll Marmorsplitter zur Zeit. Dies ist der „Stochastische Gradientenabstieg“ (SGD). Die Arbeit behandelt diese Zufälligkeit als ein „zufälliges dynamisches System“. Sie fanden heraus, dass der Bildhauer sich selbst mit dieser Zufälligkeit schließlich an einem stabilen Punkt niederschlägt, wenn das „Chaos“ der zufälligen Splitter nicht zu wild ist. Sie verwenden ein Konzept namens „Lyapunov-Exponenten“ (ein Maß für Chaos), um vorherzusagen, ob der Bildhauer einen guten Platz findet oder im Rauschen verloren geht.

Das Fazit: Training ist nicht nur die Suche nach dem tiefsten Punkt; es geht darum, einen stabilen tiefen Punkt zu finden. Manchmal hilft es tatsächlich, während des Trainings leicht instabil oder „wackelig“ zu sein, damit die KI besser lernt.

Kapitel 3: Die Menge und das Kollektiv (Mean-Field-Limits)

Die Analogie: Stellen Sie sich ein Stadion voller von 10.000 Menschen (Neuronen) vor, die alle schreien und einander zuhören. Es ist unmöglich, die Stimme jedes einzelnen Menschen zu verfolgen.

Der Menge-Effekt: Anstatt 10.000 Individuen zu verfolgen, schlägt die Arbeit vor, auf die „durchschnittliche Stimme“ der Menge zu schauen. Dies wird als „Mean-Field Limit“ bezeichnet.
Der Graph der Verbindungen: In einem echten Stadion sprechen die Menschen nur mit ihren Nachbarn, nicht mit allen. Die Arbeit verwendet fortgeschrittene Mathematik (Digraph-Maße), um zu zeigen, dass das Verhalten der gesamten Menge selbst bei komplexen, chaotischen Verbindungsmustern (wie einem sozialen Netzwerk) durch den „durchschnittlichen“ Informationsfluss vorhergesagt werden kann.
Warum das wichtig ist: Dies beweist, dass viele komplexe KI-Modelle (wie Transformer oder rekursive Netzwerke) eigentlich nur Spezialfälle einer sehr alten, gut verstandenen Klasse von Physikproblemen sind, die mit interagierenden Teilchen zu tun haben. Wenn wir die Physik der Menge verstehen, verstehen wir die KI.

Das Fazit: Man muss nicht jedes einzelne Neuron verfolgen, um die KI zu verstehen. Indem wir auf das „durchschnittliche“ Verhalten des Netzwerks schauen, können wir leistungsstarke Werkzeuge aus der Physik und Mathematik nutzen, um vorherzusagen, wie das gesamte System reagieren wird.

Die letzte Lektion: Backpropagation ist Zeitreise

Die Arbeit endet mit einer faszinierenden Erkenntnis über Backpropagation (die Methode, mit der KI gelehrt wird).

Die Analogie: Stellen Sie sich vor, Sie gehen einen Pfad entlang und lassen einen Brotkrumen fallen. Um herauszufinden, wo Sie gestartet sind, können Sie entweder Ihre Schritte vorwärts zurückverfolgen (Forward Accumulation) oder von dort aus rückwärts gehen, wo Sie jetzt gerade sind (Reverse Accumulation).
Die Erkenntnis: Die Arbeit weist darauf hin, dass Backpropagation im Wesentlichen mathematische Zeitreise ist. Es ist dasselbe wie die Berechnung, wie eine kleine Änderung in der Vergangenheit (die Ausgangsgewichte) die Zukunft (den Output) beeinflusst, jedoch in umgekehrter Zeit. Dies ist ein Konzept, das Mathematiker seit Jahrhunderten kennen (wie in der Untersuchung von Licht oder Fluiddynamik), aber die KI hat es als einen Rechentrick wiederentdeckt.

Zusammenfassung

Diese Arbeit ist eine Brücke. Sie sagt: „Hören Sie auf, KI als eine Blackbox aus magischem Code zu behandeln. Sie ist tatsächlich ein Fluss von Daten, ein Bildhauer, der an Marmor meißelt, und eine Menge interagierender Teilchen.“

Indem wir die Werkzeuge nutzen, mit denen Mathematiker seit Jahrhunderten Flüsse, Menschenmengen und Chaos untersuchen, können wir endlich beginnen, rigoros zu erklären, warum KI funktioniert, wann sie scheitert und wie wir sie zuverlässiger machen können. Die Autoren versprechen keine neuen KI-Anwendungen; sie versprechen einen neuen Weg, die KI, die wir bereits haben, zu verstehen.

Technisches Resümee: Eine dynamische Systemperspektive auf die Analyse neuronaler Netze

Problemstellung

Trotz des praktischen Erfolgs von maschinellem Lernen (ML) und künstlicher Intelligenz (KI) besteht eine erhebliche Diskrepanz zwischen deren Anwendung und dem theoretischen Verständnis ihrer zugrunde liegenden Mechanismen. Die Autoren identifizieren die dringende Notwendigkeit, diese Lücke zu schließen, indem sie ML-Algorithmen und neuronale Netzwerkarchitekturen als dynamische Systeme umformulieren. Die zentrale Herausforderung besteht darin, zu bestimmen, wie effektiv Probleme bezüglich erklärbarer und zuverlässiger KI innerhalb eines dynamischen Rahmens formuliert werden können, wie man mit der Hochdimensionalität und Heterogenität dieser Systeme umgeht und inwiew nào rigorose analytische Beweise etabliert werden können.

Die Arbeit konzentriert sich auf die Richtung (b) des Feldes: die Betrachtung von ML-Algorithmen selbst als dynamische Systeme, um deren Verhalten unter Verwendung etablierter mathematischer Werkzeuge aus der Theorie dynamischer Systeme zu verstehen. Dies beinhaltet die Trennung der „Dynamik auf dem Netzwerk“ (Informationspropagation mit festen Gewichten) von der „Dynamik des Netzwerks“ (die Entwicklung der Gewichte während des Trainings).

Methodik

Die Autoren verwenden einen facettenreichen Ansatz, der in der Theorie dynamischer Systeme verwurzelt ist und Konzepte aus gewöhnlichen Differentialgleichungen (ODEs), verzögerten Differentialgleichungen (DDEs), zufälligen dynamischen Systemen und interagierenden Partikelsystemen (IPS) adaptiert. Die Methodik ist um drei primäre Achsen strukturiert:

Informationspropagation (Dynamik auf dem Netzwerk): Die Input-Output-Abbildung neuronaler Netze wird als dynamisches System analysiert. Die Autoren nutzen den unendlichen Tiefenlimit diskreter Architekturen, um Netzwerke als kontinuierliche Zeitsysteme (Neural ODEs und Neural DDEs) zu modellieren. Sie wenden Werkzeuge der Differentialgeometrie, der Morse-Theorie und der Funktionalanalysis an, um die geometrische Struktur dieser Abbildungen zu klassifizieren.
Trainingsdynamik (Dynamik des Netzwerks): Optimierungsalgorithmen, insbesondere das Gradientenverfahren (GD) und das stochastische Gradientenverfahren (SGD), werden als diskrete Zeitsysteme (oder zufällige dynamische Systeme für SGD) modelliert. Die Autoren analysieren die Stabilität von Fixpunkten (Minima) und invarianten Mannigfaltigkeiten mittels Spektraltheorie, Lyapunov-Exponenten und der Theorie der Milnor-Attraktoren.
Mean-Field-Limits und Netzwerktopologie: Um die Hochdimensionalität großer Netzwerke zu adressieren, nutzen die Autoren Mean-Field-Limit-Techniken. Sie erweitern bestehende Theorien interagierender Partikelsysteme auf heterogene Netzwerke mittels Graphlimits, Graphops und Digraph-Maßen (DGMs). Dies ermöglicht die Ableitung von Kontinuumslimits (Vlasov-Fokker-Planck-Gleichungen) für großskalige neuronale Netze.

Zentrale Beiträge und Ergebnisse

1. Informationspropagation und universelle Eigenschaften

Die Arbeit stellt rigorose Verbindungen zwischen der Netzwerkarchitektur und der Klasse der Funktionen her, die ein Netzwerk repräsentieren oder approximieren kann.

Universelle Einbettung vs. Approximation: Die Autoren unterscheiden zwischen universeller Approximation (Approximation einer beliebigen Funktion beliebig gut) und universeller Einbettung (exakte Repräsentation einer Funktion).
Augmentierte Architekturen: Es wird bewiesen, dass augmentierte Neural ODEs (bei denen die Dimension des Phasenraums $m$ die Dimension des Inputs $d$ übersteigt) die Eigenschaft der universellen Einbettung für $C^k$ -Funktionen besitzen, sofern $m \geq d + q$ gilt.
Geometrische Klassifikation: Unter Verwendung der Morse-Theorie klassifiziert die Arbeit skalare Multi-Layer-Perzeptrone (MLPs) und Neural ODEs basierend auf der Existenz und Regularität kritischer Punkte.
- Nicht-augmentierte Architekturen sind auf spezifische Funktionsklassen beschränkt (z. B. streng monotone Funktionen in bestimmten Fällen) und verfügen im Allgemeinen nicht über universelle Approximationsfähigkeiten.
- Augmentierte Architekturen können eine breitere Klasse von Funktionen repräsentieren, einschließlich solcher mit kritischen Punkten.
- Bottleneck-/Degenerierte Architekturen zeigen spezifische Limitationen; beispielsweise können Neural ODEs keine Engpässe (Bottlenecks) in verborgenen Schichten aufweisen, da die Dimensionalität über die Zeit konstant bleibt.
Speicherabhängigkeit: Für Neural DDEs demonstriert die Arbeit, dass die universelle Approximation von der „Speicherkapazität“ (dem Produkt aus der Lipschitz-Konstante $K$ und der Verzögerung $\tau$ ) abhängt. Wenn die Speicherkapazität ausreichend groß ist, können Neural DDEs universelle Einbettung und Approximation erreichen, selbst ohne Erhöhung der Dimension des Phasenraums.

2. Trainingsdynamik und Stabilität

Die Autoren analysieren die Konvergenzeigenschaften von Optimierungsalgorithmen, indem sie diese als dynamische Systeme behandeln.

Überdeterminiert vs. Überparametrisiert:
- In überdeterminierten Settings ($D < qN$) besitzt die Verlustlandschaft typischerweise isolierte Minima. Die Arbeit wendet die Milnor-Stabilität (basend auf dem Lebesgue-Maß des Einzugsbereichs) an, um zu bestimmen, ob ein Minimum erreichbar ist. Die Stabilität ist mit dem Spektralradius der Jacobi-Matrix der Update-Abbildung verknüpft.
- In überparametrisierten Settings ($D > qN$) bildet die Menge der globalen Minima eine kontinuierliche Mannigfaltigkeit (Interpolationslösungen). Die Autoren definieren Stabilität neu, um die Konvergenz zu spezifischen Regionen dieser Mannigfaltigkeit zu charakterisieren.
Edge of Stability (Rand der Stabilität): Die Analyse zeigt, dass das Gradientenverfahren in überparametrisierten Settings zu „flachen“ Minima konvergiert, bei denen die Hesse-Norm die Bedingung $\|Hess L(\theta^*)|_{N(\theta^*)}\| \approx 2/\eta$ erfüllt. Dies liefert eine dynamische Erklärung für das „Edge of Stability“-Phänomen und legt nahe, dass größere Lernraten flachere Minima auswählen, welche heuristisch mit besserer Generalisierung assoziiert werden.
Stochastisches Gradientenverfahren (SGD): Für SGD modellieren die Autoren den Prozess als zufälliges dynamisches System. Sie stellen fest, dass die Stabilität von Interpolationslösungen im überparametrisierten Regime durch den Lyapunov-Exponenten des Produkts zufälliger Jacobi-Matrizen bestimmt wird. Ein negativer Lyapunov-Exponent impliziert lokale Stabilität. Dieses Ergebnis stützt sich auf den Furstenberg-Kesten-Theorem und Annahmen über „reguläre“ Minima (starke Irreduzibilität der erzeugten Semigruppe).

3. Mean-Field-Limits und allgemeine Netzwerkmodelle

Die Arbeit generalisiert die Sichtweise der dynamischen Systeme auf verschiedene Netzwerktypen, einschließlich Boltzmann-Maschinen, Hopfield-Netzwerke, RNNs und Transformer.

Interagierende Partikelsysteme (IPS): Viele Modelle neuronaler Netze werden als Spezialfälle von IPS identifiziert. Die Autoren zeigen, dass diese Systeme via Mean-Field-Limits analysiert werden können.
Heterogene Graphlimits: Ein wesentlicher Beitrag ist die Erweiterung der Mean-Field-Theorie auf heterogene Netzwerke mittels Digraph-Maßen (DGMs). Dieser Rahmen ermöglicht die Ableitung nichtlokaler Vlasov-Fokker-Planck-Gleichungen für große Netzwerke mit komplexen Topologien (z. B. Graphons), was über die einfache All-to-All-Kopplung hinausgeht.
Generative Modelle: Die Arbeit verbindet generative Modelle (GANs, Diffusionsmodelle) mit dynamischen Konzepten. GANs werden als Nullsummenspiele im Kontext der Replikator-Dynamik gerahmt, während Diffusionsmodelle via stochastischer Differentialgleichungen (SDEs) und deren assoziierter Fokker-Planck-Gleichungen analysiert werden. Die Robustheit score-basierter generativer Modelle wird mit der Ausrichtung von Oseledets-Räumen auf die Datenmannigfaltigkeit verknüpft.
Backpropagation als Variationale Gleichung: Die Autoren klären, dass Backpropagation mathematisch äquivalent zum Lösen der variationalen Gleichung eines dynamischen Systems rückwärts in der Zeit ist. Dies rahmt den Algorithmus als klassisches dynamisches Konzept um, das lokale Linearisierung entlang von Trajektorien beinhaltet.

Bedeutung und Ansprüche

Die Arbeit postuliert, dass die Neubetrachtung von KI/ML als dynamisches Problem sowohl natürlich als auch vorteilhaft ist. Ihre primäre Bedeutung liegt in:

Vereinheitlichung: Sie zeigt, dass diverse ML-Architekturen (MLPs, ResNets, Transformer, GANs) und Trainingsmethoden (GD, SGD) unter dem Dach der Theorie dynamischer Systeme stehen, spezifisch als adaptive Netzwerke, IPS oder zufällige dynamische Systeme.
Rigorose Rechtfertigung: Durch die Isolierung spezifischer Aspekte (z. B. Speicherkapazität, Phasenraumdimension, Stabilität von Minima) zeigen die Autoren, dass rigorose analytische Beweise für komplexe ML-Phänomene wie die „Edge of Stability“ und die Rolle des Speichers bei der Approximation möglich sind.
Erklärbarkeit: Die dynamische Perspektive bietet einen Weg, warum bestimmte Algorithmen funktionieren (z. B. warum Augmentierung universelle Einbettung ermöglicht oder warum flache Minima gut generalisieren), indem sie dies mit fundamentalen Eigenschaften wie Spektralradius, Lyapunov-Exponenten und der Geometrie von Mannigfaltigkeiten verknüpft.
Zukünftige Richtungen: Die Autoren legen nahe, dass dieser Rahmen auf fundamentale Probleme wie verschwindende/explodierende Gradienten (interpretiert als multiskalige dynamische Effekte) und die Entwicklung zuverlässiger KI anwendbar ist. Sie merken an, dass die vollständige Verallgemeinerung zwar herausfordernd ist, der dynamische Ansatz jedoch ein leistungsfähiges Toolkit für die theoretische Analyse bietet, das potenziell durch computergestützte Beweise für komplexe nichtlineare Systeme ergänzt werden kann.

Das Werk wird als Beitrag zum DFG-Schwerpunktprogramm SPP2298 „Foundations of Deep Learning“ präsentiert und dient als Bericht darüber, wie Techniken der dynamischen Systeme systematisch angewendet werden können, um die theoretischen Grundlagen des Deep Learning zu verstehen.