🤖 machine learning

How Long Does Infinite Width Last? Signal Propagation in Long-Range Linear Recurrences

Dieser Artikel leitet exakte Formeln für endliche Breiten zur Signalpropagation in linearen rekurrenten Modellen ab, um drei unterschiedliche Skalierungsregime für Tiefe und Breite zu identifizieren, wobei sich zeigt, dass sich Effekte endlicher Breiten mit der Tiefe schneller akkumulieren als in feedforward-Netzwerken und die Approximation unendlicher Breiten zusammenbricht, sobald die rekurrente Tiefe die Größenordnung von $\sqrt{n}$ überschreitet.

Ursprüngliche Autoren: Mariia Seleznova

Veröffentlicht 2026-05-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mariia Seleznova

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage: Wie groß ist „groß genug"?

Stellen Sie sich vor, Sie versuchen, das Wetter vorherzusagen. Um eine perfekte Vorhersage zu erhalten, könnten Sie sich eine Welt vorstellen, in der Sie eine unendliche Anzahl von Sensoren haben, die jedes einzelne Luftmolekül messen. In dieser „unendlichen" Welt ist die Mathematik sauber, vorhersehbar und leicht zu lösen. Dies nennen Wissenschaftler den Grenzwert unendlicher Breite.

Lange Zeit haben Forscher, die neuronale Netze (KI-Gehirne) untersuchen, auf diese Idee des „unendlichen Sensors" zurückgegriffen. Sie gehen davon aus, dass ein Netzwerk, das breit genug ist (also genügend Neuronen hat), sich genau wie dieses perfekte, unendliche Modell verhält.

Das Problem: Reale KI-Modelle sind nicht unendlich. Sie haben eine endliche Anzahl von Neuronen. Das Paper stellt eine einfache, aber entscheidende Frage: Wie tief kann ein rekurrentes neuronales Netz gehen, bevor die „unendliche" Mathematik aufhört zu funktionieren und die „reale, endliche" Mathematik übernimmt?

Der Aufbau: Der hallende Flur

Um das Paper zu verstehen, müssen wir uns eine bestimmte Art von KI ansehen, die als Lineare Rekurrente Einheit (LRU) bezeichnet wird.

Die Analogie: Stellen Sie sich einen langen Flur vor, an einem Ende ein Mikrofon und am anderen ein Lautsprecher. Sie flüstern einen Sound (die Eingabe). Der Lautsprecher spielt ihn ab, das Mikrofon nimmt ihn auf, verstärkt ihn leicht und spielt ihn erneut ab. Dies geschieht immer wieder.
Die Tiefe ( $t$ ): Dies ist die Anzahl der Male, die der Sound durch den Flur läuft.
Die Breite ( $n$ ): Dies ist die Anzahl der Mikrofone und Lautsprecher im Raum. Ein „breiter" Raum hat Tausende davon; ein „schmaler" Raum nur wenige.

In der „unendlichen" Welt (Tausende von Mikrofonen) verhält sich der Sound perfekt vorhersehbar. Aber in einer „endlichen" Welt (ein kleiner Raum) prallen die Schallwellen von den Wänden ab, interferieren miteinander und erzeugen seltsame Echos. Das Paper untersucht genau, wann diese seltsamen Echos beginnen, die Vorhersage zu ruinieren.

Die drei Zonen der Signalpropagation

Die Autoren entdeckten, dass sich das Verhalten des Signals (des Sounds) je nach Beziehung zwischen der Tiefe (wie viele Schleifen) und der Breite (wie viele Neuronen) ändert. Sie fanden drei unterschiedliche Zonen:

1. Die sichere Zone (subkritischer Regime)

Die Regel: Wenn die Anzahl der Schleifen klein ist im Vergleich zur Quadratwurzel der Anzahl der Neuronen ( $t \ll \sqrt{n}$ ).
Was passiert: Das Signal verhält sich exakt so, wie die „unendliche" Theorie vorhersagt. Es ist stabil. Die „unendliche" Mathematik ist immer noch eine perfekte Beschreibung der Realität.
Die Metapher: Sie gehen durch ein riesiges, leeres Stadion. Selbst wenn Sie ein paar Mal schreien, hallt der Sound nicht seltsam, weil das Stadion so riesig ist. Das „unendliche" Modell funktioniert hier perfekt.

2. Der Wendepunkt (kritischer Regime)

Die Regel: Wenn die Anzahl der Schleifen nahe an die Quadratwurzel der Anzahl der Neuronen herankommt ( $t \approx \sqrt{n}$ ).
Was passiert: Dies ist der Moment, in dem die „unendliche" Mathematik zusammenbricht. Das Signal beginnt zu wachsen oder sich auf Weise zu verändern, die die alte Theorie nicht vorhergesagt hat. Die Signalenergie beginnt sich signifikant zu verstärken.
Die Metapher: Sie befinden sich nun in einem kleineren, vollen Raum. Sie schreien ein paar Mal, und plötzlich beginnen die Echos sich aufzubauen. Der Sound wird lauter und lauter, nicht weil Sie lauter geschrien haben, sondern weil der Raum genau die richtige Größe hat, damit sich die Echos aufstauen. Das „unendliche" Modell sagt, der Sound sollte ruhig bleiben, aber in Wirklichkeit wird es chaotisch.

3. Die Explosionszone (superkritischer Regime)

Die Regel: Wenn die Anzahl der Schleifen viel größer ist als die Quadratwurzel der Neuronen ( $t \gg \sqrt{n}$ ).
Was passiert: Das Signal wird wild. Es wächst exponentiell. Die „unendliche" Theorie ist hier völlig nutzlos.
Die Metapher: Sie befinden sich in einem winzigen, engen Schrank. Sie schreien einmal, und der Sound prallt so schnell und so hart zurück, dass er ein betäubendes Brüllen erzeugt. Das Signal explodiert.

Die große Entdeckung: Rekurrent vs. Feedforward

Das Paper stellt einen überraschenden Vergleich zwischen rekurrenten Netzen (dem hallenden Flur) und Feedforward-Netzen (einer geraden Linie von Menschen, die einen Ball weitergeben) an.

In einer geraden Linie (Feedforward): Sie können den Ball durch eine riesige Anzahl von Menschen weitergeben, bevor die „endlichen" Effekte (wie ein fallengelassener Ball) zu einem Problem werden. Die „unendliche" Mathematik funktioniert lange Zeit.
In einer Schleife (Rekurrent): Da dieselbe Gewichtsmatrix (dieselbe Regelmenge) immer wieder verwendet wird, häufen sich die Fehler und Effekte der endlichen Breite viel schneller an.

Die zentrale Erkenntnis: Das Paper beweist, dass bei rekurrenten Netzen die „unendliche" Mathematik aufhört zu funktionieren, wenn die Tiefe die Quadratwurzel der Breite erreicht ( $\sqrt{n}$ ). Bei anderen Netztypen dauert es viel länger (proportional zur vollen Breite $n$ ), bis dies geschieht.

Warum dies für das KI-Design wichtig ist

Das Paper betrachtet speziell die Glorot-Initialisierung, eine Standardmethode zum Festlegen der Startwerte in einem neuronalen Netz.

Der alte Glaube: Basierend auf der „unendlichen" Theorie sollte die Glorot-Initialisierung Signale für immer stabil halten, egal wie lang die Sequenz ist.
Die neue Realität: Das Paper zeigt, dass bei rekurrenten Modellen mit langer Reichweite die Glorot-Initialisierung instabil wird, sobald die Sequenz lang genug ist, um diesen „kritischen Regime" ( $\sqrt{n}$ ) zu erreichen. Das Signal wird explodieren und dazu führen, dass die KI versagt.

Zusammenfassung in einem Satz

Dieses Paper beweist, dass bei KI-Modellen mit Schleifen die „perfekte unendliche" Mathematik, auf die wir uns verlassen, viel früher aufhört zu funktionieren als gedacht – nämlich genau dann, wenn die Sequenzlänge die Quadratwurzel der Netzgröße erreicht –, was dazu führt, dass Signale explodieren und wir überdenken müssen, wie wir diese Modelle bauen.

Technische Zusammenfassung: Signalpropagation in langreichweitigen linearen Rekurrenzen

Problemstellung

Das Verständnis der Signalpropagation in neuronalen Netzen ist grundlegend für die Bewältigung des Problems des verschwindenden/explodierenden Signals, das das Training tiefer Architekturen behindert. Während bestehende theoretische Rahmenwerke stark auf dem Grenzwert unendlicher Breite ( $n \to \infty$ ) basieren, in dem Mittelwert-Feld-Näherungen handhabbare Signalstatistiken liefern, versagen diese Theorien oft darin, das Verhalten realistischer Netze zu erfassen, die mit endlicher Breite operieren.

Diese Lücke ist besonders akut für rekurrente Modelle (wie Lineare Rekurrente Einheiten und State-Space-Modelle), die für Aufgaben mit langen Sequenzen entwickelt wurden. In diesen Modellen wird dieselbe Gewichtsmatrix $W$ über die Zeitschritte $t$ wiederholt angewendet. Die zentrale Frage lautet: Wie lange bleibt die Approximation unendlicher Breite genau, wenn die rekurrente Tiefe $t$ gemeinsam mit der Breite $n$ wächst? Spezifisch: Bei welcher Tiefenskala akkumulieren sich Effekte endlicher Breite ausreichend, um Standard-Initialisierungsschemata (z. B. Glorot) und Vorhersagen unendlicher Breite zu entkräften?

Methodik

Der Artikel analysiert lineare rekurrente Modelle, initialisiert mit i.i.d. korrekten komplexen Gaußschen Einträgen mit Varianz $1/n$ . Die betrachteten Modelle sind:

Lineare Rekurrente Einheit (LRU): $h^{(t)} = Wh^{(t-1)} + x^{(t)}$
Lineares Rekurrentes Netz (RNN): $h^{(t)} = Wh^{(t-1)}$ (ohne sequenzielle Eingaben, $h^{(t)} = W^t x^{(0)}$ )

Die Autoren definieren Signalenergien als die normalisierten erwarteten quadratischen Normen der versteckten Zustände:
$S_{n,t} = \frac{1}{n}\mathbb{E}[\|h^{(t)}_{LRU}\|^2], \quad Q_{n,k} = \frac{1}{n}\mathbb{E}[\|h^{(k)}_{RNN}\|^2]$

Theoretische Herleitung

Um exakte Formeln für endliche Breite abzuleiten, verwenden die Autoren eine Kombination aus Zufallsmatrixtheorie und kombinatorischer Analyse:

Reduktion der Spur-Momente: Die Signalenergien werden auf die Auswertung des Spur-Moments endlicher Breite $\frac{1}{n}\mathbb{E}[\text{tr}((W^k)^* W^k)]$ reduziert.
Wick-Entwicklung: Unter Verwendung des Wick-Theorems für komplexe Gaußsche Variablen wird das Spur-Moment in eine Summe über Permutationen $\sigma \in S_k$ entwickelt.
Kombinatorische Zählung: Der Beitrag jeder Permutation wird durch die Anzahl der „freien Indizes" (unbeschränkte Äquivalenzklassen) nach Anwendung der Kronecker-Delta-Constraints bestimmt. Diese Anzahl entspricht exakt der Anzahl der Zyklen in einem spezifischen Kommutator von Permutationen, $[\tau^{-1}, \tilde{\sigma}^{-1}]$ , wobei $\tau$ ein langer Zyklus ist.
Exakte Formeln: Unter Ausnutzung bekannter Ergebnisse zur Zyklenzahl zufälliger Permutationen (insbesondere im Zusammenhang mit Hultman-Zahlen und der Arbeit von Dubach) leiten die Autoren exakte geschlossene Ausdrücke für $S_{n,t}$ und $Q_{n,k}$ her, die aufsteigende und absteigende Fakultäten beinhalten.

Hauptbeiträge

1. Exakte Formeln für endliche Breite

Der Artikel liefert die ersten exakten geschlossenen Formeln für die Signalpropagation in linearen Rekurrenzen endlicher Breite mit komplexer Gaußscher Initialisierung. Diese Formeln (Theorem 2.1) gelten für beliebige gemeinsame Skalierungen von Tiefe und Breite und gehen über den Standard-Grenzwert unendlicher Breite hinaus.

2. Identifikation von drei Skalierungsregimen

Unter Verwendung der exakten Formeln charakterisieren die Autoren drei verschiedene Regime, die die Signalpropagation basierend auf dem Verhältnis zwischen Tiefe ( $t$ oder $k$ ) und Breite ( $n$ ) steuern:

Subkritisches Regime ( $t, k = o(\sqrt{n})$ ):
- Die Approximation unendlicher Breite bleibt genau.
- Die Signalenergien verhalten sich wie $Q_{n,k} \to 1$ und $S_{n,t} \sim t+1$ .
- Die Standard-Glorot-Initialisierung bleibt stabil.
- Rekurrente und vorwärtsgewandte Signalpropagation sind in diesem Regime asymptotisch ununterscheidbar.
Kritisches Regime ( $t, k \sim c\sqrt{n}$ ):
- Nicht zu vernachlässigende Abweichungen von Vorhersagen unendlicher Breite treten auf.
- Ein nichttrivialer gemeinsamer Skalierungsgrenzwert erscheint.
- Für RNNs: $Q_{n,k} \to \frac{2}{c^2}\sinh(\frac{c^2}{2})$ .
- Für LRUs: $S_{n,t} \sim \sqrt{n} \int_0^{\tilde{c}} \frac{2}{x^2}\sinh(\frac{x^2}{2}) dx$ , was mit dem Skalierungsparameter exponentiell wächst.
- Bedeutung: Dies identifiziert $\sqrt{n}$ als die präzise Schwelle, bei der die Glorot-Initialisierung in langreichweitigen linearen Rekurrenzen instabil wird.
Superkritisches Regime ( $t, k \gg \sqrt{n}$ ):
- Effekte endlicher Breite dominieren und führen zur Signal-Explosion.
- Im sublinearen Bereich ( $\sqrt{n} \ll t \ll n$ ) wird das Signalwachstum exponentiell in der Tiefe: $S_{n,t} \sim \frac{n^2}{t^3} \exp(\frac{t^2}{2n})$ .
- Es existiert kein endlicher gemeinsamer Skalierungsgrenzwert; Signale divergieren rasch.

3. Unterscheidung zwischen rekurrenten und vorwärtsgewandten Architekturen

Der Artikel zeigt, dass sich Effekte endlicher Breite in rekurrenten Modellen viel schneller akkumulieren als in vorwärtsgewandten Netzen.

In vorwärtsgewandten Netzen werden Korrekturen endlicher Breite signifikant, wenn die Tiefe linear mit der Breite skaliert ( $L \sim cn$ ).
In rekurrenten Netzen werden diese Effekte bereits bei der Quadratwurzel-Skala sichtbar ( $t \sim c\sqrt{n}$ ).
Dies erklärt, warum rekurrente Modelle empirisch anfälliger für Instabilität sind als vorwärtsgewandte Modelle, ein Unterschied, der für Standardtheorien unendlicher Breite unsichtbar ist.

Ergebnisse und Validierung

Theoretische Grenzen: Die hergeleiteten Formeln quantifizieren präzise den Zusammenbruch der Approximation unendlicher Breite. Sie zeigen, dass Standard-Initialisierungsschemata, obwohl im Sinne unendlicher Breite stabil, versagen, Signale zu stabilisieren, sobald die rekurrente Tiefe die $\sqrt{n}$ -Skala überschreitet.
Reelle vs. komplexe Gewichte: Während die Hauptergebnisse für komplexe Gewichte (häufig in modernen SSMs) hergeleitet wurden, stellt der Artikel fest, dass reelle Gaußsche Gewichte noch größere Signalenergien aufweisen ( $Q^R_{n,k} \ge Q_{n,k}$ ), was impliziert, dass die für komplexe Gewichte abgeleiteten Instabilitätsschwellen auch für reelle Gewichte gelten (und konservativ sind).
Numerische Validierung: Monte-Carlo-Experimente bestätigen die theoretischen Vorhersagen. Die empirischen Signalenergien stimmen über verschiedene Breiten und Tiefen hinweg eng mit den abgeleiteten kritischen Profilen überein (z. B. der $\sinh$ -Funktion im kritischen Regime).

Bedeutung und Behauptungen

Der Artikel behauptet, eine scharfe Antwort auf die Frage zu liefern, wie lange die Approximation unendlicher Breite in rekurrenten Modellen anhält. Seine Hauptbeiträge sind:

Präzises Bestimmen der Zusammenbruch-Skala: Es wird festgestellt, dass die Theorie unendlicher Breite bei $t \sim \sqrt{n}$ zusammenbricht, einer Skala, die signifikant kleiner ist als die für vorwärtsgewandte Netze relevante Skala $t \sim n$ .
Erklärung empirischer Instabilität: Es bietet eine theoretische Erklärung dafür, warum Standard-Initialisierung (Glorot) in modernen langreichweitigen linearen Rekurrenzen (wie LRUs und SSMs) instabil ist, was die in der Praxis beobachteten Neuskalierungsstrategien notwendig macht.
Qualitativer Unterschied: Es hebt einen fundamentalen qualitativen Unterschied in der Signalpropagation zwischen rekurrenten und vorwärtsgewandten Architekturen hervor, der durch die wiederholte Anwendung derselben Gewichtsmatrix getrieben wird.

Die Autoren weisen darauf hin, dass ihre Ergebnisse spezifisch für lineare Rekurrenzen mit zufälliger Initialisierung sind. Sie erkennen an, dass die Erweiterung dieser Erkenntnisse auf nichtlineare Aktivierungen, strukturierte nicht-Gaußsche Initialisierungen (häufig in State-of-the-Art-Modellen) und die Trainingsdynamik (Feature-Learning-Regime) eine offene Richtung für zukünftige Arbeiten bleibt.