Asymptotic behavior of eigenvalues of large rank perturbations of large random matrices

Dieser Artikel entwickelt eine asymptotische Analyse für die Eigenwerte von deformed Wigner-Matrizen mit vollem Rang und einer zunehmenden Anzahl von Ausreißern, um deren Anwendung auf die Spektralanalyse trainierter Deep Neural Networks und damit verbundene Pruning-Techniken zu untermauern.

Das Wesentliche

🧠 Der große Rauschen-Test: Wie KI-Netzwerke ihre Geheimnisse verraten

Stellen Sie sich vor, Sie haben einen riesigen, chaotischen Haufen aus Millionen von kleinen Kugeln. In der Welt der künstlichen Intelligenz (KI) sind diese Kugeln die Gewichte eines neuronalen Netzwerks – also die Zahlen, die bestimmen, wie das Netzwerk lernt und denkt.

Wenn ein solches Netzwerk trainiert ist, sehen diese Zahlen nicht mehr völlig zufällig aus. Sie haben eine Struktur. Die Forscher in diesem Papier wollen herausfinden: Wie sieht diese Struktur aus, wenn das Netzwerk riesig wird?

1. Das Grundproblem: Rauschen vs. Signal

Stellen Sie sich vor, Sie hören ein Konzert in einer vollen Halle.

• Das Rauschen (Der Hintergrund): Das ist das leise Summen der Menge, das Klappern von Stühlen. In der Mathematik nennen wir das die zufällige Komponente ($R$). Es ist unvorhersehbar und überall gleichmäßig verteilt.
• Das Signal (Die Musik): Das ist die eigentliche Melodie, die die Musiker spielen. In der KI ist das die gelernte Information ($S$).

In der Vergangenheit dachten Mathematiker, das Signal sei wie ein einzelner Solist (ein sogenannter "Niedrigrang-Matrix"-Ansatz). Man konnte leicht vorhersagen, wie sich dieser Solist im Rauschen verhält.

Aber die Realität ist anders:
In modernen, tiefen neuronalen Netzen ist das Signal kein einzelner Solist. Es ist wie ein ganzer Chor, der immer größer wird, je mehr Daten das Netzwerk verarbeitet. Die Anzahl der wichtigen Informationen (die "Spitzen" im Datenhaufen) wächst mit der Größe des Netzwerks. Die alten mathematischen Werkzeuge funktionierten hier nicht mehr gut.

2. Die neue Entdeckung: Der "Geister-Chor"

Die Autoren dieses Papiers haben ein neues mathematisches Werkzeug entwickelt, um diesen wachsenden Chor zu analysieren.

Stellen Sie sich vor, Sie werfen einen Stein in einen ruhigen Teich (das ist das zufällige Rauschen).

• Wenn Sie einen kleinen Stein werfen, entstehen kleine Wellen.
• Wenn Sie einen riesigen, komplexen Stein werfen (das ist das große Signal $S$), entstehen große, vorhersehbare Wellenmuster.

Die Forscher haben gezeigt, dass man diese Wellenmuster (die Eigenwerte der Matrix) genau berechnen kann, selbst wenn der "Stein" sehr groß und komplex ist.

Die wichtigste Erkenntnis:
Es gibt eine Art magische Landkarte (eine mathematische Formel namens $\Phi$).

• Wenn Sie wissen, wo ein wichtiger Datenpunkt im "Chor" sitzt (im Signal $S$), können Sie diese Landkarte nehmen und genau vorhersagen, wo er im "Teich" (im verrauschten Netzwerk $W$) landen wird.
• Früher dachte man, das Signal verschwindet im Rauschen oder verändert sich chaotisch. Die Autoren zeigen: Nein, das Signal bleibt sichtbar, aber es wandert zu einer neuen, berechenbaren Position.

3. Warum ist das wichtig für die KI? (Das "Beschneiden")

Ein großes Problem bei KI ist, dass die Modelle zu groß und zu langsam für Handys oder kleine Geräte sind. Man muss sie "beschneiden" (Pruning). Das bedeutet: Man schaltet die unwichtigen Verbindungen aus.

• Der alte Weg: Man schneidet alles ab, was unter einer bestimmten Lautstärke liegt (basierend auf einer alten Theorie, der Marchenko-Pastur-Verteilung). Das funktioniert gut, wenn das Signal wie ein einzelner Solist klingt.
• Das neue Problem: Da das Signal in modernen Netzen wie ein wachsender Chor ist, schneidet der alte Weg manchmal wichtige Informationen weg oder lässt zu viel Rauschen übrig.

Die Lösung dieser Arbeit:
Mit den neuen Formeln können wir jetzt genau sagen: "Okay, dieser Teil des Chors ist wichtig, auch wenn er im Rauschen unterzugehen scheint." Das ermöglicht es Ingenieuren, KI-Modelle viel effizienter zu beschneiden, ohne dass die Intelligenz des Netzwerks leidet. Man kann die "wahren" Noten vom "Rauschen" trennen, selbst wenn der Chor sehr groß ist.

4. Zusammenfassung in einer Metapher

Stellen Sie sich vor, Sie versuchen, die Gesichter von 10.000 Menschen auf einem riesigen, nebligen Foto zu erkennen.

• Frühere Theorien sagten: "Suche nur nach den 5 hellsten Gesichtern. Alles andere ist nur Nebel."
• Diese neue Arbeit sagt: "Der Nebel ist nicht einfach nur Nebel. Die 10.000 Gesichter haben eine eigene, klare Struktur im Nebel. Wenn wir die richtige Brille (die neue Mathematik) aufsetzen, können wir sehen, wie sich diese Gesichter im Nebel bewegen und wo sie genau stehen, selbst wenn sie nicht die hellsten sind."

Fazit

Dieses Papier ist wie ein neuer Kompass für die Mathematik hinter der KI. Es hilft uns zu verstehen, wie riesige, komplexe Datenmengen in neuronalen Netzen funktionieren. Es beweist, dass wir selbst bei sehr großen und chaotischen Systemen die wichtigen Muster finden und vorhersagen können. Das ist ein großer Schritt hin zu schnelleren, effizienteren und intelligenteren KI-Systemen, die wir in unserem Alltag nutzen können.

Technische Zusammenfassung

Titel: Asymptotisches Verhalten von Eigenwerten großer Rang-Störungen großer Zufallsmatrizen

Autoren: Ievgenii Afanasiev, Leonid Berlyand, Mariia Kiyashko
Datum: 20. April 2026

---

1. Problemstellung und Motivation

Das Paper befasst sich mit der spektralen Analyse von verzerrten Wigner-Zufallsmatrizen der Form:
$$W = \frac{1}{\sqrt{N}}R + S$$
wobei $R$ eine symmetrische Zufallsmatrix (Wigner-Ensemble) mit unabhängigen, identisch verteilten (i.i.d.) Einträgen ist und $S$ eine reelle, symmetrische, deterministische Matrix (oder stark korrelierte Zufallsmatrix) darstellt.

Kontext in Deep Learning:
Die Motivation stammt aus der Analyse von Gewichtsmatrizen trainierter Deep Neural Networks (DNNs). Es wurde gezeigt, dass diese Matrizen oft als Summe aus einem zufälligen Rauschteil und einem hochkorrelierten "Signal"-Teil modelliert werden können.

• Herausforderung: Bisherige theoretische Ergebnisse zur Pruning (Beschneiden) von neuronalen Netzen basierten oft auf der Annahme, dass die Signal-Matrix $S$ einen niedrigen Rang hat (d.h. nur eine feste, kleine Anzahl von "Spikes" oder Ausreißer-Eigenwerten besitzt).
• Realitätsbezug: Numerische Simulationen echter DNNs zeigen jedoch, dass die Anzahl der signifikanten Eigenwerte (Ausreißer) in $S$ mit der Matrixgröße $N$ wächst. Das Vorhandensein einer vollrangigen Störung mit einer wachsenden Anzahl von Ausreißern ($r(N) \to \infty$) war bisher theoretisch nicht vollständig abgedeckt, insbesondere wenn die Grundverteilung $\nu_0$ nicht trivial ist.

Das Ziel ist es, eine asymptotische Analyse für den Fall zu entwickeln, in dem $S$ eine vollrangige Störung mit einer Anzahl von Ausreißern $r(N)$ darstellt, die gegen Unendlich strebt, aber $o(N)$ ist.

---

2. Methodik und Annahmen

Die Autoren verwenden die Theorie der Zufallsmatrizen (RMT), insbesondere die Analyse der Stieltjes-Transformation der empirischen Spektralverteilung (ESD).

Wichtige Annahmen:

1. Konvergenz der ESD von $S$: Die ESD $\nu$ von $S$ konvergiert schwach gegen eine Maß $\nu_0$.
2. Wachsende Anzahl von Ausreißern: Es gibt $r(N)$ Eigenwerte von $S$ außerhalb des Trägers von $\nu_0$ (dem "Bulk"). Es gilt $r(N) \to \infty$ und $r(N) = o(N)$.
3. Asymptotik der Ausreißer: Das Maß $N/r (\nu - \nu_0)$ konvergiert schwach gegen ein signiertes Maß $\nu_1$. Dies beschreibt das asymptotische Verhalten der Ausreißer.

Technischer Ansatz:

• Stieltjes-Transformation: Die Analyse basiert auf der Gleichung für die Stieltjes-Transformation $g_\mu(z)$ der ESD von $W$. Für den Limes $N \to \infty$ gilt die Pastur-Gleichung: $g_{\mu_0}(z) = g_{\nu_0}(\omega_{\mu_0}(z))$ mit $\omega_{\tau}(z) = z + \sigma^2 g_\tau(z)$.
• Fehlerabschätzung: Ein zentraler Schritt ist die Herleitung einer prä-limitierenden Gleichung für die Stieltjes-Transformation mit einem Fehlerterm der Ordnung $O(N^{-1})$. Dies wird durch eine Interpolation zwischen einer Gaußschen Matrix (GOE) und der allgemeinen Wigner-Matrix erreicht (Pfad-Integration über einen Parameter $t$).
• Lineare Störungstheorie: Durch Entwicklung der Gleichungen um den Limes $\mu_0$ und $\nu_0$ wird das Verhalten der Abweichungen (die Ausreißer) analysiert.

---

3. Hauptergebnisse

Das Paper liefert zwei zentrale Sätze:

Satz 2.1: Konvergenz der Verteilung der Ausreißer

Es wird bewiesen, dass das skalierte signierte Maß der Eigenwerte außerhalb des Bulk, definiert als $\tilde{\mu}_1 = \frac{N}{r}(\mu - \mu_0)$, schwach gegen ein nicht-zufälliges Maß $\mu_1$ konvergiert.

• Die Stieltjes-Transformation des Grenzmaßes $\mu_1$ hängt direkt mit der von $\nu_1$ zusammen:
  $$g_{\mu_1}(z) = g_{\nu_1}(\omega_{\mu_0}(z)) \cdot \omega'_{\mu_0}(z)$$
• Dies impliziert, dass die Verteilung der Ausreißer von $W$ eine Transformation der Verteilung der Ausreißer von $S$ ist, vermittelt durch die Funktion $\omega_{\mu_0}$.

Satz 2.2: Asymptotisches Verhalten einzelner Ausreißer

Dieser Satz beschreibt das Verhalten der einzelnen Eigenwerte $\lambda_j(W)$ für $j \le r(N)$.

• Unter geeigneten Regularitätsbedingungen konvergieren die Ausreißer von $W$ fast sicher gegen die transformierten Ausreißer von $S$:
  $$\lambda_j(W) - \Phi(\lambda_j(S)) \xrightarrow{P} 0 \quad \text{für } N \to \infty$$
• Hier ist $\Phi(z) = z - \sigma^2 g_{\nu_0}(z)$ die inverse Funktion zu $\omega_{\mu_0}$ auf dem relevanten Bereich.
• Interpretation: Selbst wenn die Anzahl der Ausreißer mit $N$ wächst, bleibt die Beziehung zwischen einem Ausreißer von $S$ und dem entsprechenden Ausreißer von $W$ deterministisch und durch die Funktion $\Phi$ gegeben. Dies verallgemeinert frühere Ergebnisse (z.B. von P´ech´e oder Capitaine), die nur für festes $r$ oder $\nu_0 = \delta_0$ galten.

---

4. Bedeutung und Anwendungen

1. Brücke zwischen Theorie und Praxis: Die Ergebnisse schließen die Lücke zwischen rigorosen mathematischen Beweisen (die oft niedrigen Rang voraussetzen) und numerischen Beobachtungen in echten Deep Learning-Modellen, wo die "Signal"-Komponente oft eine komplexe, wachsende Struktur aufweist.
2. Verbesserung von Pruning-Algorithmen: Die Arbeit liefert die theoretische Grundlage für fortgeschrittene Pruning-Techniken (wie Marchenko-Pastur Pruning). Das Verständnis, wie sich eine große Anzahl von Ausreißern in $S$ auf das Spektrum von $W$ auswirkt, ermöglicht präzisere Schwellenwerte zum Entfernen von Gewichten, ohne die Leistung des Netzwerks zu beeinträchtigen.
3. Mathematische Verallgemeinerung: Der Ansatz behandelt den Fall, dass $\nu_0$ eine allgemeine Verteilung ist (nicht nur ein Delta-Maß bei 0) und gleichzeitig $r(N) \to \infty$. Dies erweitert den Gültigkeitsbereich der RMT in der Analyse von hochdimensionalen, strukturierten Daten signifikant.
4. Numerische Validierung: Die Autoren stützen ihre Theorie durch Simulationen auf dem Fashion-MNIST-Dataset, die zeigen, dass die Anzahl der Ausreißer in den Gewichtsmatrizen von DNNs tatsächlich mit der Netzgröße skaliert, was die Relevanz der neuen theoretischen Ergebnisse unterstreicht.

Fazit

Dieses Paper stellt einen wichtigen Fortschritt in der Theorie der verzerrten Zufallsmatrizen dar. Es liefert rigorose Werkzeuge, um das Spektrum von Matrizen zu analysieren, die aus einem Rauschteil und einer komplexen, hochrangigen Signalstruktur bestehen. Dies ist von zentraler Bedeutung für das theoretische Verständnis und die Optimierung moderner Deep-Learning-Architekturen.