Asymptotic behavior of eigenvalues of large rank perturbations of large random matrices

Dit artikel ontwikkelt een asymptotische analyse voor de eigenwaarden van grote, volledig rangige perturbaties van Wigner-matrices, wat relevant is voor het begrijpen van het spectrum van getrainde Deep Neural Networks en het onderbouwen van nieuwe pruning-technieken.

De kern

De Wiskunde van de "Grote Chaos": Hoe AI-netwerken worden ontrafeld

Stel je voor dat je een enorm, ingewikkeld machineleer-model (een Deep Neural Network) hebt. Dit is als een gigantisch brein van duizenden knoppen en draden dat foto's herkent of teksten vertaalt. Om dit brein te laten werken, heeft het "gewichtsmatrices" nodig: enorme tabellen met getallen die bepalen hoe sterk de verbindingen tussen de neuronen zijn.

De auteurs van dit paper, Ievgenii, Leonid en Mariia, kijken naar wat er gebeurt met deze getallen als het netwerk heel groot wordt. Ze gebruiken een tak van de wiskunde genaamd Random Matrix Theory (Theorie van Willekeurige Matrices).

1. Het Probleem: Ruis versus Signaal

In de echte wereld zijn de gewichten in een AI-netwerk niet helemaal willekeurig. Ze zijn getraind. Je kunt je de matrix voorstellen als een mengsel van twee dingen:

• De Ruis (R): Dit is het willekeurige, statische geluid. In de wiskunde is dit een "Wigner-matrix". Het is als het ruisende geluid van een drukke markt.
• Het Signaal (S): Dit is de nuttige informatie die het netwerk heeft geleerd. In de oude theorie dachten wetenschappers dat dit signaal een klein, simpel patroon was (een "laag-rang" matrix), alsof er maar een paar specifieke regels in het brein zaten.

De ontdekking: Als ze kijken naar echte, getrainde AI-modellen, zien ze dat het "signaal" niet zo simpel is. Het is niet alleen een paar regels; het is een complexe structuur met veel belangrijke patronen die groter worden naarmate het netwerk groter wordt. Het is alsof je dacht dat er maar één zanger in een orkest was, maar je ontdekt dat er eigenlijk honderden zangers zijn die allemaal iets anders zingen.

2. De Analogie: De Orkestzaal

Laten we de wiskunde vertalen naar een orkestzaal:

• De Matrices (W): Dit is het totale geluid dat je hoort.
• De Eigenwaarden: Stel je voor dat elke "toon" in het geluid een eigenwaarde is. Sommige tonen zijn heel zacht (ze horen bij de "ruis" of de achtergrond), en sommige zijn hard en duidelijk (de "spikes" of uitschieters).
• De "Bulk" (De massa): De meeste tonen vormen een dichte massa, een soort wolk van geluid. Dit is de "bulk". In de wiskunde heet dit de Marchenko-Pastur-verdeling. Het is als het gebrul van de menigte.
• De "Spikes" (Uitschieters): Dit zijn de tonen die duidelijk boven de menigte uitsteken. In een AI-netwerk vertegenwoordigen deze de belangrijke patronen die het netwerk heeft geleerd.

Het oude idee: Wetenschappers dachten dat er maar een paar "spikes" waren (bijvoorbeeld 5 of 10), ongeacht hoe groot het orkest was.
Het nieuwe idee van dit paper: In moderne AI's groeit het aantal "spikes" mee met de grootte van het netwerk. Er zijn steeds meer belangrijke patronen. Het is alsof het orkest steeds groter wordt en er steeds meer solisten zijn die boven de menigte uitsteken.

3. Wat hebben ze ontdekt?

De auteurs hebben een nieuwe wiskundige formule ontwikkeld om te voorspellen waar deze "spikes" precies zullen zitten als het netwerk enorm groot wordt.

• De Magische Formule (Φ): Ze hebben een soort "vertaalformule" gevonden. Als je weet hoe de "spikes" van het signaal (S) eruitzien, kun je met deze formule precies berekenen hoe ze eruitzien in het totale geluid (W), zelfs als er veel ruis bij komt.
• De "Golf" (ω): Ze gebruiken een functie die je kunt vergelijken met een golfbeweging. De ruis (R) duwt de signalen (S) een beetje opzij. De formule vertelt je precies hoe ver ze opgeschoven worden.

4. Waarom is dit belangrijk? (Het "Pruning" Verhaal)

In de AI-wereld willen we vaak "pruning" toepassen. Dat betekent: we snijden de onbelangrijke verbindingen weg om het netwerk kleiner en sneller te maken, zonder dat het zijn intelligentie verliest.

• Hoe werkt het nu? Vaak kijken we naar de "spikes". Als een getal (een gewicht) kleiner is dan een bepaalde drempel (de rand van de ruis), snijden we het weg.
• Het risico: Als je de oude theorie gebruikt (die uitgaat van maar een paar spikes), en je snijdt weg op basis van die theorie, kun je per ongeluk belangrijke informatie verwijderen in een groot, modern netwerk. Je zou kunnen denken dat iets "ruis" is, terwijl het eigenlijk een belangrijk "spike" is dat net iets anders gedraagt dan verwacht.
• De oplossing: Met de nieuwe formules van dit paper kunnen ingenieurs precies zien waar de grens ligt tussen "belangrijk signaal" en "ruis", zelfs als er duizenden signalen zijn. Dit zorgt voor veiligere en efficiëntere AI-modellen.

Samenvatting in één zin

Dit paper laat zien dat moderne AI-netwerken niet bestaan uit een paar simpele regels en veel ruis, maar uit een complexe wolk van duizenden belangrijke patronen, en de auteurs hebben de wiskundige "GPS" gevonden om precies te weten welke patronen we moeten bewaren en welke we kunnen weggooien.

Kortom: Ze hebben de kaart getekend voor de "ruis" in een gigantisch AI-brein, zodat we de echte "geniale gedachten" eruit kunnen halen zonder de rest te beschadigen.

Technische samenvatting

Titel: Asymptotisch gedrag van eigenwaarden van grote rang-perturbaties van grote willekeurige matrices

Auteurs: Ievgenii Afanasiev, Leonid Berlyand, Mariia Kiyashko
Datum: 20 april 2026 (voorgesteld)

---

1. Probleemstelling en Context

Het paper richt zich op de analyse van vervormde Wigner-matrices van de vorm:
$$W = \frac{1}{\sqrt{N}}R + S$$
waarbij:

• $R$ een $N \times N$ reële symmetrische matrix is met onafhankelijke, identiek verdeelde (i.i.d.) elementen met gemiddelde 0 en variantie $\sigma^2$.
• $S$ een reële symmetrische, niet-willekeurige (deterministische) matrix is die een "signaal" of correlatie vertegenwoordigt.

Motivatie:
Deze matrices zijn cruciaal voor het begrijpen van de spectrale eigenschappen van gewichtsmatrices in Deep Neural Networks (DNN's). Hoewel eerdere theorieën (zoals die van Martin en Mahoney) aannamen dat het signaal $S$ een laag-rang structuur heeft (met een vast, klein aantal niet-nul eigenwaarden), tonen numerieke simulaties aan dat in getrainde DNN's het aantal "spikes" (uitbijters in het spectrum) vaak groeit met de matrixgrootte $N$.

Het bestaande theoretische raamwerk kon dit fenomeen niet volledig verklaren, omdat het ofwel uitging van een vast aantal spikes (onafhankelijk van $N$) of van een specifieke bulk-verdeling (delta-maat in 0). Dit paper vult deze kloof door het geval te analyseren waarbij $S$ een volledige rang heeft met een groeidend aantal uitbijters ($r(N) \to \infty$ maar $r(N) = o(N)$).

2. Methodologie

De auteurs gebruiken technieken uit de Random Matrix Theory (RMT), specifiek gebaseerd op de Stieltjes-transformatie en resolventen-analyse.

Kernstappen in de methode:

1. Stieltjes-transformatie en Resolventen:
   De auteurs analyseren de Stieltjes-transformatie $g_\mu(z)$ van de Empirische Spectrale Distributie (ESD) van $W$. Ze leiden een voor-limiet vergelijking af die de relatie beschrijft tussen de ESD van $W$ en die van $S$.
2. Foutterm-analyse:
   Ze bewijzen dat de foutterm in de vergelijking voor de verwachte Stieltjes-transformatie van orde $O(N^{-1})$ is. Dit wordt gedaan door eerst het geval van een verstoord Gaussisch Orthogonaal Ensemble (GOE) te behandelen en vervolgens via een interpolatie-argument (parametriseerde familie $W(t)$) het resultaat uit te breiden naar algemene Wigner-matrices.
3. Assumpties over $S$:
   • De ESD van $S$ convergeert zwak naar een maat $\nu_0$.
   • Er zijn $r(N)$ eigenwaarden van $S$ buiten de drager van $\nu_0$ (de "bulk").
   • $r(N) \to \infty$ en $r(N)/N \to 0$.
   • De verdeling van de uitbijters convergeert naar een maat $\nu_1$ (waarbij $N/r (\nu - \nu_0) \to \nu_1$).
4. Functie $\Phi$ en $\omega$:
   Er wordt gebruik gemaakt van de functies:
   • $\omega_\tau(z) = z + \sigma^2 g_\tau(z)$
   • $\Phi(z) = z - \sigma^2 g_{\nu_0}(z)$
     Deze functies koppelen de limietverdeling van de bulk en de positie van de uitbijters.

3. Belangrijkste Resultaten

Het paper presenteert twee hoofdstellingen die de asymptotische gedrag van de eigenwaarden beschrijven.

Stelling 2.1: De limietverdeling van uitbijters
De auteurs bewijzen dat de genormaliseerde maat van de uitbijters, $N/r (\mu - \mu_0)$, zwak convergeert naar een niet-willekeurige maat $\mu_1$.
De Stieltjes-transformatie van deze limietmaat $\mu_1$ wordt gegeven door:
$$g_{\mu_1}(z) = g_{\nu_1}(\omega_{\mu_0}(z)) \cdot \omega'_{\mu_0}(z)$$
Dit betekent dat de verdeling van de uitbijters van $W$ direct gerelateerd is aan de verdeling van de uitbijters van $S$ via de transformatie $\omega_{\mu_0}$. Voor een meetbare verzameling $\Delta$ buiten de bulk geldt:
$$\mu_1(\Delta) = \nu_1(\omega_{\mu_0}(\Delta))$$

Stelling 2.2: Asymptotisch gedrag van individuele uitbijters
Voor individuele eigenwaarden geldt dat de uitbijters van $W$ convergeren naar de getransformeerde uitbijters van $S$.
Als $\lambda_j(S)$ een uitbijter is van $S$, dan convergeert de corresponderende eigenwaarde $\lambda_j(W)$ van $W$ in waarschijnlijkheid naar:
$$\lambda_j(W) \to \Phi(\lambda_j(S))$$
waarbij $\Phi(x) = x - \sigma^2 g_{\nu_0}(x)$.
Dit generaliseert eerdere resultaten (zoals die van Peché en Capitaine) die alleen golden voor een vast, klein aantal uitbijters. Hier geldt het ook wanneer het aantal uitbijters oneindig groeit met $N$.

4. Technische Bijdragen

1. Generalisatie van bestaande theorie: Het paper breekt met de aanname van een "vast laag-rang" signaal. Het behandelt het realistischere scenario van een "groot-rang" perturbatie waarbij het aantal spikes meegroeit met de matrixgrootte.
2. Rigoureuze foutanalyse: Het paper levert een strakke analyse van de fouttermen ($O(N^{-1})$) in de vergelijkingen voor de Stieltjes-transformatie, wat essentieel is om de convergentie van de maat te bewijzen.
3. Koppeling tussen bulk en spikes: Het paper biedt een wiskundig kader om te begrijpen hoe de "bulk" van het spectrum (bepaald door $\nu_0$) de positie van de uitbijters beïnvloedt via de functie $\Phi$, zelfs wanneer het aantal uitbijters groot is.

5. Betekenis en Toepassingen

• Deep Learning en Pruning: De resultaten zijn direct relevant voor het pruning (snoeien) van Deep Neural Networks. Bestaande pruning-algoritmen (zoals Marchenko-Pastur pruning) vertrouwen op de aanname dat ruis in de bulk zit en signaal in een paar spikes. Omdat echte DNN's vaak een "bulk decay" vertonen met een groeiend aantal significante eigenwaarden, biedt dit paper een theoretische onderbouwing voor het analyseren van deze complexere structuren.
• Robuustheid van DNN's: Het helpt bij het begrijpen van hoe de spectrale eigenschappen van gewichtsmatrices de generalisatie en stabiliteit van netwerken beïnvloeden wanneer de "signal" component niet meer als laag-rang kan worden beschouwd.
• Wiskundige Vooruitgang: Het vult een belangrijke lacune in de Random Matrix Theory door het gedrag van matrices te beschrijven die niet passen in de klassieke "finite rank perturbation" categorie, maar wel in de "large rank" categorie, wat dichter bij praktische toepassingen ligt.

Conclusie:
Dit werk biedt een cruciale brug tussen strikte wiskundige theorie en numerieke observaties in machine learning. Het bewijst dat zelfs bij een groot aantal uitbijters, de spectrale eigenschappen van de verstoorde matrix $W$ voorspelbaar blijven en deterministisch gekoppeld zijn aan de eigenschappen van het signaal $S$ en de ruis $R$, mits de juiste asymptotische voorwaarden worden voldaan.