Technische Samenvatting: Spectrale Dynamiek in Diepe Netwerken

Probleemstelling

Het begrijpen van de evolutie van verborgen representaties in grote neurale netwerken blijft een centrale uitdaging in de theorie van deep learning. Hoewel de limieten van oneindige breedte aanzienlijke inzichten hebben opgeleverd, bestaat er een kritieke kloof in regimes waarin netwerken feature learning vertonen (het "rijke" regime) in plaats van louter lineaire modellen te fitten op statische features (het "luie" of kernel-regime). Specifiek ontbreekt het aan volledige theoretische verantwoordingen voor:

1. Hoe de spectrale dynamiek van verborgen gewichtsmatrices evolueert tijdens het trainen, met name het ontstaan van geïsoleerde singuliere waarden (uitbijters) uit het willekeurige bulk.
2. De mechanismen die ten grondslag liggen aan hyperparameter-overdracht (bijvoorbeeld stabiliteit van de leersnelheid) over verschillende netwerkbreden.
3. Het gedrag van netwerken met extensieve output-dimensies (bijvoorbeeld taalmodellen met grote vocabulaires), waarbij het standaardbeeld van "bulk + eindige uitbijters" kan falen.

Huidige Random Matrix Theory (RMT)-modellen, zoals de BBP-overgang (Baik-Ben Arous-Péché), gaan er doorgaans van uit dat signaalspikes statistisch onafhankelijk zijn van het willekeurige ruis-bulk. In getrainde neurale netwerken zijn de geleerde richtingen (spikes) echter causaal afhankelijk van de initiële willekeurige gewichten, waardoor standaard gespierde matrixmodellen ontoereikend zijn.

Methodologie

De auteurs ontwikkelen een twee-niveau Dynamical Mean Field Theory (DMFT)-kader om de singuliere waarden-spectra van brede, willekeurig geïnitieerde diepe netwerken te volgen die worden getraind via (stochastische) gradiëntafstijging.

Kerntheoretisch Kader

1. Statistisch Gekoppelde Spikes: De theorie modelleert de gewichtsmatrix $W^{(S)}$ als een willekeurige initialisatie $W^{(0)}$ plus een update met eindige rang (spikes), waarbij de spike-vector functioneel afhankelijk is van de initiële willekeurige matrix. Dit vangt de causale afhankelijkheid van geleerde features van de initialisatie.
2. Twee-niveau DMFT:
   • Niveau 1 (Trainingsdynamiek): Beschrijft de evolutie van de trainingsvelden (voorwaartse features $\phi$ en achterwaartse gradiënten $g$) gegenereerd door gradiëntafstijging. Deze velden bepalen de structuur van de spikes.
   • Niveau 2 (Spectrale Proef): Introduceert een lineaire spectrale proef om het spectrum van de resulterende gewichtsmatrix op te lossen. Dit niveau onderscheidt tussen het continue bulk (geleid door de Marchenko-Pastur-wet) en geïsoleerde uitbijters.
3. Criterium voor Uitbijterdetectie: Het kader leidt een eindig-dimensionale voorwaarde af voor het ontstaan van uitbijters. Specifiek corresponderen uitbijters met de nulpunten van de determinant van een matrixwaardige functie $A(z)$, geconstrueerd uit de correlatie- en responsfuncties van de DMFT.

Toepassingsregimes

Het kader wordt toegepast op twee specifieke settings:

• Super-brede Niet-lineaire Netwerken: Limieten van oneindige breedte met vaste batchgrootte en trainingstijd (Mean-field/$\mu$P-schaal).
• Proportionele Hoog-dimensionale Lineaire Netwerken: Limieten waarbij breedte ($N$), input-dimensie ($D$) en steekproefgrootte ($P$) divergeren met vaste verhoudingen ($\nu = N/D$, $\alpha = P/D$).

Belangrijkste Bijdragen

1. Theorie van Statistisch Afhankelijke Spikes

Het artikel biedt een exacte theoretische karakterisering van de dynamiek van singuliere waarden voor matrix-ensembles waarbij spikes statistisch gekoppeld zijn aan het willekeurige bulk. Dit breidt standaard RMT uit naar de context van getrainde neurale netwerken, en levert een criterium op voor wanneer en hoe uitbijters het bulk "ontsnappen" (BBP-overgang) als functie van trainingstijd, breedte en initialisatie.

2. Mechanisme van Hyperparameter-overdracht

De theorie verklaart waarom $\mu$P (maximal update parameterization) breedte-consistente hyperparameter-overdracht mogelijk maakt, terwijl NTK-parameterisatie dit niet doet:

• $\mu$P: De leidende spectrale uitbijter (NTK-modus) vertoont breedte-stabiele dynamiek. De tijd om de "Edge of Stability" (EoS) te bereiken en de groei van de leidende eigenwaarde zijn consistent over verschillende breedtes.
• NTK-P: Ondanks convergentie naar een stabiele limiet van grote breedte, is de uitbijterdynamiek sterk breedte-afhankelijk, wat leidt tot inconsistente overdracht van de leersnelheid.

3. Beperkingen van het Beeld met Eindige Uitbijters

De auteurs demonstreren dat het beeld van "bulk + eindige uitbijters" beschrijvend is voor taken met kleine output-kanalen (bijvoorbeeld CIFAR-10 classificatie). Echter, voor taken met extensieve output-kanalen (waarbij het aantal klassen $C$ schaalt met de breedte $N$, zoals GPT-stijl taalmodellering), herbouwt training het gehele spectrale bulk in plaats van geïsoleerde spikes te produceren.

4. Model voor Extensieve Output-kanalen

Om het extensieve regime aan te pakken, stellen de auteurs een toy-model voor voor lineaire netwerken met $C \sim O(N)$ output-kanalen. Zij tonen aan dat in dit regime het spectrale bulk verschuift en verbreedt, en dat de rand van het spectrum alleen convergeert wanneer de breedte voldoende groot is ten opzichte van de output-dimensie.

Resultaten

Empirische en Theoretische Validatie

• CIFAR-10 (Niet-lineaire Netwerken): De theorie voorspelt nauwkeurig de dynamiek van spectrale uitbijters in brede ResNets getraind op CIFAR-10. De waargenomen dynamiek toont een eindig aantal spikes dat losraakt van een stabiel Marchenko-Pastur-bulk, consistent met de BBP-overgang.
• Diepe Lineaire Netwerken:
  • De theorie voorspelt dat in $\mu$P de leidende NTK-eigenwaarde op een breedte-consistente manier groeit naar de Edge of Stability.
  • Daarentegen vertoont NTK-parameterisatie een sterke breedte-afhankelijkheid in de groei van de leidende eigenwaarde, wat falen van consistente leersnelheidsoverdracht oplevert.
• ImageNet en GPT (Extensieve Outputs):
  • ImageNet: Training modificeert het bulk van het spectrum van verborgen gewichten (het verschuift naar links en creëert een rechterstaart) in plaats van alleen geïsoleerde uitbijters te creëren.
  • GPT Pretraining: Vergelijkbare herbouw van het bulk wordt waargenomen in taalmodellen waarbij de vocabulairegrootte ($\sim 50k$) de verborgen breedte overtreft. De spectrale dichtheid kan niet worden beschreven door een constant bulk plus een eindige set uitbijters.
  • Toy-model: Het voorgestelde lineaire netwerkmodel met extensieve klassen herhaalt deze herbouw van het bulk. Theoretische analyse toont aan dat de spectrale rand convergeert naar een verschoven Marchenko-Pastur-plateau, met correcties voor eindige breedte die schalen als $O(1/\nu)$.

Betekenis en Beweringen

Het artikel claimt een mechanistische diagnose te bieden voor:

1. Feature Learning: De evolutie van het spectrale bulk en geïsoleerde uitbijters dient als een signatuur van de overgang van luie naar rijke regimes.
2. Hyperparameter-overdracht: Breedte-stabiele uitbijterdynamiek wordt geïdentificeerd als een noodzakelijke voorwaarde voor succesvolle overdracht van de leersnelheid over modelgroottes. De theorie verklaart waarom $\mu$P slaagt waar NTK hierin faalt.
3. Schaalwetten: Het werk verbindt spectrale dynamiek met neurale schaalwetten, en suggereert dat het beeld van "bulk + uitbijter" ontoereikend is voor moderne grote schaal-taken met extensieve outputs, wat een visie vereist op training als een herbouw van het gehele spectrale bulk.

De auteurs blijven bescheiden wat betreft de reikwijdte, en erkennen dat de huidige theorie strikt van toepassing is op super-brede niet-lineaire netwerken (waar het beeld van bulk+spike geldt) of proportionele lineaire netwerken met eindige output-kanalen. De analyse van extensieve klassen is momenteel beperkt tot één gradiëntstap, en de dynamiek van het spectrum in volledig getrainde netwerken met extensieve output wordt overgelaten aan toekomstig werk.