Sharp feature-learning transitions and Bayes-optimal neural scaling laws in extensive-width networks

Technische Samenvatting: Scherp Kenmerk-Lerend Overgangen en Bayes-Optimale Neuronale Schaalwetten in Netwerken met Uitgebreide Breedte

Probleemopstelling
Het artikel onderzoekt de informatie-theoretische grenzen van het leren van een teacher-neuraal netwerk met één verborgen laag en hiërarchische kenmerken uit ruisbevatte queries, specifiek in de context van kennisoverdracht naar een kleiner studentmodel. De studie opereert in het regime met uitgebreide breedte, waarbij de breedte $k$ van de teacher lineair schaalt met de invoerdimensie $d$ ($k = \Theta(d)$). Deze setting is gepositioneerd tussen het veelbestudeerde multi-index-regime ($k = \Theta(1)$) en het Neural Tangent Kernel (NTK)-regime ($k \gg d$), en vangt de "grote maar eindige" breedte van praktische netwerken.

Het teacher-netwerk genereert labels $y_\mu = v^\top \sigma(W_0 x_\mu)$ uit invoer $x_\mu \sim \mathcal{N}(0, I_d)$, met additieve Gaussische ruis. De readout-vector $v$ volgt een hiërarchische structuur (bijvoorbeeld machtwet-afname $v_i \propto i^{-\beta}$), wat impliceert dat kenmerken geometrisch afnemende belangrijkheid hebben. De auteurs analyseren twee soorten leraars:

1. Bayesiaanse Student: Kent het data-generatiemechanisme (activatie $\sigma$, ruisvariatie $\Delta$, readout $v$) maar niet de specifieke teacher-weights $W_0$. Het voorspelt via het posterior-gemiddelde en bereikt de Bayes-optimale fout ($\varepsilon_{BO}$).
2. SGD-Student: Een netwerk met één verborgen laag en breedte $k_s \leq k$, getraind met ADAM.

De primaire vragen die worden beantwoord zijn: (V1) Gegeven een vast dataset, welke teacher-kenmerken zijn statistisch herstelbaar? en (V2) Hoe beperkt het herstelbare subset van kenmerken de schaalwet van $\varepsilon_{BO}$ met betrekking tot de datasetgrootte $n$?

Methodologie
De auteurs maken gebruik van een heuristische leave-one-out (cavity) decoupleringsargument, een techniek die standaard is in de statistische fysica, om asymptotisch scherpe karakterisering van het leerproces af te leiden.

• Decoupling: De methode isoleert de bijdrage van een enkel kenmerk $w_i$ door de bijdragen van alle andere kenmerken te behandelen als een effectieve ruisterm.
• Gaussische Aannames: De auteurs veronderstellen dat de "cavity-velden" (de effectieve ruis van andere kenmerken) zich gedragen als onafhankelijke Gaussische variabelen. Dit reduceert het meer-kenmerk inferentieprobleem tot een reeks onafhankelijke scalaire gegeneraliseerde lineaire modellen (GLM's).
• Vast-Punt Systeem: Door de overlap tussen de ware kenmerkrichting en de posterior-schatting te analyseren, leiden de auteurs een gesloten systeem van vast-puntvergelijkingen af. Deze vergelijkingen relateren de overlap $q_i$ van kenmerk $i$ aan het signaal-ruisverhouding (SNR) en de globale generalisatiefout $\varepsilon$.
• Validatie: De theoretische voorspellingen worden numeriek gevalideerd met Hamiltonian Monte Carlo (HMC)-simulaties over verschillende parameterregimes, waarbij uitstekende overeenkomst wordt getoond zelfs bij matige dimensies ($d \sim 10^2$).

Belangrijkste Resultaten

1. Scherpe Trap van Kenmerk-Lerend Overgangen:
   De analyse onthult dat kenmerkleerbaarheid wordt beheerst door een scherpe fase-overgang. Een kenmerk $i$ is herstelbaar (overlap $q_i > 0$) dan en slechts dan als zijn effectieve SNR, $snr_i = \frac{(n/d)v_i^2}{\Delta + \varepsilon_{BO}}$, een kritieke, activatie-afhankelijke drempel $\lambda_\sigma$ overschrijdt.

   • Naarmate de datasetgrootte $n$ toeneemt, kruisen kenmerken deze drempel sequentieel, beginnend bij de sterkste (grootste $v_i$).
   • Dit resulteert in een "trap" van discontinu springen in kenmerk-overlappen en bijbehorende dalingen in generalisatiefout, in plaats van een gladde overgang.

2. Effectieve Breedte ($k_c$) en Fout Decompositie:
   Het aantal leerbare kenmerken bij een gegeven datasetbudget wordt gedefinieerd als de effectieve breedte $k_c = |\{i : q_i > 0\}|$. De Bayes-optimale fout decomposeert in twee termen:
   $$\varepsilon_{BO} = \Theta\left(\frac{k_c d}{n}\right) + \Theta\left(\sum_{j > k_c} v_j^2\right)$$
   De eerste term vertegenwoordigt de schattingsfout op leerbare kenmerken (schalend als $d/n$ per kenmerk), terwijl de tweede term de onreducerbare bias van niet-leerbare kenmerken is.

3. Gefuseerde Schaalwetten:
   Voor readouts met machtwet en exponent $\beta > 1/2$, leidt het artikel twee distincte schaalregimes af die verenigen onder de relatie $\varepsilon_{BO} = \Theta(k_c d / n)$:

   • Kenmerk-Lerend Regime ($n \ll k^{2\beta}d$): Hier geldt $k_c \sim (n/d)^{1/(2\beta)}$. De fout schaalt als $\varepsilon_{BO} \sim n^{1/(2\beta) - 1}$. In dit regime wordt het model beperkt door het aantal kenmerken dat het kan leren.
   • Verfijningsregime ($n \gg k^{2\beta}d$): Alle kenmerken zijn leerbaar ($k_c = k$). De fout schaalt als $\varepsilon_{BO} \sim n^{-1}$, waarmee de klassieke parametrische snelheid wordt hersteld.
     Het kruispunt $n^\star = \Theta(k^{2\beta}d)$ markeert de overgang waarbij het zwakste kenmerk leerbaar wordt.

4. Implicaties voor met SGD Getrainde Studenten:
   Empirische resultaten tonen aan dat een met ADAM getrainde student met breedte $k_s$ dicht bij de theoretische effectieve breedte $k_c$ deze optimale schaalwetten bereikt (tot een kleine algoritmische kloof).

   • Als $k_s < k_c$, onderpast de student, beperkt door zijn capaciteit.
   • Als $k_s \gg k_c$, overpast de student niet-leerbare richtingen, wat de prestaties verslechtert.
   • De optimale studentbreedte schaalt met de datasetgrootte volgens de kenmerkhierarchie, wat een theoretische basis biedt voor hyperparameter-overdracht.

Betekenis en Beweringen
Het artikel claimt de eerste analytische karakterisering te bieden van Bayes-optimale learning in het regime met uitgebreide breedte ($k = \Theta(d)$) voor netwerken met hiërarchische kenmerken en verdwijnende tweede Hermite-coëfficiënten ($\mu_2 = 0$).

• Unificatie: Het verenigt twee eerder distincte empirische schaalregimes (kenmerk-lerend en verfijning) in één raamwerk gedreven door de effectieve breedte $k_c$.
• Mechanisme: Het biedt een mechanistische verklaring voor de in de praktijk waargenomen "trap"-leerdynamiek, en schrijft deze toe aan sequentiële fase-overgangen in kenmerkherstelbaarheid.
• Methodologische Bijdrage: Het werk breidt de cavity-methode uit boven dichte readouts naar willekeurige readout-structuren (inclusief spaarzaam en machtwet), herstelt bekende resultaten voor dichte readouts en generaliseert naar spaarzame settings waar foutafnamesnelheden significant verschillen.
• Praktisch Inzicht: De afgeleide effectieve breedte $k_c$ biedt een voorschrift uit eerste principes voor het dimensioneren van studentmodellen op basis van datasetbudgetten, en suggereert dat modelcapaciteit moet schalen met het aantal leerbare kenmerken in plaats van het totale aantal teacher-kenmerken.

Beperkingen
De auteurs erkennen dat hun afleidingen rusten op onbewezen aannames, specifiek de Gaussische aard van cavity-velden en de concentratie van overlappen. Bovendien is de analyse beperkt tot activaties met een verdwijnende tweede Hermite-coëfficiënt ($\mu_2 = 0$), wat oneven activaties omvat maar anderen zoals ReLU uitsluit (hoewel het artikel opmerkt dat ReLU via het complementaire regime $\mu_2 \neq 0$ in andere werken kan worden geanalyseerd). De leave-one-out-reductie is heuristisch, hoewel numeriek gevalideerd.