Asymmetric Scaling Laws from Sparse Features

Technische Samenvatting: Asymmetrische Schalingswetten uit Sparse Features

Probleemstelling
Neurale schalingswetten beschrijven de voorspelbare relaties tussen modelprestaties (testverlies) en hulpbronvariabelen: modelgrootte ($N$), datasetgrootte ($D$) en rek-budget ($C$). Hoewel fundamenteel werk (bijv. Kaplan et al., 2020; Hoffmann et al., 2022) machts-wet-relaties en rek-optimale toewijzingsstrategieën heeft vastgesteld (vaak suggereerend symmetrische schaling waarbij $N$ en $D$ vergelijkbaar schalen), blijft een uitgebreid theoretisch inzicht waarom schalingsexponenten kunnen verschillen tussen model-beperkte en data-beperkte regimes onbereikbaar. Bestaande theoretische kaders gaan vaak uit van dichte, Gaussisch verdeelde data, wat mogelijk de structurele eigenschappen van realistische hoogdimensionale data niet vastlegt, waar features vaak spaarzaam en zwaarstaart zijn. Dit artikel adresseert de lacune in het begrijpen hoe spaarse input-activaties schalingsgedrag fundamenteel veranderen, wat potentieel asymmetrie induceert tussen de exponenten die modelgrootte en datasetgrootte regeren.

Methodologie
De auteurs introduceren een hanteerbaar theoretisch model gebaseerd op spaarse willekeurige features om populatieverlies-schaling te analyseren.

1. Data-generatieproces: De input-data $x \in \mathbb{R}^M$ wordt gegenereerd via een gestructureerd proces waarbij elke coördinaat $j$ wordt geactiveerd met een zwaarstaart-probabiliteit $p_j = j^{-\alpha_1-1}$. Wanneer actief, neemt de coördinaat een waarde aan met een variantie die schaalt als $j^{-\alpha_1-\alpha_2-2}$. Dit creëert een scenario waarbij de meeste coördinaten nul zijn, en actieve coördinaten een machts-wet-verdeling volgen die wordt gecontroleerd door parameters $\alpha_1$ en $\alpha_2$.
2. Modelarchitectuur: Het leermodel bestaat uit een vaste willekeurige embedding $u \in \mathbb{R}^{N \times M}$ (die inputs afbeeldt naar features $\phi = ux$) gevolgd door een trainbare lineaire readout $\theta$. De doelfunctie is een lineaire functionaal $y = w^\top x$. Deze opstelling modelleert effectief een gesketchte lineaire regressie of een tweelaagsnetwerk met bevroren willekeurige eerste-laaggewichten.
3. Analyse-regimes: De auteurs leiden de asymptotische populatieverlies (Bayes-optimale fout) af in twee distincte regimes:
   • Onderparameteriseerd ($N \ll D$): Waar modelcapaciteit de bottleneck is.
   • Overparameteriseerd ($D \ll N$): Waar het aantal samples de bottleneck is, specifiek gericht op het aantal niet-geobserveerde (nooit geactiveerde) coördinaten.
4. Optimalisatiedynamica: Het artikel analyseert de convergentie van full-batch gradient descent (GD), en leidt voorwaarden voor stabiliteit en een schalingswet voor de waarschijnlijkheid van falen als gevolg van zeldzame, hoog-amplitude activatiepieken af.
5. Rek-optimale grens: Onder een vast rek-budget $C \propto ND \cdot \min\{N, D\}$ optimaliseren de auteurs de toewijzing tussen $N$ en $D$ om verlies te minimaliseren.
6. Experimentele validatie: De theorie wordt gevalideerd door experimenten op zowel lineaire als niet-lineaire (ReLU) willekeurige feature-modellen, waarbij spaarse inputs worden vergeleken met dichte Gaussische baselines.

Belangrijkste Bijdragen en Resultaten

• Twee-exponent schalingswet: Het primaire theoretische resultaat is de afleiding van een verlies-schalingswet met twee distincte exponenten ($\alpha_N \neq \alpha_D$) in aanwezigheid van spaarse activaties ($\alpha_1 > 0$).

  • In het onderparameteriseerde regime schaalt het verlies als $\ell \sim N^{-(\alpha_1+\alpha_2+1)}$. Hier wordt spaarzaamheid effectief gemaskeerd omdat het model de leidende hoog-variatie coördinaten past, en de exponent $\alpha_N$ overeenkomt met die van dichte modellen.
  • In het overparameteriseerde regime schaalt het verlies als $\ell \sim D^{-(\alpha_1+\alpha_2+1)/(\alpha_1+1)}$. De exponent $\alpha_D$ is strikt kleiner dan $\alpha_N$ (d.w.z. $\alpha_D < \alpha_N$). Deze asymmetrie ontstaat omdat het effectieve aantal leerbare coördinaten sublineair groeit met datasetgrootte ($K(D) \sim D^{1/(\alpha_1+1)}$) als gevolg van spaarzaamheid. Zeldzame coördinaten worden nooit geobserveerd in de trainingsset, wat een persistente bottleneck creëert die dichte modellen niet vertonen.
  • De gecombineerde schalingswet is $\ell(N, D) \sim N^{-\alpha_N} + D^{-\alpha_D}$.

• Double-descent fenomeen: De analyse voorspelt een double-descent piek nabij de interpolatiedrempel waar het aantal parameters $N$ overeenkomt met het aantal leerbare (geobserveerde) coördinaten $K(D)$. Deze piek wordt geregeerd door de spaarzaamheidsexponent $\alpha_1$.

• Rek-optimale grens: Onder een vast rek-budget verschuift de optimale toewijzing significant naar grotere datasets in plaats van grotere modellen. De optimale modelgrootte schaalt als $N^*(C) \sim C^{1/(\alpha_1+3)}$, terwijl de optimale datasetgrootte schaalt als $D^*(C) \sim C^{(\alpha_1+1)/(\alpha_1+3)}$. Naarmate spaarzaamheid toeneemt ($\alpha_1$ toeneemt), bevoordeelt de optimale strategie data zwaarder, en neemt de rek-optimale exponent $\alpha_C$ toe, wat snellere verliesafname met rek aangeeft.

• Gradient Descent stabiliteit: Het artikel leidt een schalingswet af voor de waarschijnlijkheid dat vaste-stap gradient descent instabiel wordt als gevolg van zeldzame activatiepieken. Deze probabiliteit neemt af als $P_{\text{rare}} \sim D^{-\nu}$, waarbij $\nu = (\alpha_1+\alpha_2+1)/(-\alpha_2-1)$ (voor $\alpha_2 < -1$). Dit identificeert een specifieke faalmodus in overparameteriseerde regimes met zwaarstaart spaarse data, distinct van standaard optimalisatiebarrières.

• Robuustheid tegen niet-lineariteit: Experimenten met ReLU-activaties bevestigen dat de kwalitatieve asymmetrie tussen $\alpha_N$ en $\alpha_D$ voortbestaat in niet-lineaire settings, hoewel de grootte van de asymmetrie wordt verminderd door spectrale gladmaking door de niet-lineariteit.

Betekenis en Claims
Het artikel claimt zeldzame feature-dekking te isoleren als een distincte bron van schalingsasymmetrie, gescheiden van optimizer-dynamica of feature-leermechanismen. Door aan te tonen dat spaarzaamheid op zichzelf de symmetrie van schalingswetten kan verbreken (waarbij $\alpha_N = \alpha_D$ in dichte modellen), biedt het werk een theoretische verklaring voor empirische observaties waarbij model- en data-schalingsexponenten verschillen.

De auteurs stellen dat hun bevindingen een principieel voorschrift bieden voor hulpbron-toewijzing: in spaarse, hoogdimensionale settings levert het vergroten van de datasetgrootte grotere rendementen op dan het vergroten van de modelcapaciteit, zelfs onder vaste rek-budgetten. Bovendien suggereert de identificatie van een "GD-falen" schalingswet dat praktische optimalisatie in dergelijke regimes specifieke veiligheidsmaatregelen (zoals gradient clipping) kan vereisen om om te gaan met zeldzame, hoog-variatie pieken. Het werk concludeert dat spaarzaamheid een fundamentele structurele eigenschap is die bereikbare prestaties en schalingsgedrag in hoogdimensionaal leren vormgeeft, en dat dit uitstrekt buiten lineaire modellen tot niet-lineaire architecturen.