Technische Samenvatting: Neural Neural Scaling Laws (NEUNEU)

Probleemstelling

Neurale schalingswetten voorspellen traditioneel hoe de prestaties van taalkundige modellen (LM) verbeteren met meer rekenkracht, data en parameters, doorgaans door de relatie tussen trainingsverlies en downstream-prestaties te modelleren met eenvoudige parametrische vormen (bijvoorbeeld machtswetten of logistische functies). De auteurs identificeren echter twee kritieke beperkingen in huidige benaderingen:

1. Signaalverduistering: Aggregatiemetrieken zoals het gemiddelde validatieverlies middelen rijke token-niveau verdelingen van verlies uit, waardoor signalen worden verduisterd die voorspellend kunnen zijn voor downstream-capaciteiten.
2. Functionele Rigiditeit: Individuele downstream-taken vertonen diverse schalingsgedragingen (monotone verbetering, plateauvorming of inverse schaling) die niet kunnen worden vastgelegd door één enkele parametrische familie.

Bijgevolg lijdt het voorspellen van downstream-prestaties uit validatieverlies met behulp van vaste functionele vormen aan hoge bias en slechte generalisatie naar ongezette modelarchitecturen, parameteraantallen of taken.

Methodologie: NEUNEU

De auteurs stellen Neural Neural Scaling Laws (NEUNEU) voor, een neurale netwerkbenadering die voorspelling van schalingswetten formuleert als een tijdreeks-extrapolatieprobleem. In tegenstelling tot parametrische methoden leert NEUNEU om toekomstige prestaties te voorspellen zonder een specifieke functionele vorm aan te nemen.

Architectuur en Inputrepresentatie

NEUNEU combineert temporale context uit waargenomen nauwkeurigheids-trajecten met token-niveau validatie-informatie.

• Verliesrepresentatie: Om distributie-informatie te behouden en onbegrensde cross-entropy-verliezen te verwerken, converteert het model token-voor-token verliezen ($\ell$) naar token-voor-token kansen ($p = e^{-\ell}$).
• Inputsequentie: Het model verwerkt een sequentie van historische downstream-nauwkeurigheden ($y_{1:t}$) en rekengaten ($g_{1:t}$), naast een vector van token-kansen ($p_t$) uit de validatieset.
  • Gaten: Rekenintervallen tussen evaluatiestappen worden geabstraheerd om invariantie te garanderen over verschillende modelschalen.
  • Token-kansen: Het model neemt een vector van $N=256.000$ token-kansen op (ongeveer één minibatch-grootte), in plaats van één enkel gemiddeld verlieswaarde.
• Modelcomponenten:
  1. Verlies-encoder: Een hiërarchische 1D CNN (4 lagen) verwerkt de token-kansvector om een embedding $e$ te produceren.
  2. Transformer-ruggengraat: Een standaard BERT-stijl transformer (6 lagen, bidirectionele aandacht, RoPE) verwerkt een sequentie die een [CLS]-token bevat, de verliesembedding $e$, en contexttokens gevormd door geprojecteerde nauwkeurigheden en gaten te concateneren.
  3. Voorspellingshoofd: De output van het [CLS]-token wordt geprojecteerd om een verdeling over toekomstige nauwkeurigheid te voorspellen met behulp van kwantielregressie. Het model outputt 5 kwantielen ($\hat{q}_{0.1}, \hat{q}_{0.25}, \hat{q}_{0.5}, \hat{q}_{0.75}, \hat{q}_{0.9}$).

Trainingsstrategie

• Data: Het model wordt volledig getraind op open-source taalkundige modeltrainings-trajecten van HuggingFace, specifiek de DataDecide-modelfamilie. Dit omvat 144 unieke pretraining-trajecten over 6 modelgroottes (90M tot 1B parameters) en 24 datasets.
• Doel: Het model wordt getraind met pinball-verlies opgeteld over de 5 kwantielen om gekalibreerde onzekerheidsschattingen te produceren.
• Augmentatie: Om robuustheid tegen ontbrekende data te garanderen, worden tijdens het trainingsproces willekeurig tuples uit de nauwkeurigheidssequentie verwijderd, waarbij het gat wordt opgenomen in de voorafgaande tuple.

Belangrijkste Bijdragen

1. Parametrisch-vrije Voorspelling: NEUNEU is het eerste model dat downstream-schalingsprestaties voorspelt zonder parametrische aannames of voorkennis van specifieke functionele vormen.
2. Superieure Nauwkeurigheid: Op 66 downstream-taken bereikt NEUNEU een Mean Absolute Error (MAE) van 1,99%, wat een 44% reductie in fout betekent ten opzichte van veelgebruikte logistische schalingswetten (3,56% MAE).
3. Onzekerheidskalibratie: Door gebruik te maken van kwantielregressie biedt NEUNEU gekalibreerde onzekerheidsschattingen. Het voorspelde 10%-90% interkwantielinterval vangt 77,6% van de grondwaarheidsdata, wat dicht in de buurt komt van de verwachte 80%.
4. Zero-Shot Generalisatie: Het model generaliseert zero-shot naar:
   • Ongezette random seeds.
   • Ongezette pretraining-datasets (bijvoorbeeld C4).
   • Ongezette modelfamilies en architecturen, inclusief niet-transformer-modellen (bijvoorbeeld OLMo-Hybrid-7B) en grotere parameteraantallen (tot 12B) die niet tijdens het trainen zijn gezien.
   • Ongezette downstream-taken (terughoudende taken tijdens meta-training).

Resultaten en Evaluatie

De auteurs hebben NEUNEU geëvalueerd tegen verschillende baselines:

• Logistische Schalingswetten: Parametrische fits per taak.
• BNSL (Broken Neural Scaling Laws): Parametrische modellen die regimebreuken toestaan.
• LC-PFN: Een meta-geleerde transformer voor in-context leercurve-extrapolatie.
• Ablaties: Variaties van NEUNEU die alleen gemiddeld verlies gebruiken (AVERAGE) of geen verliesinformatie (NOLOSS).

Belangrijkste Bevindingen:

• Generalisatie: NEUNEU presteert significant beter dan alle baselines op out-of-distribution (OOD)-evaluaties, met name op nieuwe architecturen (Pythia, OLMo-Hybrid) waar parametrische wetten catastrofaal falen (met een ~4x hogere fout).
• Takenonafhankelijkheid: In tegenstelling tot logistische schalingswetten, die vereisen dat een apart model per taak wordt gefit, voorspelt één enkel NEUNEU-model de nauwkeurigheid voor elke taak, inclusief die welke nooit tijdens het trainen zijn gezien, en presteert vaak beter dan logistische wetten die direct op die specifieke taken zijn gefit.
• Beslissingsnut: NEUNEU rangschikt de uiteindelijke prestaties van concurrerende modelconfiguraties correct met 76,6% nauwkeurigheid, een verbetering van 12,9% ten opzichte van logistische schalingswetten. Dit suggereert dat NEUNEU effectief kan sturen bij resource-allocation en hyperparameter-selectie.
• Informatiewaarde: De AVERAGE- en NOLOSS-ablaties presteren slechter dan volledige NEUNEU, wat bevestigt dat token-niveau verliesdistributies voorspellende signalen bevatten die middelen verwaarloost.

Betekenis en Claims

Het artikel betoogt dat de beperkingen van bestaande schalingswetten niet fundamenteel zijn voor het voorspellingprobleem, maar artefacten zijn van beperkte hypotheseclasses (d.w.z. het aannemen van specifieke functionele vormen). Door parametrische bias te vervangen door de flexibiliteit van een neurale netwerk getraind op diverse open-source trajecten, demonstreert NEUNEU dat het voorspellen van downstream-schaling direct uit data parametrische alternatieven overtreft.

De auteurs positioneren NEUNEU als een stap richting "Foundation Models van Trainingsdynamiek". In plaats van taalkundige modellen als black boxes te behandelen, fungeert NEUNEU als een beginnend model van trainingsdynamiek, capable om toekomstige toestanden te simuleren gegeven huidige prestaties en rekenacties. Deze capaciteit zou practitioners in staat stellen om hyperparameter-ruimtes en architectuurkeuzes te verkennen zonder de prohibitieve kosten van echte trainingsruns. Het werk sluit aan bij het principe dat methoden die schalen met rekenkracht en data de neiging hebben om beter te presteren dan die welke vertrouwen op door mensen ontworpen structuren.