💻 computer science

Predictable Emergence: An Empirical Analysis of Whether Sharp Capability Jumps Follow from Smooth Per-Token Scaling Laws

Dit artikel toont aan dat de scherpe "emergente" sprongen in de exact-match nauwkeurigheid bij optellen van meercijferige gehele getallen geen echte discontinuïteiten in de capaciteit van het model zijn, maar in plaats daarvan volledig voorspelbare artefacten die het resultaat zijn van vloeiende, volgens een machtswet verbeterende nauwkeurigheid per token, gecompenseerd door de niet-lineariteit van het vereisen dat alle cijfers correct zijn.

Oorspronkelijke auteurs: Alexander Memming

Gepubliceerd 2026-07-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Alexander Memming

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je naar een goocheltruc kijert waarbij de goochelaar steeds beter wordt in het uit de hoed toveren van konijnen naarmate de hoed groter wordt. Jarenlang hebben wetenschappers opgemerkt dat wanneer ze AI-hersenen (genaamd "transformers") groter maken en ze meer data voeren, ze op een zeer voorspelbare, vloeiende manier slimmer worden. Het is als een automotor die telkens een klein beetje krachtiger wordt wanneer je er een cilinder aan toevoegt; de verbetering is gestaag en volgt een duidelijke wiskundige regel. Maar toen begonnen mensen iets vreemds op te merken: soms lijken AI-modellen plotseling "wakker te worden" en een compleet nieuwe vaardigheid te leren van de ene op de andere dag. De ene dag kunnen ze geen eenvoudige sommen maken, en de volgende dag lossen ze met slechts een fractie meer omvang complexe problemen perfect op. Deze plotselinge sprong wordt "emergentie" genoemd, en dat is eng, omdat als vaardigheden uit het niets verschijnen, we niet kunnen voorspellen wanneer een AI plotseling gevaarlijk of ongelooflijk slim kan worden.

De grote vraag is: verschijnen deze vaardigheden echt uit het niets, of is het een illusie veroorzaakt door de manier waarop we ze meten? Denk aan een student die een toets maakt. Als je ze beoordeelt op basis van "Heeft hij elk vraagstuk correct beantwoord?" (een pass/fail-cijfer), kunnen ze er lang helemaal naast zitten, en dan plotseling slagen. Maar als je kijkt naar "Hoeveel vragen heeft hij gemiddeld goed?" (een vloeiende score), dan zie je misschien dat ze de hele tijd eigenlijk langzaam verbeterden. Deze paper vraagt zich af: is de "plotselinge sprong" echt, of is het slechts een trucje van de toets die we gebruiken?

De Grote Wiskundige Goocheltruc

Een onderzoeker genaamd Alexander Memming besloot dit mysterie te onderzoeken met een zeer specifieke, gecontroleerde experiment. Hij trainde geen nieuwe AI-modellen; in plaats daarvan gebruikte hij een reeks bestaande, publieke AI-modellen (genaamd Pythia en OPT) die varieerden van zeer klein tot behoorlijk groot. Hij gaf ze een eenvoudige taak: het optellen van twee grote getallen. De crux was dat hij precies kon controleren hoe lang het antwoord moest zijn (van 1 cijfer tot 6 cijfers).

Toen hij de prestaties van de AI bekijkte met de "vloeiende" manier van meten (controleren hoe vaak hij elk individueel cijfer goed had), waren de resultaten saai voorspelbaar. Naarmate de modellen groter werden, werden ze een klein beetje beter in het raden van elk cijfer, waarbij ze een vloeiende, zachte curve volgden. Er was geen plotselinge sprong. Het was also al het kijken naar een hardloper die mijl voor mijl langzaam sneller wordt.

Echter, wanneer hij overschakelde naar de "scherpe" manier van meten (controleren of het volledige antwoord perfect was), veranderde het verhaal volledig. Voor korte antwoorden was de AI oké. Maar voor lange antwoorden leek de AI een lange tijd vreselijk te falen, en toen—poef—begon hij plotseling perfecte scores te halen. Dit leek precies op de beroemde "emergence"-sprong waar iedereen het over had.

Het Geheime Ingrediënt: Een Simpele Formule

Memming realiseerde zich dat deze "sprong" helemaal geen magie was; het was gewoon wiskunde. Hij bouwde een simpel model om dit te verklaren. Stel je voor dat je een 6-cijferige wachtwoord probeert te raden. Als je 90% kans hebt om elk enkel cijfer correct te raden, klinkt dat geweldig. Maar als je alle zes de cijfers goed moet hebben om te winnen, daalt je kans naar ongeveer 53%. Als je slechts 50% kans hebt per cijfer, is je kans om het hele wachtwoord goed te hebben bijna nul.

De paper laat zien dat naarmate AI-modellen groter worden, hun "per-cijfer" nauwkeurigheid langzaam kruipt van 50% naar 90%. Omdat de test vereist dat je elk cijfer goed hebt, blijft de eindscore een lange tijd nabij nul, om vervolgens heel snel omhoog te schieten naar 100% zod

Technische Samenvatting: Voorspelbare Emergentie in Multi-Digit Rekenen

Probleemstelling
Het artikel behandelt een centraal spanningsveld in de studie van Large Language Models (LLMs): de discrepantie tussen vloeiende neurale schaalwetten (scaling laws) en de gerapporteerde "emergente" capaciteiten. Terwijl de pretraining loss een voorspelbare machtswet volgt met betrekking tot modelgrootte ( $N$ ), data ( $D$ ) en rekenkracht ( $C$ ), observeren beoefenaars vaak dat downstream-capaciteiten (bijv. multi-digit rekenen, instructie-opvolging) abrupt lijken te springen van bijna nul naar hoge prestaties bij specifieke schaal-drempels. De kernvraag is of deze scherpe sprongen echte, metriek-invariante fenomenen zijn die duiden op een nieuwe capaciteit, of dat ze artefacten zijn van discontinue evaluatiemetrieken (zoals exact-match nauwkeurigheid) toegepast op onderliggende vloeiende verbeteringen.

Methodologie
De auteurs voeren een nauwe, volledig gecontroleerde, louter op inferentie gebaseerde empirische studie uit om een falsifieerbare versie van deze vraag te testen: Kan de locatie en vorm van een "emergente" sprong in exact-match nauwkeurigheid kwantitatief vooraf worden voorspeld vanuit de vloeiende schaling van per-token nauwkeurigheid?

Taak: Multi-digit integer optellen. Deze taak is gekozen omdat het een canoniek voorbeeld is van emergentie en, cruciaal, omdat de antwoordlengte ( $L$ ) een exact controleerbare parameter is die de nonlineariteit van de metriek dicteert.
Modellen: De studie maakt gebruik van publieke, vrijgegeven checkpoints van drie modelfamilies zonder enige training of fine-tuning:
- Pythia: 8 groottes variërend van 70M tot 12B parameters (getraind op "The Pile").
- Pythia-deduped: Een gededupliceerde variant van het bovenstaande.
- OPT: 5 groottes variërend van 125M tot 6.7B parameters (andere architectuur/trainingspipeline).
Metrieken:
- Vloeiende Metrieken: Per-token cijfer-nauwkeurigheid ( $p$ ), per-token cross-entropy (NLL), Brier score en genormaliseerde edit distance. Deze worden gemeten onder teacher forcing op het correcte prefix.
- Discontinue Metriek: Exact-match nauwkeurigheid (EM), waarbij de gehele output-string moet overeenkomen met het doel.
Compositioneel Model: De auteurs stellen een model voor waarbij de exact-match nauwkeurigheid de waarschijnlijkheid is dat alle $L$ $L$ tokens correct zijn.
- Onafhankelijk Model: Veronderstelt dat per-token fouten onafhankelijk zijn, wat voorspelt: $EM \approx p^L$ .
- Correlatie-gecorrigeerd Model: Introduceert een enkele parameter $\rho$ om een zwakke positieve correlatie tussen token-fouten te verklaren (bijv. een model heeft ofwel het hele getal goed, of faalt op meerdere cijfers door carry-ketens). Dit levert een effectieve lengte op $L_{eff} = 1 + (L-1)(1-\rho)$ , wat voorspelt: $EM \approx p^{L_{eff}}$ .
Voorspellingsprotocol: De per-token schaalwet wordt gefit met behulp van alleen de vier kleinste modellen ( $N \le 1B$ ). Deze fit wordt vervolgens gebruikt om de exact-match curves en de emergentie-drempels van de grotere, uitgelichte modellen te extrapoleren.

Belangrijkste Resultaten

Onderliggende Vloeiende Schaling: Per-token cijfer-nauwkeurigheid stijgt vloeiend en monotoon met de schaal (van 0.47 bij 70M tot 0.91 bij 12B voor Pythia), waarbij een heldere machtswet met exponent $\alpha \approx 0.36$ wordt gevolgd. Er worden geen sprongen waargenomen in continue metrieken (NLL, Brier, edit distance).
Kwantitatieve Voorspelling van Sprongen: Het compositionele model met een enkele gefitte correlatieparameter ( $\rho = 0.17$ $ρ = 0.17$ ) reproduceert de volledige $6 \times 8$ $6 \times 8$ grid van exact-match curves (over 6 lengtes en 8 modelgroottes) met een $R^2$ $R^{2}$ van 0.999 en een mediane absolute fout van 0.004.
- Het naïeve onafhankelijke model ( $\rho=0$ ) bereikt een $R^2 = 0.98$ maar onderschat systematisch, wat bevestigt dat een zwakke positieve correlatie de primaire correctie is die nodig is.
Data Collapse: Wanneer de exact-match nauwkeurigheid wordt uitgezet tegen de herschikte coördinaat $u = L_{eff} \cdot (-\ln p)$ , klappen alle datapunten van alle lengtes, modelgroottes en modelfamilies samen op één enkele mastercurve $EM = e^{-u}$ (collapse RMSE $\le 0.013$ ). Dit demonstreert dat de familie van "emergentie"-curves een enkele vloeiende wet is die is herparameteriseerd door lengte.
Succesvolle Forecasting: Het fitten van de per-token wet op modellen $\le 1B$ voorspelt succesvol de uitgelichte sprongen van grotere modellen. De voorspelde emergentie-drempels komen overeen met de geobserveerde drempels binnen een gemiddelde absolute fout van 0.017 in exact-match nauwkeurigheid en 0.01 dex in de locatie van de drempel.
Falsificatietest: De studie vindt geen bewijs voor "super-compositioneel" gedrag (waarbij exact-match sneller stijgt dan $p^{L_{eff}}$ nabij de drempel) of sprongen in continue metrieken. Dit suggereert dat er binnen het bestudeerde schaalbereik geen echte, metriek-invariante capaciteitswissel plaatsvindt.

Betekenis en Claims
Het artikel claimt een kwantitatieve oplossing te bieden voor het emergentie-debat voor het specifieke geval van multi-digit rekenen binnen het bereik van 70M–12B parameters.

Aard van Emergentie: De auteurs concluderen dat voor deze taak "emergentie" niet een nieuwe capaciteit is die verschijnt bij een drempel, maar eerder een vloeiende per-token schaalwet die wordt bekeken door een lengte- $L$ nonlineariteit (de exact-match metriek).
Voorspelbaarheid: De scherpe sprongen zijn vooraf te voorspellen vanuit goedkope, kleinschalige metingen. De studie biedt een recept: meet per-unit metrieken op sub-drempel modellen, fit de schaalwet, schat het aantal sub-beslissingen ( $L$ ) in en een enkele correlatie ( $\rho$ ), en extrapoleer.
Reikwijdte: De auteurs benadrukken expliciet dat zij niet beweren dit emergentie-debat voor alle taken op te lossen (bijv. open-ended redeneren of instructie-opvolging laten zich mogelijk niet in een dergelijke eenvoudige kaart brengen), maar zij argumenteren dat voor taken die worden gescoord door all-or-nothing succes over een bekend aantal vloeiend verbeterende sub-beslissingen, het fenomeen een extrapolatieprobleem is, geen gokspel.

De studie benadrukt dat de "mirage" van emergentie wordt gecreëerd door de keuze van de metriek, en dat continue, hoog-resolutie metrieken de onderliggende gladheid van capaciteitsverbetering onthullen.

Technische Samenvatting: Voorspelbare Emergentie in Multi-Digit Rekenen

Meer zoals dit