From Kepler to Newton: Inductive Biases Guide Learned World Models in Transformers

Dit artikel toont aan dat door het introduceren van drie minimale inductieve biases — ruimtelijke gladheid, stabiliteit en temporele lokaliteit — generieke Transformers kunnen evolueren van loutere curve-fitters naar agenten die in staat zijn fundamentele natuurwetten zoals Newtoniaanse krachten te ontdekken, waardoor de kloof tussen hoge voorspellende nauwkeurigheid en werkelijk causaal begrip wordt overbrugd.

De kern

Stel je voor dat je een superintelligente robotstudent hebt. Je wilt hem leren hoe planeten rond de zon bewegen. Je geeft hem een enorm geschiedenisboek over waar de planeten zijn geweest, en je vraagt hem te raden waar ze de volgende keer zullen zijn.

De grote vraag die dit artikel stelt is: Kan deze robotstudent simpelweg het pad uit het hoofd leren, of kan hij de natuurkundige wetten die de beweging veroorzaken daadwerkelijk begrijpen?

De auteurs ontdekten dat de robot zonder speciale "steunwieltjes" (die zij inductieve biases noemen) een briljante onthouder is, maar een verschrikkelijke natuurkundige. Hij leert het pad perfect te tekenen, maar heeft geen idee waarom de planeet die weg aflegt.

Hier is het verhaal van hoe ze de robot hebben gerepareerd, opgedeeld in drie eenvoudige lessen.

Het Probleem: De Robot is een "Curve-Fitter", Geen "Natuurkundige"

Denk aan het brein van de robot als een enorme bibliotheek.

• De Kepler-benadering (Wat de robot van nature deed): De robot kijkt naar de laatste 1.000 punten van een reis van een planeet. Hij zegt: "Aha! Ik zie het patroon. Het is een ovale vorm. Ik zal gewoon de ovaal blijven tekenen." Het is als een kind dat een tekening overtrekt. Het krijgt de tekening goed, maar als je vraagt: "Waarom is het een ovaal?" of "Welke kracht trekt eraan?", heeft de robot geen antwoord. Hij kent alleen de vorm.
• De Newton-benadering (Wat we willen): We willen dat de robot zegt: "De zon trekt aan de planeet met zwaartekracht. Als ik de huidige snelheid en positie van de planeet weet, kan ik de aantrekkingskracht berekenen en de volgende stap voorspellen." Dit is het begrijpen van de oorzaak, niet alleen het gevolg.

Het artikel laat zien dat standaard AI-modellen (Transformers) van nature "overtrekkers" worden (Kepler) en falen om "rekenaars" (Newton) te worden. Om dit te repareren, voegden de auteurs drie specifieke "steunwieltjes" toe.

---

Les 1: Het "Gepixelde Kaart"-probleem (Ruimtelijke Gladheid)

De Analogie: Stel je voor dat je een robot probeert te leren navigeren door een stad.

• De Fout: Je geeft de robot een kaart waarbij elke straathoek een compleet andere, willekeurige kleur heeft. "Rood" is de hoek van 1e en Main. "Blauw" is de hoek van 1e en 2e. Hoewel deze hoeken direct naast elkaar liggen, ziet de robot ze als totaal ongerelateerd. Hij moet de relatie tussen "Rood" en "Blauw" telkens opnieuw leren.
• De Fout: De auteurs realiseerden zich dat wanneer ze de positie van de planeet in kleine "bakjes" (bins) hakten (zoals pixels), ze de natuurlijke gladheid van de ruimte doorbraken.
• De Oplossing: Ze maakten de "bakjes" groter (minder kleuren) of stopten volledig met het gebruik van bakjes en gaven de robot simpelweg de exacte coördinaten (zoals een GPS). Dit stelde de robot in staat om te zien dat "Punt A" direct naast "Punt B" ligt, wat hielp bij het opbouwen van een echte mentale kaart van de ruimte in plaats van een verwarrende bende van willekeurige codes.

Les 2: Het "Dominosteen-effect"-probleem (Ruimtelijke Stabiliteit)

De Analogie: Stel je voor dat je een spelletje "Telefoontje" speelt waarbij je een getal fluistert naar de volgende persoon.

• De Fout: Als de eerste persoon "50,1" fluistert en de tweede persoon hoort "50,2", dan hoort de derde persoon misschien "50,5", en tegen de tijd dat het bij de laatste persoon is, is het getal "100". In de natuurkunde geldt: als de robot een piepkleine fout maakt in het voorspellen van de positie van de planeet, wordt die fout bij elke stap groter, totdat de planeet de diepe ruimte in vliegt of tegen de zon botst.
• De Fout: De auteurs realiseerden zich dat standaard AI-training te "perfect" is. Het leert alleen van perfecte historische data.
• De Oplossing: Ze begonnen de trainingsdata van de robot expres te "breken". Ze voegden een beetje statische ruis toe (zoals statische elektriciteit op een radio) aan de geschiedenis die de robot las. Dit dwong de robot om te leren hoe hij moet herstellen van kleine fouten, waardoor hij robuust genoeg werd om de toekomst te voorspellen zonder dat de fouten zich opstapelden.

Les 3: Het "Lang Geheugen" vs. "Kort Geheugen"-probleem (Temporele Localiteit)

De Analogie: Dit is het belangrijkste deel.

• Het Lange Geheugen (Kepler): Stel je een robot voor die zich alles herinnert dat de afgelopen uur is gebeurd. Wanneer hij probeert te raden wat er nu gaat gebeuren, kijkt hij naar het hele uur aan geschiedenis om een grote curve te tekenen. Het is also als kijken naar een heel achtbaan-spoor om te raden waar de kar nu heen gaat. Het werkt voor de curve, maar het begrijpt de natuurkunde niet.
• Het Korte Geheugen (Newton): Stel je nu een robot voor die alleen de laatste twee seconden mag onthouden. Hij kan het hele spoor niet zien. Hij moet kijken naar waar de kar op dit moment is en hoe snel hij op dit moment gaat om te bepalen waar hij naartoe gaat.
• De Oplossing: De auteurs dwongen de robot om een kort geheugen te hebben. Ze zeiden tegen hem: "Je mag alleen naar het onmiddellijke verleden kijken."
• Het Resultaat: Omdat de robot niet langer kon vertrouwen op de "grote lijn" van de curve, werd hij gedwongen om de regels van het spel te ontdekken. Hij moest de onzichtbare "trekkracht" (zwaartekracht) berekenen die op de planeet werkt op dit moment om de volgende stap te voorspellen. Plotseling stopte de robot met het tekenen van ellipsen en begon hij krachten te berekenen. Hij werd een natuurkundige.

De Belangrijkste Conclusie

Het artikel concludeert dat hoe je het brein van de AI ontwerpt, bepaalt wat het leert.

• Als je het toestaat om alles te bekijken en een gepixelde kaart te gebruiken, wordt het een curve-fitter (Kepler). Het tekent mooie plaatjes maar begrijpt het universum niet.
• Als je het een gladde kaart geeft, het leert om met fouten om te gaan en het dwingt om een kort geheugen te hebben, wordt het een natuurkundige (Newton). Het ontdekt de wetten van de zwaartekracht uit zichzelf.

De auteurs laten zien dat je de natuurkundige wetten niet in de AI hoeft te programmeren. Je hoeft het alleen maar de juiste "inductieve biases" (de juiste trainingsbeperkingen) te geven, en de AI zal de wetten zelf ontdekken.

Technische samenvatting

Technische Samenvatting: Van Kepler naar Newton: Inductieve Biases Leiden Geleerde Wereldmodellen in Transformers

1. Probleemstelling

Het artikel adresseert een kritieke kloof in de capaciteiten van algemene fundamentele modellen (Transformers) met betrekking tot wetenschappelijke ontdekking. Hoewel voorgaande "AI Physicist"-benaderingen succesvol symbolische natuurwetten hebben hersteld, vertrouwen zij vaak op sterke, domeinspecifieke priors die de fysica effectief al "inbakken". Daartegenover staat recent werk door Vafa et al. (2025), dat aantoonde dat generieke Transformers, zelfs op GPT-2 schaal, er niet in slagen "wereldmodellen" te verwerven—causale abstracties die verklaren waarom verschijnselen optreden. In plaats daarvan bereiken deze modellen een hoge voorspellende nauwkeurigheid door geometrische kromlijnvitting (Kepleriaanse modellen) te leren, zonder de onderliggende dynamische wetten (Newtoniaanse mechanica) te vatten.

De centrale onderzoeksvraag is: Waarom falen Transformers in het leren van het Newtoniaanse wereldmodel voor planetaire beweging, en hoe kan dit worden opgelost? De auteurs stellen dat het falen voortkomt uit een gebrek aan specifieke, minimale inductieve biases, in plaats van een fundamentele beperking van de architectuur.

2. Methodologie

De auteurs onderzoeken systematisch de faalmodi van Transformers in een gecontroleerde setting: het voorspellen van 2D-planetaire beweging rond een centrale massa. Zij introduceren drie minimale inductieve biases om de kloof tussen geometrische voorspelling en het ontdekken van fysische wetten te overbruggen.

Probleemopstelling

De taak behelst het voorspellen van de volgende positie $\vec{r}_{t+1}$ van een planeet gegeven een geschiedenis van posities, geformuleerd als een autoregressief next-token prediction (NTP) probleem.

• Baseline: De opstelling volgt Vafa et al. (2025), waarbij continue coördinaten worden gediscretiseerd in tokens (bins) en worden voorspeld via cross-entropy loss.
• Voorgestelde Modificaties: De auteurs testen variaties in tokenisatie, verliesfuncties en aandachtmechanismen om specifieke inductieve biases te isoleren.

De Drie Inductieve Biases

Bias 1: Ruimtelijke Gladheid (Spatial Smoothness)

• Faalmodus: Standaard tokenisatie discretiseert continue ruimtelijke coördinaten in onafhankelijke bins met willekeurig geïnitialiseerde embeddings. Dit verbreekt de ruimtelijke gladheid; punten die fysiek dicht bij elkaar liggen maar in verschillende bins vallen, worden als ongerelateerd behandeld. De auteurs tonen aan dat zelfs met enorme hoeveelheden data (20B tokens), de geleerde embedding-ruimte er niet in slaagt een coherent ruimtelijk kaart te vormen (lage lineaire decodeerbaarheid, $R^2 \approx 0.86$).
• Oplossing:
  1. Geoptimaliseerde Tokenisatie: Het aanzienlijk verkleinen van de vocabulaire grootte ($V$) verbetert de emergentie van een ruimtelijke kaart aanzienlijk. De auteurs leiden een scaling law af die laat zien dat de omvang van de trainingsdata ($D$) minstens even snel moet toenemen als de vocabulaire grootte ($V$) om de kwaliteit van de kaart te behouden ($1-R^2 \propto D^{-\alpha_D} V^{\alpha_V}$).
  2. Continue Coördinaten: Alternatief biedt het gebruik van continue coördinaten zonder discretisatie inherent ruimtelijke gladheid, hoewel dit stabiliteitsuitdagingen met zich meebrengt.

Bias 2: Ruimtelijke Stabiliteit (Spatial Stability)

• Faalmodus: Autoregressieve modellen lijden onder foutaccumulatie, wat wordt verergerd wanneer continue variabelen (regressie) worden voorspeld vergeleken met discrete tokens (classificatie). Zonder mitigatie veroorzaken kleine initiële fouten dat de traject afwijkt (bijv. de planeet die naar oneindig vliegt of in de zon stort).
• Oplossing: Noisy Context Learning. De auteurs injecteren Gaussische ruis in de historische context tijdens de training. Dit dwingt het model om robuuste representaties te leren die niet afhankelijk zijn van perfecte eerdere staten.
• Resultaat: Met noisy context training presteert regressie (gebruikmakend van continue coördinaten en MSE loss) consistent beter dan classificatie (gediscretiseerde coördinaten met cross-entropy loss) over alle dataschalen heen.

Bias 3: Temporele Localiteit (Temporal Locality)

• Faalmodus: Standaard Transformers maken gebruik van lange contextlengtes (bijv. 1k+ tokens), waardoor het model toegang heeft tot de volledige geschiedenis van het traject. Dit moedigt het model aan om globale geometrische vormen (ellipsen) te fitten op basis van alle voorgaande punten—een "Kepleriaanse" benadering.
• Oplossing: Beperkt Aandachtsvenster (Restricted Attention Window). De auteurs beperken de contextlengte tot het directe verleden (bijv. alleen de laatste 2 staten). Dit legt de fysische assumptie op dat de toekomstige staat alleen afhangt van de lokale staat (positie en snelheid), consistent met de tweede wet van Newton (een tweede-orde differentiaalvergelijking).
• Resultaat: Deze beperking dwingt het model om de globale kromlijnvitting op te geven en in plaats daarvan de lokale zwaartekrachtkrachten ($\vec{F} \propto 1/r^2$) te leren schatten om het traject stap voor stap te simuleren—een "Newtoniaanse" benadering.

3. Belangrijkste Resultaten

1. Emergentie van een Ruimtelijke Kaart: De kwaliteit van de geleerde ruimtelijke kaart in getokeniseerde modellen is zeer gevoelig voor de vocabulaire grootte. Grote vocabularies (bijv. $V=7000$) vereisen onpraktische hoeveelheden data om een coherente kaart te leren. Het verkleinen van $V$ of het gebruik van continue coördinaten lost dit op.
2. Regressie versus Classificatie: In tegenstelling tot de bevindingen van Vafa et al., demonstreren de auteurs dat regressie met continue coördinaten superieur is aan classificatie, mits noisy context learning wordt gebruikt om de inferentie te stabiliseren.
3. Kepleriaanse versus Newtoniaanse Modellen:
   • Lange Context (Kepleriaans): Het model leert het globale elliptische traject te fitten met behulp van alle voorgaande staten. Het voorspelt door de curve voort te zetten.
   • Korte Context (Newtoniaans): Wanneer beperkt tot lokale staten, ontdekt het model de onderliggende krachtwet. Het voorspelt door de differentiaalvergelijking $F=ma$ te simuleren.
4. Hiërarchie van Inductieve Biases: Het artikel toont aan dat eenvoudige architecturale keuzes (tokenisatiestrategie, contextlengte) bepalen of een AI fungeert als een "kromlijnvitter" (Kepler) of een "fysicus" (Newton).

4. Betekenis en Claims

Het artikel beweert dat eenvoudige architecturale keuzes de bepalende factor zijn in de vraag of een algemeen doelmatig AI fysische wetten ontdekt of slechts data fitteert.

• Het overbruggen van de kloof: Het werk overbrugt de scheiding tussen "AI Physicist"-modellen (die sterke priors gebruiken) en generieke Transformers (die falen in het leren van fysica). Het toont aan dat generieke Transformers wel wereldmodellen kunnen leren als ze zijn uitgerust met minimale, domein-onafhankelijke inductieve biases (gladheid, stabiliteit, localiteit).
• Geautomatiseerde Wetenschappelijke Ontdekking: De resultaten dienen als een "kritieke litmus test" voor de visie van "AI Scientists". Als algemene architecturen niet in staat zijn om de bekende wetten van de klassieke mechanica te herstellen zonder specifieke engineering, kunnen zij niet worden vertrouwd voor het ontdekken van onbekende wetten.
• Mechanisme van Falen: Het artikel verheldert dat het falen van voorgaande grootschalige modellen niet te wijten was aan een gebrek aan capaciteit, maar aan de afwezigheid van specifieke inductieve biases (met name temporele localiteit en ruimtelijke stabiliteit) die nodig zijn om de emergentie van causale abstracties boven geometrische correlaties af te dwingen.

De auteurs concluderen dat door systematisch deze biases te introduceren, Transformers kunnen transformeren van het voorspellen van wat er gebeurt naar het begrijpen van waarom het gebeurt, wat een stap markeert richting geautomatiseerde wetenschappelijke ontdekking.