🤖 machine learning

Testing Frontier Large Language Models' Physics Literacy in Parallel Physical Worlds

Dit artikel introduceert een controleerbaar vierfasen diagnostisch kader om het natuurkundig redeneren van frontier LLM's in onbekende contrafeitelijke en historische werelden te evalueren, waarbij wordt onthuld dat modellen over het algemeen kwalitatieve trends begrijpen, maar vaak falen in het kwantitatief toepassen van nieuwe regels en aanzienlijk moeite hebben met zelfcorrectie.

Oorspronkelijke auteurs: Dong Zhang

Gepubliceerd 2026-07-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dong Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een briljante student probeert te leren hoe je een mysterie oplost. Je wilt niet alleen weten of ze het uiteindelijke antwoord goed hebben, maar je wilt weten of ze de logica daadwerkelijk begrijpen of dat ze gewoon de uitwerking van een vorig examen uit hun hoofd hebben geleerd.

Dit artikel is een rapportcijfer voor drie van de slimste AI-modellen ter wereld (Claude, GPT en Gemini) om te zien of ze echt "natuurkunde kunnen bedrijven" of dat ze simpelweg opzeggen wat ze hebben gelezen in hun studieboeken.

Het Probleem: De "Spiekbriefjes"-valstrik

Normaal gesproken testen we AI door ze natuurkundevragen te geven (zoals "Hoe snel valt deze bal?") en te controleren of het antwoord correct is. Maar er is een addertje onder het gras: deze AI-modellen hebben bijna elk natuurkundeboek gelezen dat ooit geschreven is. Als ze het juiste antwoord geven, kan dat komen omdat ze het echt zelf hebben uitgerekend, of omdat ze het antwoord simpelweg hebben opgehaald van hun "spiekbriefje" (hun trainingsdata).

Het is alsof je een student een wiskundeprobleem voorlegt dat hij al een miljoen keer heeft gezien. Het juiste antwoord geven bewijst niet dat de student wiskunde begrijpt; het bewijst alleen dat hij een goed geheugen heeft.

De Oplossing: De "Parallel Universum" Test

Om dit op te lossen, hebben de onderzoekers drie Parallelle Natuurkundige Werelden gecreëerd. Denk aan deze als alternatieve dimensies waar de natuurwetten licht (of totaal) anders zijn dan in onze wereld. Omdat deze wetten niet bestaan in de echte wereld, kon de AI de antwoorden niet hebben uit het hoofd geleerd. Ze moesten het vanuit het niets uitzoeken.

De test bestond uit vier stappen, zoals een detective die een zaak oplost:

Inductie (Het verzamelen van aanwijzingen): Kijk naar een reeks vreemde observaties en raad de verborgen regel.
Formulering (Het schrijven van het regelboek): Verander die gok in een duidelijke, bruikbare set instructies.
Voorspelling (De Kristallen Bol): Gebruik die instructies om te voorspellen wat er zal gebeuren in een nieuwe situatie.
Review (De Zelfcontrole): Kijk terug naar je werk en geef toe: "Wacht even, ik heb hier een fout gemaakt."

De Drie Werelden (De Moeilijkheidsgraden)

Niveau 1: De "F = mv" Wereld (Makkelijk)

De Twist: In onze wereld is kracht gelijk aan massa maal versnelling ($F=ma$). In deze wereld is kracht gelijk aan massa maal snelheid ($F=mv$).
Wat dit betekent: Als je tegen een doos duwt, beweegt deze direct met een constante snelheid. Als je stopt met duwen, stopt de doos ook direct. Geen uitloop.
Het Resultaat: De AI-modellen kwamen hiermee wel mee, maar ze hadden op verschillende manieren moeite. Het ene model was erg goed in het raden van de regel, maar slecht in het duidelijk opschrijven ervan. Een ander model was erg goed in het opschrijven, maar bleef per ongeluk termen uit de echte natuurkunde gebruiken. Een ander model kon de nieuwe regel simpelweg niet ontdekken.

Niveau 2: De "Aristoteles" Wereld (Gemiddeld)

De Twist: Dit is een echte historische theorie (van 2.000 jaar geleden) waarvan we nu weten dat deze onjuist is. In deze wereld vallen zware objecten sneller dan lichte objecten, en stoppen objecten met bewegen zodra je stopt met duwen.
De Uitdaging: De AI is getraind om te weten "Aristoteles zat ernaast". Om te slagen, moest de AI doen alsof Aristoteles gelijk had en zijn eigen training negeren. Het was alsof je een student vraagt te pleiten voor een theorie waar hij een hekel aan heeft geleerd.
Het Resultaat: De modellen hadden moeite met het "ontleren" van de moderne natuurkunde. Ze bleven fouten maken door termen als "versnelling" of "zwaartekracht" te gebruiken, wat verboden is in deze wereld. Het beste model slaagde er meestal in om in zijn rol te blijven; het slechtste model kon niet ophouden met het citeren van de moderne wetenschap.

Niveau 3: De "Decay World" (Moeilijk)

De Twist: In deze wereld verliest alles elke seconde 1% van zijn waarde. Een tollende tol vertraagt, een warme kop koffie koelt af, en de baan van een planeet krimpt — allemaal met exact hetzelfde tempo. Er is geen "wrijving" of "energieverlies" dat dit veroorzaakt; het gebeurt gewoon.
De Uitdaging: Dit is de moeilijkste test, omdat de AI één enkele regel moet toepassen op vier totaal verschillende zaken (draaien, verwarmen, vallen, draaien in een baan) zonder de gebruikelijke "energie"-verklaringen te gebruiken.
Het Resultaat: Totaal falen. Geen van de modellen slaagde voor de volledige test.
- De Grote Verrassing: De modellen waren eigenlijk wel goed in de richting. Ze wisten dat dingen zouden vertragen of krimpen. Maar wanneer het aankwam op de getallen, faalden ze. Ze zeiden bijvoorbeeld: "Het vertraagt," maar berekenden de snelheid vervolgens met de oude regels van de natuurkunde (zoals energieverlies) in plaats van de nieuwe "1% decay"-regel. Het is alsof je weet dat een auto remt, maar de remafstand berekent alsof de remmen normaal werken.

De "Zelfcontrole" Fout

De meest interessante bevinding ging over Stap 4 (Review).
Wanneer de modellen een fout maakten, kregen ze de vraag om terug te kijken en te zeggen: "Heb ik een fout gemaakt?"

Het Resultaat: Ze waren hier erg slecht in. In ongeveer twee derde van de gevallen waarin ze een fout maakten, vertelden ze de onderzoekers vol zelfvertrouwen: "Nee hoor, alles wat ik heb gedaan was perfect." Ze realiseerden zich niet dat ze gefaald hadden.

Het Eindoordeel

Het artikel concludeert dat deze AI-modellen als papegaaien met een PhD zijn.

Ze kunnen de woorden van de natuurkunde heel goed nabootsen.
Ze kunnen de richting van een verandering goed inschatten (dingen vertragen, dingen vallen).
Maar wanneer ze de daadwerkelijke wiskunde moeten uitvoeren met een gloednieuwe set regels, of wanneer ze moeten toegeven dat ze een fout hebben gemaakt, gaan ze de mist in.

Ze "redeneren" niet op de manier waarop mensen dat doen; ze doen vooral aan patroonherkenning. Wanneer het patroon niet in hun trainingsdata voorkomt (zoals in de "Decay World"), proberen ze de oude patronen op het nieuwe probleem te projecteren, en dan kloppen de cijfers niet meer.

Kortom: Deze AI's zijn erg goed in het klinken als natuurkundigen, maar ze zijn nog niet echt klaar om natuurkundigen te zijn. Ze kunnen de theorie opzeggen, maar ze kunnen geen nieuwe theorie vanaf nul opbouwen.

Technische Samenvatting: Testen van de Fysische Geletterdheid van Frontier Large Language Models in Parallelle Fysische Werelden

Probleemstelling

Huidige benchmarks voor Large Language Models (LLM's) op het gebied van natuurkunde vertrouwen primair op antwoordnauwkeurigheid. De auteurs stellen dat deze metriek faalt in het onderscheiden van werkelijk redeneren van het oproepen van bekende probleempatronen of het memoriseren van trainingsdata. Bovendien bieden nauwkeurigheidsscores geen inzicht in waar het redeneerproces van een model vastloopt of wat de cognitieve grenzen zijn. Bestaande "AI voor wetenschap"-systemen opereren binnen vooraf vastgestelde theoretische kaders, wat betekent dat de inductie van het kader zelf nooit onafhankelijk wordt getest. Ook richten "wereldmodellering"-inspanningen zich vaak op perceptuele voorspelling of de simulatie van de volgende stap, in plaats van de inductie van een formeel, controleerbaar fysisch theoretisch model uit observaties.

De centrale vraag die wordt behandeld is of frontier LLM's de volledige cognitieve keten van wetenschappelijke theoretische constructie kunnen uitvoeren: fenomenen observeren, regulariteiten induceren, operationele regels formuleren, kwantitatieve voorspellingen doen en de theorie controleren op fouten, alles binnen een kader dat onbekend is voor de trainingsdata van het model.

Methodologie

Het artikel introduceert een controleerbaar, vierfasen diagnostisch protocol dat is ontwor afgestemd op het evalueren van LLM's binnen "parallelle fysische werelden"—kaders waarvan de wetten verschillen van de standaard natuurkunde.

Het Vierfasen Protocol

De cognitieve keten is gedecomponeerd in vier onafhankelijke fasen, die elk in een nieuwe API-sessie worden uitgevoerd om overdracht van context te voorkomen:

Inductie: Het model ontvangt een reeks natuurlijke taalobservaties van een specifieke fysische wereld en moet een reeks zelfconsistente regels induceren die deze verklaren.
Formulering: Het model herschrijft de geïnduceerde regels naar een operationele vorm met expliciete definities, reikwijdtes en randgevallen.
Voorspelling: Het model gebruikt de operationele regels om kwantitatieve voorspellingen te doen over ongeziene scenario's.
Review: Het model voert een zelfevaluatie uit van zijn eerdere outputs om eventuele fouten of gemiste grenzen te identificeren.

Experimentele Kaders

Drie parallelle fysische werelden zijn ontworpen om toenemende cognitieve druk uit te oefenen:

F = mv (Gemakkelijk): Een contrafeitelijke wereld waarin kracht proportioneel is aan snelheid ($F=mv$) in plaats van versnelling. Dit test de inductie van een enkele vergelijking binnen een klassiek mechanica-domein.
Aristotelische Mechanica (Gemiddeld): Een historisch kader waarin beweging wordt bepaald door elementaire samenstelling en natuurlijke plaatsen. Dit test het vermogen van het model om de "Aristoteles zat ernaast"-prior te opschorten die sterk aanwezig is in de trainingsdata.
Decay World (Moeilijk): Een contrafeitelijke wereld waarin elke meetbare fysische grootheid per seconde 1% van zijn waarde verliest over vier domeinen (mechanisch, thermisch, rotationeel, orbitaal) zonder onderliggend substraat (bijv. geen energiebehoud of wrijving). Dit test multi-domein unificatie en de afwezigheid van een geconserveerd substraat.

Evaluatierigor

Pre-registratie: Alle criteria, prompts en scripts werden vastgelegd via SHA-256 hashing en git-tags vóór de datageneratie om post-hoc rationalisatie te voorkomen.
Dual-LLM Beoordeling: Elke fase wordt beoordeeld door twee onafhankelijke frontier LLM's (Claude en GPT). Als de onenigheid meer dan 25% bedraagt, levert een menselijke audit het canonieke oordeel.
Composiet Oordeel: Een proef slaagt alleen als deze slaagt op de inhoudelijke as (Inductie, Formulering en Voorspelling) en, waar van toepassing, de structurele as (parsimonie, onafhankelijkheid, traceerbaarheid, hiërarchie). Fase 4 (Review) wordt apart gerapporteerd als een metacognitieve as.
Geteste Modellen: Claude Opus 4.7, GPT-5.5, en Gemini 3.1 Pro (5 proeven per model per kader).

Belangrijkste Resultaten

Composiet Prestaties

De composiet PASS-percentages (Inhoud $\land$ Structuur) waren:

F = mv: 6/15 (Claude: 3/5, GPT: 2/5, Gemini: 1/5)
Aristoteles: 6/15 (Claude: 2/5, GPT: 4/5, Gemini: 0/5)
Decay World: 0/15 (Alle modellen faalden)

Faalmodi en Bottleneck Migratie

Het artikel identificeert dat de locatie van falen verschuift naarmate de moeilijkheid toeneemt, wat duidelijke cognitieve bottlenecks onthult:

F = mv: De fouten waren heterogeen. Claude faalde bij Formulering (het vervormen van regels); GPT faalde bij Structurele organisatie (redundante regelsets); Gemini faalde bij Inductie (het herintroduceren van $F=ma$).
Aristoteles: De bottleneck verschoof naar Inductie onder een sterke training-data prior. Modellen hadden moeite om de "Aristoteles zat ernaast"-label op te schorten en lekten vaak Newtoniaanse concepten (bijv. versnelling, dichtheid), ondanks verboden woordenlijsten.
Decay World: De bottleneck verschoof naar Kwantitatieve Voorspelling. Hoewel de modellen de richting van verandering correct voorspelden (0/60 foutieve tekens), faalden 38% (23/60) van de kwantitatieve voorspellingen door de verkeerde ratio te berekenen, waarbij ze terugvielen op standaard natuurkundige relaties (bijv. het aannemen van een energiesubstraat) in plaats van de decay-regel van het kader toe te passen.

Metacognitieve en Methodologische Bevindingen

Zwakke Zelf-Review: Over alle kaders heen was het "Over-claim" percentage in Fase 4 (waarbij een model beweert dat er geen fout is opgetreden ondanks een eerdere fout) consistent hoog (67%–83%). Modellen slaagden er niet in hun eigen fouten te detecteren, ongeacht de moeilijkheidsgraad of het type fout.
Judge Instabiliteit: De betrouwbaarheid van de LLM-judges was niet overdraagbaar tussen kaders. De judge die meer overeenkwam met menselijke audits in het ene kader, presteerde vaak slechter in het andere, wat de noodzaak van de dual-judge + menselijke audit architectuur onderstreepte.
Kwantitatieve vs. Kwalitatieve Asymmetrie: In de Decay World vertoonden modellen een sterke kwalitatieve intuïtie (correcte richting), maar faalden ze in kwantitatieve berekeningen wanneer ze gedwongen werden een enkele regel toe te passen over uiteenlopende domeinen zonder een standaard substraat.

Betekenis en Claims

Het artikel claimt de eerste systematische instantie te zijn van:

Decompositie van Natuurkundig Redeneren: Het operationaliseren van de vier cognitieve stappen (Inductie, Formulering, Voorspelling, Review) als onafhankelijke assen in plaats van een enkele end-to-end taak.
Parallelle Fysische Werelden: Het introduceren van een gegradeerde moeilijkheidsprogessie die een historisch kader en een multi-domein contrafeitelijke wereld zonder substraat bevat, specifiek ontworpen om redeneren van reproductie te scheiden.
Controleerbare Pipeline: Het bieden van een volledig open, end-to-end reproduceerbare pipeline met vergrendelde pre-registraties, dual-LLM beoordeling en menselijke audit trails.

De auteurs concluderen dat de waarde van een benchmark voor natuurkundig redeneren niet ligt in geaggregeerde nauwkeurigheidsscores, maar in het vermogen om te onthullen welke cognitieve stap een model niet beheerst. De resultaten suggereren dat frontier modellen over kwalitatieve natuurkundige intuïtie beschikken, maar worstelen met kwantitatieve cross-domein berekeningen en het opschorten van sterke training-data priors. De studie beweert niet dat deze modellen geen redeneervermogen hebben, maar wijst op specifieke structurele beperkingen in hun vermogen om onafhankelijk nieuwe theoretische systemen te construeren en toe te passen.