📊 statistics

DiscoverPhysics: Benchmarking LLMs for Out-of-the-Box Scientific Thinking

Het artikel introduceert DiscoverPhysics, een interactieve benchmark met 22 gesimuleerde werelden met niet-standaard fysica om het vermogen van geavanceerde LLM's om langdurig wetenschappelijk redenering te bedrijven te evalueren door experimenten te ontwerpen en onderliggende wetten af te leiden, waarbij wordt gebleken dat hoewel toponderdelen veelbelovend zijn, ze nog steeds moeite hebben met het blootleggen van latente structuren en dat voorspellende nauwkeurigheid geen conceptueel begrip garandeert.

Oorspronkelijke auteurs: Matt L. Wiemann, Lindsay M. Smith, Peter Melchior, Siddharth Mishra-Sharma, Andrew Gordon Wilson, Pavel Izmailov, Carolina Cuesta-Lázaro

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Matt L. Wiemann, Lindsay M. Smith, Peter Melchior, Siddharth Mishra-Sharma, Andrew Gordon Wilson, Pavel Izmailov, Carolina Cuesta-Lázaro

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Kan AI een Echte Wetenschapper Zijn?

Stel je voor dat je een slimme AI in een videospelwereld plakt waar de natuurwetten volledig verzonnen zijn. Misschien wordt de zwaartekracht zwakker naarmate je verder gaat, of misschien zijn er onzichtbare "spook"-deeltjes die dingen rondtrekken die je niet kunt zien.

De onderzoekers achter dit paper wilden weten: Kan een AI de regels van dit nep-universum uitzoeken door er gewoon mee te spelen?

Ze creëerden een benchmark genaamd DiscoverPhysics. Het is als een "eindexamen" voor AI, maar in plaats van de AI te vragen feiten uit een leerboek op te zeggen (zoals "Wat is de Tweede Wet van Newton?"), vragen ze de AI om de wet vanaf nul te verzinnen.

Hoe de Test Werkt: Het "Zwarte Doos"-Spel

Denk aan de AI als een detective en het universum als een afgesloten kamer met een mysterie.

De Opzet: De AI wordt in een gesimuleerde wereld gegooid. Het kan de "broncode" (de echte wiskundige regels) niet zien. Het ziet alleen deeltjes die rond bewegen.
Het Hulpmiddel: De AI heeft een "toverstaf" (een N-body-simulator). Het kan zeggen: "Ik wil een deeltje lanceren van hier met deze snelheid," en de simulator vertelt het waar het deeltje eindigt.
Het Proces:
- De AI lanceert een paar deeltjes en kijkt ze aan.
- Het doet een gok: "Misschien werkt zwaartekracht als $1/r^2$ ?"
- Het test die gok. Als de deeltjes niet bewegen zoals de gok voorspelt, moet de AI van gedachten veranderen.
- Het herhaalt dit voor veel rondes, waarbij het slimmere experimenten ontwerpt om de AI op het verkeerde been te zetten.
Het Eindexamen: De AI moet twee dingen inleveren:
- Een Verhaal: Een uitleg in gewone taal over hoe de wereld werkt.
- De Code: Een Python-programma dat precies kan voorspellen waar elk deeltje naartoe gaat.

De Twee Manieren waarop Ze de AI Beoordeelden

De onderzoekers realiseerden zich dat het alleen goed krijgen van de wiskunde niet genoeg is. In de echte wetenschap moet je begrijpen waarom dingen gebeuren, niet alleen voorspellen wat er gebeurt. Dus, ze beoordeelden de AI op twee dingen:

De "Kristallen Bol"-Score (Voorspellende Nauwkeurigheid): Voorspelt de code van de AI waar de deeltjes zullen landen? Als de AI zegt "De bal komt hier" en hij landt daar, krijgt het punten.
De "Leraar"-Score (Conceptueel Begrip): Een deskundige mens (en een tweede AI die optreedt als leraar) leest het verhaal van de AI. Begreep de AI de verborgen regels echt?
- Voorbeeld: Als de wereld onzichtbare "donkere materie" heeft die dingen aantrekt, maar de AI zegt gewoon "Zwaartekracht is sterker dan normaal", krijgt het een lage score. Het had de wiskunde per ongeluk goed, maar het miste het concept.

Wat Ze Vonden

Ze testten 11 van de slimste beschikbare AI-modellen (inclusief topmodellen van OpenAI, Anthropic en open-source communities). Dit is wat er gebeurde:

1. De "Slimste" AI's Blijven Strijden
Zelfs de beste AI's haalden slechts ongeveer 50% van de werelden. Ze zijn geweldig in feiten onthouden, maar als ze nieuwe regels moeten ontdekken, komen ze vast te zitten.

2. Het "Verborgen Valstrik"-Probleem
De AI's faalden het vaakst wanneer het universum verborgen structuren had.

Analogie: Stel je voor dat je probeert uit te zoeken waarom een auto vertraagt. Als je alleen naar de motor kijkt, zou je kunnen raden dat de remmen slecht zijn. Maar als er een gigantische magneet onder de weg zit (verborgen donkere materie) die de auto terugtrekt, zul je het antwoord niet vinden tenzij je naar de magneet zoekt.
De AI's bleven proberen de beweging te verklaren met standaardregels (zoals normale zwaartekracht) en weigerden te geloven dat er "spookdeeltjes" of extra dimensies bij betrokken waren.

3. Goede Wiskunde $\neq$ Goed Begrip
Een model (GPT-5.5) was geweldig in het voorspellen waar de deeltjes zouden landen (lage fout), maar zijn uitleg over waarom was vaak verkeerd. Het was als een student die het antwoordensleutel had uit het hoofd geleerd, maar de les niet begreep.
Een ander model (Claude Opus) was beter in het uitzoeken van de concepten (zoals beseffen dat de tijd de regels veranderde), zelfs als zijn wiskundige voorspellingen iets minder perfect waren.

4. De Kloof tussen "Gissen" en "Experimenteren"
De onderzoekers testten of de AI's daadwerkelijk goede experimenten ontwierpen of gewoon darten gooiden tegen een bord.

Gestuurde Modus: De AI kiest waar het deeltjes lanceert.
Willekeurige Modus: De computer lanceert deeltjes willekeurig, en de AI kijkt alleen toe.
Resultaat: De top-AI's deden het veel beter wanneer ze hun eigen experimenten konden kiezen. Ze leerden de juiste vragen te stellen. Veel open-source-modellen deden het echter even slecht in beide modi, wat suggereert dat ze niet echt "naast" over hun experimenten nadachten; ze gisten gewoon.

Het Oordeel

Het paper concludeert dat terwijl AI steeds beter wordt in het oplossen van natuurkundeproblemen, het nog leert hoe het natuurkunde moet doen.

Huidige AI: Als een briljante student die een wiskundeprobleem kan oplossen als je de formule geeft, maar moeite heeft als je vraagt de formule uit te vinden op basis van een paar rommelige waarnemingen.
De Toekomst: Om een echte wetenschappelijke partner te zijn, moet AI beter worden in "redeneren op lange termijn"—het vermogen om te zeggen: "Mijn huidige theorie is verkeerd, ik moet een volledig ander soort experiment proberen om de verborgen waarheid te vinden."

Kortom: De AI kan de toekomst voorspellen, maar het heeft nog steeds hulp nodig om het waarom achter het mysterie te begrijpen.

Technische Samenvatting: DiscoverPhysics

Probleemstelling

Hoewel geavanceerde Large Language Models (LLM's) sterke prestaties laten zien op statische benchmarks van wetenschappelijke kennis (bijv. GPQA) en redeneertaken, blijft hun vermogen om echte wetenschappelijke ontdekkingen te doen onbewezen. Bestaande evaluaties vertrouwen vaak op uit het hoofd geleerde feiten, symbolische regressie op vaste datasets, of interactieve taken waarbij de onderliggende natuurwetten canoniek zijn met slechts verschuivende parameters. Deze benaderingen falen in het testen van de kern van wetenschappelijke ontdekking: het vermogen om nieuwe hypothesen te genereren, informatieve experimenten te ontwerpen om concurrerende theorieën te onderscheiden, en conceptuele modellen te herzien op basis van ruisachtige waarnemingen. Specifiek testen huidige benchmarks niet adequaat of agenten latente structuren kunnen onthullen (zoals verborgen deeltjessoorten of extra dimensies) of onderscheid kunnen maken tussen signaal en ruis in niet-canonieke fysieke omgevingen.

Methodologie

De auteurs introduceren DISCOVERPHYSICS, een interactieve benchmark ontworpen om LLM-agenten te evalueren op de ontdekking van natuurwetten in gesimuleerde werelden die expres afwijken van standaard natuurkunde uit schoolboeken.

Benchmarkstructuur

Gesimuleerde Werelden: De benchmark bestaat uit 22 distincte werelden (11 publiek, 11 privé) die worden geregeerd door niet-canonieke krachtwetten. Voorbeelden omvatten afgeschermde (Yukawa) en fractie-macht zwaartekracht, koppelingen tussen meerdere deeltjessoorten, verborgen donkere-materie-achtige deeltjes, niet-coördinaatvrije fysica, tijdvariërende interacties en extra dimensies.
Agent-interactie: Een LLM-agent krijgt de taak om de verborgen wet van een specifieke wereld te ontdekken. De agent opereert binnen een vast budget van experimentierondes ( $n$ ).
De Cyclus:
1. Experimentvoorstel: De agent stelt testdeeltjes voor die worden gedefinieerd door beginposities, snelheden, ladingen en meettijdstippen.
2. Simulatie: Een $N$ -lichaamssimulator (met integratoren zoals Yoshida4 of RK4) genereert ruwe trajectdata op basis van de verborgen grondwaarheidswet.
3. Hypotheseverfijning: De agent analyseert de geretourneerde trajectdata, stelt kandidaat-wetten voor en gebruikt optioneel een tool om parameters te fitten via scipy.optimize.
4. Iteratie: Deze cyclus herhaalt zich totdat het budget is uitgeput.
Eindoutput: De agent moet twee items indienen:
1. Een natuurlijke taalverklaring van de fysica van de wereld.
2. Een Python-implementatie van de afgeleide wet (een functie om deeltjes te laten evolueren).

Evaluatiemetrics

De benchmark hanteert een tweedimensionaal evaluatiekader om zowel voorspellende nauwkeurigheid als conceptueel begrip te beoordelen:

Traject MSE: De gemiddelde kwadratische Euclidische afstand tussen de door de agent voorspelde trajecten en de grondwaarheidstrajecten op terughoudende testdeeltjes (ruisvrij). Dit meet voorspellende nauwkeurigheid.
Verklaringsscore: Een LLM-rechter (Claude Opus 4) evalueert de natuurlijke taalverklaring van de agent tegen een door mensen geschreven rubriek (gescoord 0–10). Dit meet conceptueel begrip en het vermogen om structurele kenmerken te identificeren (bijv. afscherming, verborgen soorten).
Slagingscriteria: Een wereld wordt als "geslaagd" beschouwd als de genormaliseerde traject-MSE onder de 0,1 ligt (10% fout) en de verklaringsscore $\ge 0,9$ is.

Experimentele Opstelling

De auteurs evalueerden 11 geavanceerde en open-source LLM's (inclusief propriëtaire modellen zoals Claude Opus 4.7, GPT-5.5, en open modellen zoals Qwen3.5 en Llama-3.3). Experimenten werden uitgevoerd over 5 willekeurige seeds per model per wereld. De studie omvatte ook ablatiestudies die agent-gestuurde experimenten vergeleken met gerandomiseerde experimenten en verschillende niveaus van waarnemingsruis.

Belangrijkste Resultaten

Algemene Prestaties: Zelfs de sterkste geavanceerde agenten (Claude Opus 4.7 en GPT-5.5) slagen slechts ongeveer 50% van de werelden binnen vijf pogingen. De prestaties dalen aanzienlijk bij werelden die de identificatie van latente structuren vereisen (bijv. verborgen donkere materie, extra dimensies).
Voorspellende Nauwkeurigheid versus Conceptueel Begrip: De metrics ontkoppelen. GPT-5.5 behaalt de laagste traject-MSE (hoogste voorspellende nauwkeurigheid), maar scoort vaak lager op de kwaliteit van de verklaring in vergelijking met Claude Opus 4.7. Dit suggereert dat GPT-5.5 de neiging heeft om data goed te fitten door vroeg flexibele vergelijkingen aan te nemen, maar faalt in het herzien van zijn conceptuele beeld, terwijl Claude Opus 4.7 een betere hypotheseverfijning toont door middel van experimenten.
Experimenteel Ontwerp: Er is een significante kloof tussen geleide en gerandomiseerde experimenten voor topmodellen. Claude Opus 4.7 toont een monotoon verbetering in slagingspercentage en verklaringsscores naarmate het aantal experimentierondes toeneemt, wat aangeeft dat het leert van nieuwe data en informatieve experimenten ontwerpt. Daarentegen tonen open-source modellen weinig verschil tussen geleide en willekeurige modi, wat suggereert dat ze hun experimentele budget niet effectief benutten.
Open versus Propriëtaire Modellen: Open-source modellen lopen aanzienlijk achter op commerciële modellen, zowel in het ontwerpen van experimenten als in het trekken van conclusies. Het beste open model (Qwen3.5) lost slechts ongeveer 10% van de werelden op in vijf pogingen.
Foutpatronen: Analyse van foutpatronen onthult specifieke zwaktes:
- GPT-5.5: Falen concentreert zich op "het overwegen van het juiste type wet" (het missen van latente structuren) en het hanteren van numerieke singulariteiten in ODE-integratoren.
- Claude Opus 4.7: Falen is meer verspreid over experimenteel ontwerp (falen om tussen hypothesen te discrimineren), het schrijven van code die verbaal redeneren trouw implementeert, het onderscheiden van signaal van ruis, en het weten wanneer te stoppen met experimenteren.

Betekenis en Claims

Het artikel beweert dat DISCOVERPHYSICS de sterkste huidige test vertegenwoordigt van het vermogen van LLM's om het slecht gedefinieerde, iteratieve onderzoeksproces van hypothese-generatie en -verfijning uit te voeren op basis van zelfvoorgestelde experimenten.

Voorbij Memoriseren: De benchmark toont aan dat hoge prestaties op kennisgebaseerde benchmarks niet garanderen dat men in staat is om nieuwe natuurwetten te ontdekken.
De Noodzaak van Experimentatie: De resultaten benadrukken dat wetenschappelijke ontdekking in de natuurwetenschappen kritiek afhankelijk is van het vermogen om inzichtelijke experimenten te ontwerpen, niet alleen van redeneren over statische data.
Noodzaak van Dubbele Evaluatie: Het artikel betoogt dat voorspellende nauwkeurigheid (MSE) alleen onvoldoende is voor het evalueren van wetenschappelijke ontdekking; een model kan data perfect fitten zonder de onderliggende principes te begrijpen. Het tweedimensionale evaluatiekader vangt op of agenten data slechts interpoleren of de genererende mechanismen identificeren.
Huidige Beperkingen: De auteurs concluderen bescheiden dat hoewel geavanceerde modellen een aanzienlijke verbetering vertegenwoordigen, ze nog niet in staat zijn tot volledig autonoom wetenschappelijk onderzoek, vooral wanneer ze geconfronteerd worden met niet-canonieke fysica die het afleiden van verborgen vrijheidsgraden vereist. De benchmark dient als een hulpmiddel om vooruitgang te meten in dit specifieke, hoog-difficultaire domein.