🤖 AI

Model Discovery Agent: LLM-assisted Bayesian experiment design for data-efficient discovery of mechanistic world models

Dit artikel introduceert de Model Discovery Agent (MDA), een raamwerk dat grote taalmodellen voor hypothesegeneratie synergetisch combineert met Bayesiaans experimenteel ontwerp om efficiënt latente mechanistische wereldmodellen te ontdekken uit beperkte interventionele data over benchmarks in fysica, chemie en biologie.

Oorspronkelijke auteurs: Kevin Murphy

Gepubliceerd 2026-08-11

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kevin Murphy

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar je kunt niet alleen maar toekijken hoe de verdachte zich gedraagt. Je moet met hen interageren, specifieke vragen stellen en zien hoe ze reageren om de waarheid te achterhalen. In de wereld van de wetenschap is dit het verschil tussen het simpelweg observeren van de natuur (passieve observatie) en het uitvoeren van een experiment (actieve interventie). Soms kunnen twee volkomen verschillende regels precies verklaren wat je ziet wanneer je alleen maar toekijkt. Maar als je het systeem prikkel je — zeg door een variabele te veranderen of een kracht uit te oefenen — zullen de twee regels beginnen te verschillen. Om te achterhalen welke regel daadwerkelijk echt is, heb je een mechanistisch model nodig: een diep begrip van hoe dingen werken, en niet alleen een flitsende curve die de punten op een grafiek verbindt.

Het probleem is dat experimenten duur zijn. Of het nu gaat om het mengen van chemicaliën in een laboratorium, het testen van een nieuw medicijn op patiënten, of het lanceren van een sonde in de ruimte, elke test kost tijd, geld en middelen. Je kunt niet zomaar een miljoen experimenten uitvoeren om er zeker van te zijn. Daarom is de grote uitdaging voor wetenschappers data-efficiëntie: hoe leer je de ware regels van het universum met de kleinste hoeveelheid experimenten? Dit artikel pakt die vraag aan door een digitale detective te bouwen die de creatieve brainstormsessies van een superintelligente AI combineert met de rigoureuze wiskunde van de kansrekening. Het gaat erom de computer te leren een betere wetenschapper te zijn dan hij voorheen was, niet door meer feiten te kennen, maar door betere vragen te stellen.

De Model Discovery Agent: Een detective met een kristallen bol

De auteur introduceert een nieuw systeem genaamd de Model Discovery Agent (MDA). Denk aan de MDA als een partnerschap tussen twee zeer verschillende personages. De eerste is een Large Language Model (LLM), dat fungeert als een creatieve brainstormpartner. Het heeft miljoenen wetenschappelijke artikelen gelezen en weet veel over hoe de wereld zou kunnen werken. Wanneer de agent wat data ziet, stelt het LLM een lijst van mogelijke "verdachten" voor — verschillende wiskundige formules of mechanismen die kunnen verklaren wat er gebeurt.

Het tweede personage is een Bayesiaanse statisticus, die fungeert als een strikte, logische rechter. Deze gokt niet zomaar; hij berekent de kansen. Hij neemt de lijst met verdachten van het LLM en gebruikt een methode genaamd Sequential Monte Carlo om ze af te wegen tegen de data. Hij vraagt: "Gezien wat we tot nu toe hebben gezien, hoe waarschijnlijk is het dat elke verdachte de waarheid is?" Hij gebruikt ook een concept genaamd Value of Information (VoI). Stel dat je een beperkt aantal vragen hebt die je aan een getuige kunt stellen. VoI is de wiskunde die je vertelt welke enkele vraag de meeste helderheid zal geven, waardoor je in staat bent om de meeste verdachten in één keer uit te sluiten.

Hier zit de magische truc: het LLM stelt een nieuw idee voor, de statisticus test het, en als het idee niet perfect bij de data past, geeft het systeem niet zoma van zich. In plaats daarvan realiseert het zich: "De waarheid zit niet in onze huidige lijst met verdachten." Dit wordt de M-open setting genoemd. Het systeem vraf de LLM vervolgens om een nieuw, voorheen onvoorstelbaar mechanisme te bedenken om aan de lijst toe te voegen. Het is alsof een detective beseft dat de moordenaar niet een van de gebruikelijke verdachten is, en daarom op pad gaat om een nieuw persoon te vinden om te ondervragen.

Het "Aha!"-moment: Leren van weinig aanwijzingen

Het artikel test deze detective op drie verschillende "plaatsen delicten" uit de echte wereld van de wetenschap: natuurkunde, chemie en biologie.

Natuurkunde (De Krachtwetten): De agent moest de onzichtbare kracht ontdekken die twee deeltjes naar elkaar toe trekt. Sommige krachten zien er hetzelfde uit wanneer je dichtbij bent, maar gedragen zich heel anders wanneer je ver weg bent. De MDA realiseerde zich snel dat het, om het verschil te zien, een sonde ver weg moest lanceren. Door dit specifieke, lang reikende experiment te kiezen, kreeg de agent een "aha!"-moment. De data maakte de ware wet plotseling duidelijker dan alle valse wetten, en de agent leerde de juiste formule in slechts een handvol pogingen.
Chemie (Enzymreactiesnelheden): Hier moest de agent ontdekken hoe snel een chemische reactie plaatsvindt op basis van temperatuur, pH en de hoeveelheid ingrediënten. Andere AI-methoden probeerden simpelweg de cijfers perfect te fitten, waardoor ze complexe, onzinnige formules creëerden die er weliswaar goed uitzagen, maar fysiek nergens op sloegen. De MDA vond echter de eenvoudige, ware chemische regel. Het was veel sneller in het leren van de waarheid en had veel minder experimenten nodig dan andere methoden om het juist te krijgen.
Biologie (Neuronale Spikes): Dit was de moeilijkste test. De agent moest ontdekken hoe een enkele neuron in de hersenen elektrische signalen afgeeft. De data was ruisachtig en rommelig, zoals proberen een fluistering te horen in een storm. De MDA gebruikte een slimme truc: in plaats van te proberen elke kleine trilling in de spanning te matchen, keek het naar het grote plaatje, zoals het tellen van hoe vaak de neuron "spiked". Het ontwierp experimenten die specifieke gedragingen zouden triggeren, waardoor het in staat was om de verborgen kanalen binnen de neuron te identificeren die de signalen veroorzaakten.

De Resultaten: Slimmer, niet harder

Het artikel laat zien dat de MDA aanzienlijk meer data-efficiënt is dan andere methoden. In eenvoudige termen: het leert dezelfde hoeveelheid waarheid met veel minder experimenten. Bij de tests voor natuurkunde en chemie bereikte de MDA een hoge nauwkeurigheid met slechts ongeveer 8 experimenten, terwijl andere AI-agents tientallen of zelfs honderden nodig hadden om in de buurt te komen.

Cruciaal is dat het artikel betoogt dat het hebben van een krachtige AI die formules kan raden, niet genoeg is. Als je een AI simpelweg laat raden en de data laat fitten, vindt het vaak overdreven complexe oplossingen — ingewikkelde wiskunde die er perfect uitziet, maar fysiek onjuist is. De MDA vermijdt dit door de "Value of Information" te gebruiken om experimenten te ontwerpen die specifal de knopen doorhakken tussen concurrerende theorieën. Het dwingt het systeem om zijn ware aard te onthullen.

De auteur laat ook zien dat deze methode werkt, zelfs wanneer de data ruis bevat en het ware mechanisme iets is dat de AI nog niet eerder heeft gezien. Door de mogelijkheid van het LLM om nieuwe mogelijkheden te verbeelden te combineren met het vermogen van de statisticus om deze rigoureus te testen, kan de MDA nieuwe wetenschappelijke wetten ontdekken met een fractie van de data die gewoonlijk vereist is. Het gaat niet alleen om sneller zijn; het gaat om het vermogen om de waarheid te vinden wanneer de aanwijzingen schaars zijn en de ruis luid is.

Technische Samenvatting: Model Discovery Agent (MDA)

Probleemstelling

De centrale uitdaging die wordt aangepakt, is de data-efficiënte ontdekking van mechanistische wereldmodellen die in staat zijn om interventionele "wat als"-vragen te beantwoorden (bijv. het voorspellen van de uitkomst van een medicijn dat nooit is toegediend of een beleid dat nooit is ingevoerd). Hoewel passieve observationele data flexibele curven kunnen fitten, laat dit vaak de onderliggende mechanismen onontdekt vanwege degeneratie; verschillende causale structuren kunnen overeenstemmen met alle geobserveerde data, maar van mening verschillen onder interventie.

Wetenschappelijke ontdekking vereist het identificeren van deze latente mechanismen, maar experimenten zijn kostbaar. Het operationele probleem is data-efficiëntie: het identificeren van het juiste mechanisme met zo min mogelijk interventies. Bovendien vindt wetenschappelijke ontdekking vaak plaats in een M-open setting, waarbij het ware mechanisme buiten de huidige hypotheseklasse kan liggen. Standaard Bayesiaanse methoden worstelen hierbij, omdat ze de hypotheseruimte niet kunnen uitbreiden wanneer het beste huidige model faalt.

Methodologie: De Model Discovery Agent (MDA)

De MDA koppelt een Large Language Model (LLM) aan standaard Bayesiaanse machinerie om in een gesloten lus van ontdekking en ontwerp te opereren. Het systeem werkt in drie primaire fasen per ronde:

1. Hypothesegeneratie en -expansie (De Proposer)

LLM als Proposer: Gegeven een natuurlijke taalbeschrijving van het domein en de huidige observationele data (inclusief residuele fouten), stelt een LLM kandidaat mechanistische structuren (modellen) voor.
M-Open Adaptatie: De agent hanteert een predictieve controle. Als de beste huidige hypothese (MAP-model) faalt bij een out-of-sample interventionele voorspelling (residuele fout $r^*$ overschrijdt drempelwaarde $\tau_r$ ), triggert het systeem een M-open expansie. De LLM wordt geprompt om een nieuw, voorheen niet overwogen mechanisme voor te stellen, voorzien van brede priors. Dit stelt de agent in staat om nieuwe kennis te ontdekken in plaats dat hij beperkt blijft tot een vaste bibliotheek.
Beheer van de Hypothesepool: Omgekeerd, als de posterior concentreert op een goed passend model, wordt de poolgrootte verkleind om proliferatie van bijna identieke hypothesen te voorkomen.

2. Bayesiaanse Inferentie (SMC)

Sequential Monte Carlo (SMC): De agent onderhoudt een posterior distributie over modellen $p(m|D)$ en hun parameters $p(\theta|m, D)$ . Dit wordt berekend met behulp van adaptive-tempered SMC.
Berekening van Evidence: De marginale waarschijnlijkheid (model evidence) $Z_m$ wordt berekend voor elke kandidaat. Deze integratie over parameters biedt een automatische Occam's razor straf, waarbij voorkeur wordt gegeven aan eenvoudigere modellen die de data goed verklaren.
Omgaan met Intractabele Likelihoods: Voor stochastische systemen (bijv. neuronen met kanaalruis) waar de likelihood intractabel is, gebruikt MDA Simulation-Based Inference (SBI). Het maakt gebruik van bootstrap particle filters of leert synthetische likelihoods via samenvattende statistieken (bijv. spike counts) om de posterior te benaderen.

3. Experimentontwerp (Value of Information)

VoI Maximalisatie: In plaats van willekeurige exploratie of greedige exploitatie, selecteert de agent het volgende experiment $\xi$ door de Value of Information (VoI) te maximaliseren.
Mechanisme Discriminatie: De VoI-doelstelling wordt gedefinieerd als de wederzijdse informatie tussen de modelklasse en de experimentele uitkomst: $\xi^* = \arg\max_\xi I(M; Y_\xi | D)$ . In de praktijk komt dit voor bij Gaussische observatieruis neer op het maximaliseren van de tussen-klasse variantie van de predictieve gemiddelden. De agent kiest de interventie waar de huidige overtuigingen over verschillende mechanismen het meest van mening verschillen, waardoor de informatiewinst bij het onderscheiden van deze concurrerende causale modellen wordt gemaximaliseerd.

Belangrijkste Bijdragen

Het MDA-framework: Een nieuwe agent-architectuur die LLM-gebaseerde hypothesegeneratie integreert met Bayesiaanse sequentiële inferentie en Value-of-Information experimentontwerp.
M-Open Ontdekking: Een methode voor het afhandelen van de "M-open" regime waarbij de waarheid buiten de hypotheseklasse ligt. Door predictieve controles te gebruiken om LLM-gestuurde hypotheese-expansie te triggeren, kan het systeem nieuwe mechanismen ontdekken en deze verfijnen via ontworpen experimenten.
Nieuwe Benchmark (NEURONBENCH): De creatie van een nieuwe benchmark voor enkelvoudige neuronale elektrofysiologie met partiële observeerbaarheid, stochasticiteit (via kanaalruis) en verborgen mechanismen die niet uit het geheugen kunnen worden opgeroepen, waarmee de hiaten in bestaande benchmarks wordt geadresseerd.
State-of-the-Art Prestaties: Demonstratie van superieure data-efficiëntie en interventionele voorspellingsnauwkeurigheid in fysica-, chemie- en biologie-domeinen vergeleken met pure LLM-baselines en eerdere SOTA-methoden.

Experimentele Resultaten

De MDA werd geëvalueerd op drie benchmarks:

FORCEBENCH (Fysica): Het ontdekken van onbekende krachtwetten (bijv. Yukawa, Coulomb) in 2D deeltjessystemen. MDA bereikte een voordeel van ~5x in data-efficiëntie ten opken de pure LLM-agents, waarbij dezelfde nauwkeurigheid werd bereikt met 8 experimenten die ~41 experimenten vereisten voor ongetemde LLM-baselines. Het slaagde erin exacte symbolische vormen te herstellen in 74% van de runs, tegenover 31% voor de baseline.
CHEMBENCH (Chemie): Het ontdekken van enzymkinetische reactiewetten vanuit 7 controleerbare inputs. MDA bereikte zijn prestatieplafond binnen ~8 experimenten (56% symbolische nauwkeurigheid), terwijl de vorige SOTA (LLM-AutoSciLab) 60 experimenten nodig had om slechts 42% te bereiken. Cruciaal was dat MDA de "high-exact/low-symbolic" pathologie vermeed waarbij baselines getallen fitten met onfysische expressies.
NEURONBENCH (Biologie): Het ontdekken van ionkanaalmechanismen in Hodgkin-Huxley-modellen. MDA presteerde significant beter dan in-context LLM-forecasting en random design. In de stochastische variant (NEURONBENCHSTOCH) handelde MDA intractabele likelihoods succesvol af met particle filters en geleerde samenvattende statistieken, waarbij het robuuste modelselectie bereikte waar deterministische likelihoods catastrofaal faalden.

Betekenis en Claims

Het artikel claimt dat ontdekking en ontwerp elkaar versterken: de experimentontwerpstap identificeert de nieuwe mechanismen die door de ontdekkingsstap worden voorgesteld, en de geïdentificeerde mechanismen verbeteren de voorspellingen, wat de detectie van subtiele residuen mogelijk maakt die verdere ontdekkingen triggeren.

De auteur stelt dat MDA een nieuwe State-of-the-Art (SOTA) vestigt in data-efficiënt model leren en betrouwbare interventionele forecasting. De betekenis ligt in het bewegen voorbij passieve curve-fitting of puur generatieve LLM-benaderingen naar een systeem dat actief redeneert over onzekerheid, zijn eigen hypotheseruimte uitbreidt wanneer dat nodig is, en experimenten ontwerpt die specifiek gericht zijn op het doorbreken van degeneraties tussen concurrerende causale modellen. Het werk demonstreert dat het combineren van de voorkennis van LLM's met rigoureuze Bayesiaanse inferentie een robuuste, interpreteerbare en zeer sample-efficiënte wetenschappelijke ontdekkingsmachine oplevert.