Technische Samenvatting: Een Probabilistisch Raamwerk voor LLM-gebaseerde Modelontdekking

Probleemstelling

Wetenschappelijke ontdekking leunt steeds vaker op mechanistische simulatormodellen die theorie integreren met data om interpretatie en voorspelling mogelijk te maken. Het construeren van deze modellen is echter arbeidsintensief en vereist aanzienlijke domeinexpertise en iteratieve handmatige verfijning. Hoewel Large Language Models (LLMs) een pad bieden om dit proces te automatiseren door direct uitvoerbare code te genereren en te herzien vanuit tekstuele formuleringen, worden bestaande LLM-gebaseerde ontdekkingssystemen doorgaans operationeel gedefinieerd via handmatig ontworpen heuristieken, agentrollen en interactieprotocollen.

Deze operationele benaderingen missen een expliciete probabilistische formulering, wat leidt tot drie primaire beperkingen:

1. Gebrek aan Interpreteerbaarheid: Het onderliggende inferentieprobleem wordt niet expliciet gesteld, wat faalmodi maskeert en principiële uitbreidingen belemmert.
2. Theoretische Kloof: Deze systemen laten zich niet van nature analyseren via theoretische convergentiegaranties.
3. Formele Redenering: Het is moeilijk om formeel te redeneren over de noodzaak of voldoendeheid van specifieke systeemcomponenten wanneer rollen vaag gespecificeerd zijn.

Het artikel stelt dat automatische modelontdekking niet moet worden geherformuleerd als een heuristische workflow, maar als een probabilistisch inferentieprobleem: het samplen uit een onbekende distributie $p(m|x_o)$ over mechanistische modellen $m$ (geïmplementeerd als code) die in staat zijn om observationele data $x_o$ te verklaren.

Methodologie: ModelSMC

De auteurs introduceren ModelSMC, een algoritme gebaseerd op Sequential Monte Carlo (SMC) sampling dat dit probabilistische raamwerk instantiëert. ModelSMC behandelt kandidaat-simulatormodellen als "particles" in een populatie, die iteratief worden voorgesteld, verfijnd en gewogen door een LLM.

Kernalgoritme

ModelSMC benadert de posterieure distributie $p(m|x_o)$ over $K$ iteraties met behulp van een populatie van $N$ particles. Elk particle $i$ in iteratie $k$ is een tuple $(m^i_k, w^i_k, c^i_k)$, die de modelcode, het gewicht en de contextuele feedback vertegenwoordigt. Het proces omvat drie stappen per iteratie:

1. Resampling: Het algoritme berekent de Effective Sample Size (ESS). Als de ESS onder een drempelwaarde $\tau_{ESS}$ valt, wordt systematische resampling toegepast om particles met een laag gewicht te verwijderen en hoog gewogen particles te repliceren, waardoor de populatie wordt gerejuvenerd.
2. Propagatie: Elk particle wordt gepropageerd via een mengkernel. Met een waarschijnlijkheid $\alpha$ wordt een particle ongewijzigd gekloond (om computationele middelen te sparen). Met een waarschijnlijkheid $1-\alpha$ wordt een nieuw modelimplementatie gesampled uit een LLM. De LLM is geconditioneerd op:
   • De ancestrale modellen van het geresamplede particle.
   • Contextuele feedback (prestatiebeoordelingen en diagnoses) uit voorgaande iteraties.
   • Een vaste taakspecifieke prompt ($c_{task}$) die domeinkennis en restricties codeert.
3. Weging: Elk gegenereerd model krijgt een gewicht dat proportioneel is aan de marginale waarschijnlijkheid van de geobserveerde data, $p(x_o|m)$. Omdat de ware likelihood vaak onhandelbaar is, gebruikt ModelSMC Neural Likelihood Estimation (NLE) met een surrogaat dichtheidsestimator (specifiek NLE-PFN, gebruikmakend van het TabPFN-fundamenteel model) om de likelihood te benaderen zonder dat expliciete parameteroptimalisatie of differentieerbare modellen vereist zijn.

Theoretische Fundering

Het raamwerk verbindt ModelSMC met de klassieke SMC-theorie. Onder geïdealiseerde aannames (exacte likelihood-evaluatie en een proposal-distributie die overeenkomt met de prior), bewijzen de auteurs dat ModelSMC een asymptotisch onbevooroordeelde particle-benadering biedt van de model-posterieur. Hoewel het praktische algoritme surrogaat-likelihoods en context-geconditioneerde LLM-proposals gebruikt, maakt deze theoretische fundering een formele analyse van stabiliteit en convergentie mogelijk die afwezig is in heuristische agentic workflows.

Belangrijkste Bijdragen

1. Probabilistische Formulering: Het artikel herkadert automatische LLM-gebaseerde modelontdekking als probabilistische inferentie over uitvoerbare programma's, waarbij voorstel, verfijning en selectie onder één enkele doelstelling worden verenigd.
2. ModelSMC Algoritme: Het stelt een populatie-gebaseerde SMC-methode voor waarbij LLM's dienen als de proposal-distributie, wat exploratie van complexe, open eindige modelruimtes (honderden regels code) mogelijk maakt zonder handmatig ontworpen restricties.
3. Empirische Validatie: De methode wordt gevalideerd op synthetische taken en real-world datasets in de neurowetenschappen (Hodgkin-Huxley neuron dynamica) en farmacologie (nier-aldosteron regulatie), waarbij het concurrerende prestaties laat zien ten opzichte van baselines.
4. Theoretische Analyse: Het demonstreert hoe bestaande SMC-theorie kan worden toegepast om automatische modelontdekking te analyseren, wat een lens biedt voor het begrijpen van convergentie en de rol van systeemcomponenten.

Experimentele Resultaten

De auteurs evalueerden ModelSMC tegen twee baselines: FunSearch+ (een evolutionaire zoekmethode aangepast voor modelontdekking met parameteroptimalisatie) en ModelSMC N=1 (een sequentiële, niet-probabilistische variant met een enkel particle).

• Kwantitatieve Prestaties: Over synthetische (SIR epidemiologisch model) en real-world taken (Nier farmacologie, Hodgkin-Huxley) bereikte ModelSMC concurrerende marginale en conditionele likelihoods die vergelijkbaar zijn met FunSearch+ en ModelSMC N=1.
• Mechanistische Ontdekking:
  • Nier Model: ModelSMC slaagde erin ontbrekende regulatoire dynamica voor aldosteron te infereren, waarbij een nauwe familie van feedbackmechanismen werd ontdekt die nauw aansloot bij de grondwaarheid, ondanks beperkte data.
  • Hodgkin-Huxley Model: Het algoritme identificeerde structurele tekortkomingen in het baseline model en kende consistent een hoge posterieure waarde toe aan extensies die betrokken waren bij M-type langzame kaliumstromen ($I_M$) gekoppeld aan secundaire kanalen (bijv. persistente natrium $I_{NaP}$ of HCN $I_h$).
• Posterieur Analyse: In tegen tegenover methoden die een enkele puntinschatting produceren, levert ModelSMC een posterieure distributie over modellen. Dit stelde de auteurs in staat om structurele tekortkomingen versus parameteronzekerheid te diagnosticeren en robuuste conclusies te identificeren (bijv. de noodzaak van $I_M$), terwijl symmetrieën en ambiguïteiten in de modelruimte werden onthuld.
• Ablatie Studies: Het raamwerk bleek robuust tegen variaties in weegschema's (MSE vs. likelihood), simulatiebudgetten, promptcomplexiteit en LLM-backbones (Claude Sonnet 4.6 vs. GPT-5 mini).

Betekenis en Claims

Het artikel beweert dat het herformuleren van LLM-gestuurde modelontdekking als probabilistische inferentie een verenigd raamwerk biedt dat:

• Aannames Verheldert: Stelt het inferentieprobleem expliciet, waardoor faalmodi en aannames transparant worden.
• Rigor Mogelijk Maakt: Staat principiële garanties toe op stabiliteit en convergentie afgeleid van SMC-theorie.
• Analyse Faciliteert: Maakt formele redenering over systeemcomponenten mogelijk, wat systematische ablatiestudies en uitbreidingen ondersteunt.
• Interpreteerbaarheid Verbetert: Door te marginaliseren over parameters en een populatie van gewogen modellen te behouden, onthult het welke mechanistische hypothesen sterk worden ondersteund, welke worden uitgesloten en welke onzeker blijven, in plaats van slechts één "beste" model te selecteren.

De auteurs benadrukken dat hun primaire bijdrage methodologisch is: het bieden van een algemeen inferentieraamwerk waar vragen over wetenschappelijke nieuwheid en validiteit zinvol gesteld kunnen worden. Zij beweren niet dat ModelSMC inherent nieuwe wetenschappelijke inzichten genereert in alle gevallen, maar merken op dat dergelijke uitkomsten afhangen van de specifieke toepassing, data en modellering-aannames. Het raamwerk is toepasbaar in settings waar kandidaat-modellen uitgevoerd kunnen worden en betrouwbare likelihood-benaderingen toelaten.