Technische Samenvatting: LLM-AutoSciLab

Probleemstelling

Wetenschappelijke ontdekking is fundamenteel een gesloten-lusproces waarbij hypotheses de dataverwerving sturen en waarnemingen de hypothesisruimte verfijnen. Echter, bestaande benaderingen reduceren dit vaak tot toezichtgeleerdheid over vaste, statische datasets. Deze statische formulering creëert een identificeerbaarheidsknelpunt: meerdere concurrerende hypotheses kunnen beperkte waargenomen data lokaal even goed passen, maar falen in generalisatie, waardoor het onmogelijk wordt om de ware onderliggende wet te herstellen. Bovendien, terwijl zelfrijdende laboratoria en actieve leersystemen adaptieve experimentatie mogelijk maken, optimaliseren zij doorgaans voor voorspellende prestaties of onzekerheidsreductie in plaats van mechanisme-identificatie. Bijgevolg worstelen zij om concurrerende hypotheses actief op te lossen onder beperkte experimentele budgetten.

Methodologie: LLM-AutoSciLab

De auteurs stellen LLM-AutoSciLab voor, een gesloten-luskader dat de focus verschuift van statische inferentie naar adaptieve dataverwerving. Het systeem modelleert wetenschappelijke ontdekking als een iteratief proces van hypothese-generatie, hypothese-geconditioneerde experimentselectie en mechanismeverfijning.

Kernalgoritme

Het kader functioneert als een iteratief algoritme over een dynamisch onderhouden hypotheseverzameling $H_t$:

1. Hypothese-Generatie: Om pad-afhankelijkheid en voortijdige instorting te mitigeren, ontkoppelt het systeem exploratie van synthese. Een kleinere LLM ($\pi_{small}$) genereert diverse kandidaat-hypothese geconditioneerd op de huidige staat (waarnemingen en geheugen). Een grotere LLM ($\pi_{large}$) synthetiseert deze vervolgens tot een gestructureerd voorstel dat een primaire hypothese, alternatieven en diagnostische zoekgebieden $R_t$ bevat.
2. Hypothese-Geconditioneerde Experimentselectie: Het verwervingsbeleid wordt beheerst door het meningsverschil tussen hypotheses binnen de zoekgebieden.
   • Verduidelijkingsmodus: Als de huidige betrouwbaarheidsscore $c_t$ onder een drempel $\tau_{conf}$ ligt, selecteert het systeem experimenten in gebieden waar kandidaat-mechanismen maximaal afwijkende voorspellingen doen. Dit maximaliseert het vermogen om te onderscheiden tussen concurrerende wetten.
   • Verfijningsmodus: Als de betrouwbaarheid hoog is, schakelt het systeem over naar het selecteren van experimenten die de fit of parametrisatie van de ondersteunde mechanismefamilie verbeteren.
3. Hypothese-Optimalisatie en Betrouwbaarheidsfeedback: Nieuwe waarnemingen worden opgenomen om kandidaat-hypothese opnieuw te fitten. Een betrouwbaarheidspoort past bootstrap-resampling toe om de stabiliteit van mechanismen over verschillende datasetsubsets te beoordelen. Consistente mechanismen worden met hogere betrouwbaarheid behouden, terwijl instabiele exemplaren worden gefilterd. Deze feedbacklus update het geheugen voor daaropvolgende iteraties.

Implementatie

• Ruggengraatmodellen: De primaire redenering maakt gebruik van GPT-4o-mini, terwijl Qwen/Qwen2.5-7B-Instruct-modellen worden gebruikt voor adaptieve ensemblevorming (het genereren van diverse hypotheses).
• Verfijning: Voor de ontdekking van vergelijkingen gebruikt het systeem PySR voor symbolische regressie en directe numerieke fitting. Voor grafiekontdekking maakt het gebruik van BFGS-optimalisatie.
• Geen Fine-tuning: Alle modellen opereren in inferentiemodus zonder taakspecifieke fine-tuning.

Belangrijkste Bijdragen

1. LLM-AutoSciLab Kader

Het artikel introduceert een gesloten-luskader dat LLM-gestuurde hypothese-generatie koppelt aan hypothese-geconditioneerd experimentontwerp. In tegenstelling tot eerdere methoden die LLM's behandelen als post-hoc verfijningen of passieve generators, gebruikt LLM-AutoSciLab hypotheses als mechanismen-niveau objecten om online experimentselectie actief te sturen, waardoor de lus wordt gesloten tussen generatie, verwerving en verfijning.

2. ActiveSciBench Benchmark Suite

Om dynamische, gesloten-lusontdekking te evalueren, introduceren de auteurs ActiveSciBench, een benchmarksuite bestaande uit twee datasets die ontdekking modelleren als een budget-beperkt proces dat gezamenlijke variabeleselectie en mechanismeherstel vereist:

• ActiveSciBench-Chem: 57 enzymkinetiek-taken waarbij de leerder symbolische snelheidswetten moet herstellen uit een 7-dimensionale biochemische interface, relevante variabelen en verborgen kinetische mechanismen moet identificeren (bijv. Michaelis-Menten, allosterische regulatie).
• ActiveSciBench-GRN: 45 genregulatie-netwerk-taken waarbij de leerder getekende, gerichte causale grafieken moet herstellen uit verstoring-respons experimenten, en moet onderscheid maken tussen activatie en repressie.

Deze benchmarks verschillen van bestaande benchmarks (zoals NewtonBench, passieve wet-benchmarks) door actieve verwerving te vereisen onder een vast budget, verborgen relevante variabelen, en het herstellen van zowel vergelijking-gestructureerde als grafiek-gestructureerde mechanismen.

3. Hypothese-Geconditioneerde Verwervingsstrategie

Het artikel stelt een verwervingsstrategie voor die experimenten selecteert om meningsverschil te maximaliseren onder expliciete kandidaat-mechanismen. Deze benadering prioriteert mechanisme-verduidelijking boven eenvoudige voorspellende onzekerheidsreductie, waardoor het herstellen van ware onderliggende wetten mogelijk wordt onder beperkte budgetten.

Experimentele Resultaten

De auteurs evalueerden LLM-AutoSciLab over NewtonBench, ActiveSciBench-Chem en ActiveSciBench-GRN, en vergeleken dit met symbolische regressie (PySR), Bayesiaanse optimalisatie, Bayesiaanse experimentontwerp en LLM-only baselines.

• NewtonBench (Symbolische Wet-Herstel): LLM-AutoSciLab behaalde 67,6% symbolische nauwkeurigheid en 81,5% exacte nauwkeurigheid, wat significant beter presteerde dan de beste baseline (Bayesiaanse Optimalisatie met 24,54% symbolische nauwkeurigheid). Dit onderstreept het vermogen van de methode om structurele vormen te herstellen in plaats van alleen numerieke fits.
• ActiveSciBench-Chem (Enzymkinetiek): De methode behaalde 35,1% symbolische nauwkeurigheid en 50,9% exacte nauwkeurigheid. Daarentegen behaalden LLM-only en code-ondersteunde baselines 0,00% symbolische nauwkeurigheid, waarbij ze vaak terugvielen op generieke schoolboeksjablonen in plaats van specifieke kinetische variabelen te identificeren.
• ActiveSciBench-GRN (Grafiekontdekking): LLM-AutoSciLab behaalde 31,1% exacte grafiekherstel en 98,15% teken-nauwkeurigheid, en presteerde beter dan offline grafiek-inferentiemethoden (bijv. GIES met 6,67% exacte nauwkeurigheid) en actieve baselines.
• Steekproefefficiëntie: Hypothese-gestuurde experimentatie bleek 2–5× meer steekproefefficiënt te zijn dan de sterkste concurrerende baselines. Bijvoorbeeld, op ActiveSciBench-GRN vereisten baselines 3,9–4,6× meer queries om de prestaties onder een vast budget van LLM-AutoSciLab te evenaren.

Betekenis en Claims

Het artikel beweert dat LLM-AutoSciLab aantoont dat het afstemmen van dataverwerving op hypothese-discriminatie in plaats van voorspellende nauwkeurigheid zowel de efficiëntie als de betrouwbaarheid van wetenschappelijke ontdekking verbetert. Door ontdekking te behandelen als een actief, budget-beperkt proces, overwint het kader de identificeerbaarheidsknelpunten van statische datasets.

De auteurs benadrukken dat hun aanpak het doel van dataverwerving verschuift van het reduceren van voorspellende onzekerheid naar het oplossen van structurele ambiguïteit tussen concurrerende mechanistische verklaringen. Dit maakt het mogelijk om ware heersende wetten en causale structuren te herstellen, zelfs wanneer relevante variabelen onbekend zijn en experimentele budgetten beperkt zijn.

Beperkingen: De auteurs merken op dat de huidige implementatie simulator-gebaseerde orakels gebruikt, wat betekent dat fysieke labruis, storingen en operationele kosten niet volledig worden gemodelleerd. De prestaties zijn ook afhankelijk van de kwaliteit van door LLM gegenereerde hypotheses en de dekking van de verfijningsruggengraten. Het kader is momenteel gericht op simulator-gebaseerde ontdekking in plaats van directe laboratoriumdeployering.