💬 NLP

AutoDiscovery: Open-ended Scientific Discovery via Bayesian Surprise

Dit paper introduceert AutoDiscovery, een methode voor open-ended wetenschappelijke ontdekking die Bayesian surprise en Monte Carlo tree search gebruikt om een LLM autonoom te laten sturen naar verrassende hypothesen, wat resulteert in meer ontdekkingen die zowel door het model als door domeinexperts als verrassend worden beoordeeld.

Oorspronkelijke auteurs: Dhruv Agarwal, Bodhisattwa Prasad Majumder, Reece Adamson, Megha Chakravorty, Satvika Reddy Gavireddy, Aditya Parashar, Harshit Surana, Bhavana Dalvi Mishra, Andrew McCallum, Ashish Sabharwal, Peter C

Gepubliceerd 2026-02-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Dhruv Agarwal, Bodhisattwa Prasad Majumder, Reece Adamson, Megha Chakravorty, Satvika Reddy Gavireddy, Aditya Parashar, Harshit Surana, Bhavana Dalvi Mishra, Andrew McCallum, Ashish Sabharwal, Peter Clark

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, onbekende bibliotheek binnenstapt. Deze bibliotheek bevat alle mogelijke feiten over de wereld: waarom hurricanes meer schade aanrichten, welke medicijnen werken, of hoe mensen geld besparen.

De meeste wetenschappers (en de AI's die ze tot nu toe hebben gebouwd) werken als zoekers met een specifieke opdracht. Iemand zegt: "Zoek het antwoord op vraag X." De AI gaat dan op zoek naar dat ene antwoord.

Maar wat als we de AI de leiding geven? Wat als we zeggen: "Ga zelf op ontdekkingstocht, zonder specifieke vraag, en zoek naar de meest verrassende dingen die je kunt vinden"? Dat is precies wat dit paper, AUTODISCOVERY, doet.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Verveling" van de AI

Als je een AI vraagt om vanalles te bedenken, doet hij vaak twee dingen die niet werken:

Het "Willekeurige": Hij gooit duizenden willekeurige ideeën de lucht in. Maar in een wereld vol ideeën is de kans dat je iets echt interessants vindt door puur geluk, net zo groot als het vinden van een naald in een hooiberg.
Het "Menselijke": Je vraagt de AI: "Wat vind jij interessant?" Het probleem is dat "interessant" voor mensen heel subjectief is. Wat voor de één spannend is, is voor de ander saai. Een AI kan dit moeilijk goed inschatten.

2. De Oplossing: De "Verrassings-meter" (Bayesian Surprise)

De auteurs van dit paper hebben een slimme truc bedacht. In plaats van te vragen wat "interessant" is, vragen ze: "Wat maakt de AI verbaasd?"

Stel je voor dat de AI een oude overtuiging heeft. Bijvoorbeeld: "Ik denk dat de naam van een orkaan niets te maken heeft met de schade die hij aanricht." (Dit is zijn voorafgaande geloof).

Dan doet de AI een experiment (een berekening met echte data) en ziet hij plotseling: "Oh! Orkanen met vrouwelijke namen lijken inderdaad meer schade aan te richten!"

De AI moet nu zijn oude overtuiging volledig bijstellen. Die schok, dat moment waarop zijn wereldbeeld verandert, noemen ze Bayesian Surprise.

Als de AI iets ziet dat hij al wist, is er geen verrassing (geen nieuwe kennis).
Als de AI iets ziet dat zijn geloof volledig omvergooit, is er een grote verrassing. Dat is waar de echte ontdekkingen zitten!

3. De Reis: De "Boom van Mogelijkheden" (MCTS)

De wereld van mogelijke ontdekkingen is zo groot dat je niet alles kunt proberen. De auteurs gebruiken een strategie die lijkt op het spelen van een complex bordspel (zoals Go), genaamd Monte Carlo Tree Search.

Stel je een boom voor:

De stam is je startpunt.
De takken zijn nieuwe hypotheses (ideeën).
De bladeren zijn de resultaten van experimenten.

De AI klimt door deze boom, maar hij is slim:

Hij kijkt niet alleen naar takken die hij al kent (exploitatie).
Hij probeert ook nieuwe, onbekende takken uit (exploratie).
De Beloning: Hij krijgt punten voor elke tak die hem verbaast. Hoe meer zijn geloof verandert, hoe meer punten hij krijgt.

Hierdoor "groeit" de boom in de richting van de meest verrassende ontdekkingen, in plaats van willekeurig rond te dwalen.

4. Het Resultaat: De "Verrassings-Expeditie"

De auteurs hebben dit systeem getest op 21 echte datasets (over zaken als economie, biologie en gedrag).

De uitkomst: De AI vond 5% tot 29% meer verrassende ontdekkingen dan andere methoden.
Menselijke check: Ze vroegen echte experts (mensen met een doctoraat) om de ontdekkingen te beoordelen. Het bleek dat 2 op de 3 ontdekkingen die door de AI als "verrassend" werden gezien, ook door de mensen als verrassend werden beschouwd.

Samenvattend in één zin:

AUTODISCOVERY is een robot-wetenschapper die niet zoekt naar antwoorden op vragen die jij stelt, maar die zelf op pad gaat om de dingen te vinden die hem het meest verrassen, omdat die verrassing vaak leidt tot de meest belangrijke nieuwe wetenschappelijke inzichten.

Het is alsof je een kompas hebt dat niet naar het noorden wijst, maar naar de plek waar de lucht het meest verandert. En daar vinden we de schatten.

Titel: AUTODISCOVERY: Open-ended Wetenschappelijke Ontdekking via Bayesiaanse Verrassing

1. Het Probleem

De huidige staat van de kunst in Autonome Wetenschappelijke Ontdekking (ASD) is voornamelijk "doelgericht" (goal-driven). In deze setting moet een menselijke gebruiker een specifieke onderzoeksvraag stellen, waarna een Large Language Model (LLM) hypothesen genereert, experimenten ontwerpt, code schrijft en resultaten analyseert om die vraag te beantwoorden.

De uitdaging ligt in het open-ended scenario, waarbij het AI-systeem zelf moet beslissen welke vragen het moet stellen en welke hypothesen het moet onderzoeken, zonder vooraf gedefinieerde doelen. Bestaande methoden voor open-ended ontdekking hebben twee grote tekortkomingen:

Diversiteitsheuristieken: Deze proberen alleen diverse hypothesen te genereren, maar falen vaak omdat de zoekruimte van hypothesen in wetenschappelijke domeinen te groot is om zinnig te navigeren.
Subjectieve proxies: Methoden die proberen "menselijke interesse" of "nieuwheid" te modelleren, lijden onder de subjectiviteit van deze concepten. Zelfs menselijke experts zijn het vaak oneens over wat interessant is, wat maakt dat geautomatiseerde proxies onbetrouwbaar zijn.

De kernvraag is: Hoe kan een AI-systeem autonoom een enorme zoekruimte van hypothesen verkennen en prioriteren op basis van een objectieve, automatische maatstaf voor wetenschappelijke waarde?

2. Methodologie: AUTODISCOVERY

Het paper introduceert AUTODISCOVERY, een methode die wetenschappelijke exploratie stuurt via Bayesiaanse Verrassing (Bayesian Surprise). Het idee is dat een ontdekking waardevol is als deze een significante verschuiving veroorzaakt in de overtuigingen van de waarnemer (het LLM).

A. Het Kader: Bayesiaanse Verrassing

In plaats van te vertrouwen op menselijke oordelen, gebruikt het systeem het LLM zelf als de "waarnemer".

Prior en Posterior: Voor een gegeven hypothese $H$ en dataset $D$ , schat het LLM eerst zijn prior overtuigingen ( $\theta_H$ ) over de waarheid van de hypothese. Daarna voert het een experiment uit (verificatieprocedure $V_D$ ) en schat het de posterior overtuigingen na het zien van de resultaten.
Belief Elicitation: Om deze verdelingen te schatten, vraagt het systeem het LLM meerdere keren (via sampling) om een waar/fout oordeel over de hypothese, zowel voor als na het experiment. Deze antwoorden worden gebruikt om Beta-verdelingen te construeren.
Surprisal (Verrassing): De "surprisal" wordt berekend als de Bayesiaanse Kullback-Leibler (KL) divergentie tussen de prior en posterior verdeling. Een hoge surprisal betekent dat de nieuwe data de overtuiging van het model drastisch heeft veranderd (bijv. van "waarschijnlijk waar" naar "waarschijnlijk onwaar" of vice versa).

B. Zoekstrategie: MCTS met Progressieve Verbreding

Om de enorme ruimte van geneste hypothesen efficiënt te verkennen, gebruikt AUTODISCOVERY Monte Carlo Tree Search (MCTS) met Progressive Widening.

Boomstructuur: Elke knoop in de boom vertegenwoordigt een hypothese.
Selectie (UCT): Het algoritme gebruikt de Upper Confidence Bound (UCB) formule om een balans te vinden tussen exploitatie (het kiezen van knopen met hoge historische surprisal) en exploratie (het bezoeken van nieuwe, onbekende gebieden).
Progressive Widening: Omdat het onmogelijk is om alle mogelijke kinderen van een knoop te genereren, wordt het aantal toegestane kinderen dynamisch verhoogd op basis van het aantal bezoeken aan een knoop. Dit voorkomt dat de zoektocht te vroeg vastloopt in één tak en zorgt voor een gebalanceerde doorzoeking.
Reward: De "beloning" voor het uitbreiden van een knoop is de berekende Bayesiaanse surprisal.

C. Agent Architectuur

Het systeem gebruikt een multi-agent architectuur bestaande uit:

Hypothesis Generator: Genereert nieuwe hypothesen.
Experiment Programmer/Executor: Schrijft en voert Python-code uit om data te analyseren.
Analyst/Reviewer: Analyseert resultaten en beoordeelt de validiteit.
Belief Agent: Evalueert de prior en posterior overtuigingen.
Deduplicatie: Om semantische duplicaten te vermijden, wordt na de zoektocht een Hiërarchisch Agglomeratief Clustering (HAC) proces gebruikt, ondersteund door LLM-redenering, om identieke hypothesen te groeperen.

3. Belangrijkste Bijdragen

Formele Definitie: De eerste formele definitie van "verrassing" in de context van autonome wetenschappelijke ontdekking, gebaseerd op Bayesiaanse theorie.
Novel Methode (AutoDS): Een nieuwe aanpak die Bayesiaanse verrassing combineert met MCTS voor open-ended zoektochten zonder vooraf gedefinieerde doelen.
Empirische Validatie: Uitgebreide evaluatie op 21 real-world datasets uit domeinen zoals biologie, economie, financiën en gedragswetenschappen.
Menselijke Correlatie: Bewijs dat het optimaliseren voor Bayesiaanse verrassing van het LLM ook resulteert in ontdekkingen die verrassend zijn voor menselijke domeinexperts.

4. Resultaten

De evaluatie werd uitgevoerd met een vast budget van 500 hypothesen per dataset.

Prestatie vs. Baselines: AUTODISCOVERY (MCTS met surprisal) presteerde aanzienlijk beter dan sterke baselines zoals:
- Herhaald onafhankelijk sampling (Repetition).
- Lineaire zoektocht (Last-K).
- Greedy tree search (alleen exploitatie).
- Beam search.
- Resultaat: AUTODISCOVERY produceerde 5% tot 29% meer "verrassende" ontdekkingen dan de concurrenten.
Menselijke Evaluatie: In een studie met meer dan 500 hypothesen beoordeeld door STEM-experts (MS/PhD), bleek dat 67% van de door AUTODISCOVERY gevonden verrassende ontdekkingen ook als verrassend werd ervaren door de menselijke experts. Dit is significant hoger dan andere automatische metrics (zoals "interessant" of "nut").
Zoekefficiëntie: MCTS behield zijn efficiëntie over de tijd, terwijl andere methoden (zoals Greedy) snel afnamen in prestatie naarmate de zoektocht vorderde.
Domeinvariatie: Er werden verschillen waargenomen in hoe overtuigingen verschoven per domein; sommige domeinen leidden vaker tot het weerleggen van hypothesen dan tot bevestiging.

5. Betekenis en Conclusie

Het paper toont aan dat Bayesiaanse verrassing een robuuste, objectieve en effectieve proxy is om autonome wetenschappelijke ontdekking te sturen, zonder afhankelijk te zijn van menselijke input of subjectieve definities van "nieuwheid".

Schaalbaarheid: De methode is schaalbaar en kan grote zoekruimtes navigeren die voor mensen te complex zijn om handmatig te doorzoeken.
Toekomstperspectief: Hoewel het systeem nog niet volledig vervangt voor menselijke wetenschappers (en nog steeds menselijke toezicht en peer review nodig heeft), biedt AUTODISCOVERY een krachtig raamwerk om de wetenschappelijke vooruitgang te versnellen door AI-systemen in staat te stellen hun eigen "kennisfrontier" te verleggen.
Technische Innovatie: De combinatie van LLM's als Bayesiaanse waarnemers met geavanceerde zoekalgoritmen (MCTS) opent nieuwe wegen voor AI-gestuurde data-analyse en hypothese-generatie.

Kortom, AUTODISCOVERY beweert dat het niet gaat om het beantwoorden van vragen die mensen al hebben, maar om het vinden van de vragen die het meest leiden tot fundamentele nieuwe inzichten, gemeten aan de hand van hoe sterk ze de overtuigingen van de AI zelf veranderen.