🔬 materials science

Toward Auditable AI Scientists: A Hypothesis Evolution Protocol for LLM Agents

Dit artikel introduceert het Hypothesis Evolution Protocol (HEP), een framework dat large language model-agenten voorziet van expliciete, controleerbare operaties voor hypothesegeneratie, -toetsing en geloofswijziging, waardoor transparante en verifieerbare door AI gedreven wetenschappelijke ontdekking mogelijk wordt.

Oorspronkelijke auteurs: Izumi Takahara, Teruyasu Mizoguchi

Gepubliceerd 2026-07-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Izumi Takahara, Teruyasu Mizoguchi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robotdetective hebt ingehuurd om een mysterie op te lossen over waarom bepaalde materialen specifieke kristalvormen vormen. In het verleden renden deze robotdetectives (LLM-agenten) rond, probeerden dingen uit en krabbelden hun gedachten in een slordig, ongeorganiseerd schrift. Als je hen toen vroeg: "Waarom dacht je dat?" of "Hoe heb je van gedachten veranderd?", wezen ze alleen naar een rommelige pagina tekst. Het was onmogelijk te zeggen of ze echt leerden van hun fouten of dat ze gewoon wild afgingen.

De auteurs van dit paper zeggen: "Dat is niet goed genoeg voor echte wetenschap." Dus hebben ze een nieuwe set regels gebouwd, de Hypothesis Evolution Protocol (HEP). Zie HEP niet als een schrift, maar als een strenge, transparante rechtszaal waar de robotdetective zijn zaak moet presenteren.

De Oude Manier vs. De Nieuwe Rechtszaal

In de oude "planning-stijl" aanpak sprong de robot simpelweg van "Ik heb een idee" naar "Laten we het testen" naar "Hier is het resultaat", zonder ooit duidelijk te vermelden: "Ik geloof nu dat dit idee voor 80% waar is vanwege deze specifieke test." Het was als een detective die een zaak oplost, maar weigert het bewijslastlogboek te tonen.

Met HEP wordt elk idee dat de robot heeft behandeld als een hardnekkig personage in een verhaal.

De Geboorte: Wanneer de robot met een nieuw idee komt (een hypothese), krijgt het een uniek ID-kaart en een "geloofsscore" (een waarschijnlijkheid van 0 tot 1) die laat zien hoe zeker de robot is.
Het Proces: De robot voert tests uit. Als de testresultaten goed zijn, worden ze aan het idee gekoppeld als bewijs in een dossier.
Het Vonnis: De geloofsscore van het idee gaat omhoog of omlaag op basis van alleen dat bewijs.
- Als de score 0,8 of hoger bereikt, wordt het idee verklaard "Onderbouwd" (Schuldig aan waarheid!).
- Als de score daalt naar 0,2 of lager, wordt het verklaard "Weerlegd" (Onschuldig, of gewoon fout).
- Als het in het midden blijft hangen, gaat het in "Ductieve staat" (Slapend tot nieuw bewijs het weer wakker maakt).

Het coolste deel? De robot kan niet valsspelen. Hij kan niet simpelweg zeggen: "Ik heb van gedachten veranderd omdat ik dat voelde." Hij moet het specifieke stuk bewijs laten zien dat de score heeft beïnvloed. En als de robot een stap probeert over te slaan, zegt het systeem: "Nee, probeer het opnieuw."

Wat de Robot Eigenlijk Deed

De onderzoekers testten dit nieuwe systeem op drie lastige materiaalkundige puzzels. Ze vroegen de robot om uit te zoeken welke kristalstructuur een specifiek computermodel verkiest voor verschillende families van verbindingen en waarom.

Dit is wat er gebeurde in deze simulaties:

De Robot Leerde: De met HEP uitgeruste robot gokte niet alleen; hij doorliep daadwerkelijk de volledige cyclus van "Idee → Test → Bewijs → Geloofsopdatering". In één specifieke run genereerde hij 16 verschillende ideeën, testte ze en voegde ze uiteindelijk samen tot één finale "meesterregel" met een geloofsscore van 0,97.
De Oude Robot Faalde: Toen ze exact dezelfde taken uitvoerden met een standaard robot (zonder HEP), besteedde deze 83% van de tijd aan het simpelweg uitvoeren van tests en 0% van de tijd aan het expliciet bijwerken van zijn overtuigingen. Hij "leerde" nooit echt op een manier die je kon traceren.
De Keerzijde: De robot was eerlijk genoeg om van gedachten te veranderen. In één geval begon hij met een 50% geloof in een tekstboek-idee, maar het bewijs bewees dat het fout was, waardoor de score daalde naar 0,14. Hij schakelde toen over naar een nieuw, beter idee. Deze "geloofswissel" vond plaats in alle drie de taken.

De "Hersencapaciteit"-vereiste

Er is echter een addertje onder het gras. Dit nieuwe rechtbankensysteem werkt het beste als de robot een groot brein heeft. De onderzoekers testten HEP met drie verschillende versies van de "hersenen" van de robot (LLM's):

Het Superbrein (GPT-5.5): Het genereerde gemiddeld 14,7 ideeën per run en ging 4,7 niveaus diep, waarbij het ideeën verfijnde en samenvoegde als een professional.
Het Middelgrote Brein (GPT-5.4-mini): Het genereerde gemiddeld slechts 6,7 ideeën en kwam vast te zitten op een diepte van 1,7.
Het Kleine Brein (GPT-4.1): Het beheerde slechts 4,0 ideeën en een diepte van 0,7. Het gaf vaak op, waardoor ideeën "open" en onopgelost bleven.

Dit suggereert dat hoewel de regels (HEP) geweldig zijn, de robot nog steeds slim genoeg moet zijn om ze te volgen. Een minder capabele robot kan simpelweg het complexe werk van het verfijnen en samenvoegen van ideeën over de tijd heen niet aan.

De Kern van het Verhaal

Dit paper beweert niet dat het alle wetenschap heeft opgelost of een robot heeft gecreëerd die menselijke wetenschappers kan vervangen. In plaats daarvan laat het zien dat door AI-agenten te dwingen een strikt, controleerbaar logboek van hun ideeën en bewijzen bij te houden, we eindelijk kunnen zien hoe ze denken.

In deze simulaties slaagde het HEP-systeem erin om een "black box"-robot te veranderen in een transparante robot die zijn eigen redenering kon traceren, van gedachten kon veranderen op basis van data, en een solide zaak kon opbouwen voor zijn uiteindelijke antwoord. Het is een stap naar AI-wetenschappers die we daadwerkelijk kunnen vertrouwen, inspecteren en van kunnen leren, in plaats van alleen hun woord voor lief te nemen.

Technische Samenvatting: Naar Auditeerbare AI-wetenschappers via het Hypothesis Evolution Protocol

Probleemstelling

Hoewel Large Language Model (LLM) agents veelbelovend zijn voor autonome wetenschappelijke ontdekkingen, missen de huidige implementaties vaak rigoureuze wetenschappelijke redeneerstructuren. Bestaande agents automatiseren doorgaans vooraf gedefinieerde workflows of optimaliseren naar externe doelen, maar falen in het expliciet beheren van de kerncyclus van wetenschappelijk onderzoek: het voorstellen van hypothesen, het testen ervan, het verzamelen van bewijs en het bijwerken van overtuigingen. In huidige systemen zijn deze processen begraven in ongestructureerde logs of impliciete interne staten. Bijgevolg kunnen noch de agent, noch menselijke onderzoekers gemakkelijk traceren welke hypothesen werden overwogen, hoe bewijs de bijwerking van overtuigingen heeft beïnvloed, of hoe conclusies zijn bereikt. Recente analyses wijzen erop dat in veel agent-traces bewijs wordt genegeerd en overtuigingen zelden worden herzien na weerlegging. Zonder een expliciet, auditeerbaar verslag van de hypothese–test–bewijs–overtuiging-cyclus kan de wetenschappelijke integriteit van de conclusies van een agent niet worden geverifieerd, noch kan de agent systematisch voortbouwen op of eigen hypothesen laat vallen over lange onderzoeksperioden.

Methodologie: Het Hypothesis Evolution Protocol (HEP)

Om deze beperkingen aan te pakken, stellen de auteurs het Hypothesis Evolution Protocol (HEP) voor, een agent-harness die wetenschappelijk redeneren externaliseert naar expliciete, auditeerbare operaties. HEP bestaat uit twee primaire componenten:

HEP Registry: Een append-only, event-sourced opslagplaats waar elke hypothese een persistent object is met een unieke ID. Elk object bevat:
- Een natuurlijke taalverklaring.
- Een overtuigingskans $P(H)$ die de mate van vertrouwen van de agent vertegenwoordigt.
- Een levenscyclusstatus (proposed, under_test, supported, refuted, of dormant).
- Een provenance-record (afstamming en generatiemechanisme).
- Een append-only event log die alle bijwerkingen van overtuigingen, bijvoegingen van bewijs en statusovergangen bijhoudt.
HEP Tools: Een set interfaces die de interactie van de agent met de Registry bemiddelt, gecategoriseerd in:
- Propose & Evolve: Omvat propose_hypothesis, refine_hypothesis en merge_hypotheses. Hypothesen worden gegenereerd via vier mechanismen: de-novo, inspired-by (alleen provenance), refine, en merge.
- Test & Judge: Omvat attach_evidence en transition_hypothesis. Bijwerkingen van overtuigingen worden gedisciplineerd door validatiepoorten; alleen bewijs dat als betrouwbaar wordt beschouwd, werkt de overtuiging bij. Verdicten (supported/refuted) worden afgedwongen door drempelwaarden ( $P(H) \ge 0,8$ voor supported, $P(H) \le 0,2$ voor refuted).
- Read: Omvat list_hypotheses en get_hypothesis voor het opvragen van de registry.

Het protocol dwingt de agent om te opereren binnen een gestructureerde Hypothese–Test–Bewijs–Overtuiging-cyclus. Overtuigingen worden door de agent opgeroepen met geschreven rationales in plaats van algoritmisch berekend, maar het protocol vereist dat veranderingen in overtuigingen verankerd moeten zijn aan specifiek, gevalideerd bewijs.

Experimentele Opzet

De auteurs evalueerden HEP op drie materiaalkundige onderzoekstaken betreffende open vragen over kristalstructuurvoorkeuren voor specifieke verbindingfamilies met behulp van een vaste machine-learned interatomische potentiaal (MLIP):

Taak AO2: Polymorfselectie in AO2 dioxiden.
Taak A2BB'O6: B-site kationordening in dubbele perovskieten.
Taak MX: Prototype selectie in overgangsmetaal-monochalcogeniden en monopnictiden.

De experimenten maakten gebruik van een basis-LLM (GPT-5.5) uitgerust met computationele tools (structuurrelaxatie, moleculaire dynamica, database-queries) en de HEP-harness. Vergelijkingen werden gemaakt met een standaard "planning-stijl" agent (plan–execute–replan) zonder de HEP-harness. Daarnaast werd de schaalbaarheid van HEP getest met drie LLM's met variërende capaciteiten (GPT-5.5, GPT-5.4-mini, GPT-4.1).

Belangrijkste Resultaten

1. Werking van de Wetenschappelijke Loop

In een enkele onderzoeksron over Taak AO2 genereerde de met HEP uitgeruste agent 16 hypothesen, waarbij alle vier de generatiemechanismen werden gebruikt. Elke hypothese werd uiteindelijk overgezet naar een terminale status (supported, refuted, of dormant). De agent voerde de volledige cyclus succesvol uit:

Traceerbaarheid: De hypotheseboom maakte het mogelijk om ouder-kind relaties en generatiemechanismen te traceren.
Evolutie van Overtuigingen: De trajecten van overtuigingen toonden aan dat veranderingen strikt gekoppeld waren aan gevalideerd bewijs. Hypothesen bereikten de ondersteunings- of weerleggingsdrempels pas na het accumuleren van voldoende bewijs, waarbij "belief flips" (bijv. een hypothese die met een lage vertrouwensgraad werd voorgesteld en later als ondersteund werd beschouwd) plaatsvonden op basis van data.
Vergelijking met Planning Agents: Een planning-stijl agent met dezelfde basis-LLM besteedde 83% van zijn stappen aan testen en 0% aan expliciete bijwerkingen van overtuigingen. Het faalde in het externaliseren van overtuigingen of het systematisch bijwerken ervan tegen bewijs. In contrast hiermee vertoonde de HEP-agent een duidelijke transitieflow (Hypothese $\to$ Test $\to$ Bewijs $\to$ Overtuiging $\to$ Judgement $\to$ Update), wat aantoont dat HEP de wetenschappelijke loop afdwingt die planning alleen niet biedt.

2. Generalisatie over Onderzoeksvragen

Toegepast op Taken A2BB'O6 en MX toonde HEP robuustheid aan:

De agent genereerde 10–20 hypothesen per taak met generatiedieptes van 3–5.
Alle hypothesen bereikten een finale dispositie; geen enkele bleef onopgelost.
Finale regels werden afgeleid met een hoge mate van vertrouwen (bijv. $P(H) = 0,97$ voor AO2). Deze regels werden geverifieerd door structuren voor onbekende composities te voorspellen.
Het protocol onthulde hoe specifieke weerleggingen (bijv. van een tekstboek Jahn–Teller mechanisme) de zoektocht herleidden naar de correcte elektronische uitzonderingen, een historie die direct leesbaar was uit de registry-logs.

3. Schalen met de Capaciteit van de Basis-LLM

De effectiviteit van HEP bleek afhankelijk te zijn van de redeneercapaciteiten van de onderliggende LLM:

GPT-5.5: Genereerde de meeste hypothesen (gemiddeld 14,7), maakte gebruik van alle generatiemechanismen (inclusief complexe merges) en loste alle hypothesen op.
GPT-5.4-mini: Genereerde minder hypothesen (gemiddeld 6,7) en liet 36% onopgelost.
GPT-4.1: Genereerde de minste hypothesen (gemiddeld 4,0), vertrouwde zwaar op de-novo voorstellen (62%) en slaagde er niet in hypothesen te evolueren door verfijning of samenvoeging. In één run liet de agent alle hypothesen vallen zonder bewijs toe te voegen.
Conclusie: Hoewel alle geteste LLM's individuele HEP-tools konden gebruiken, waren alleen de meest capabele modellen in staat om het protocol van iteratieve evolutie en lineage-beheer volledig te exploiteren.

Betekenis en Claims

Het artikel claimt dat HEP een stap is naar auditeerbare AI-wetenschappers. De primaire betekenis ligt in:

Externalisering van Redeneren: Het transformeert de hypothese–test–bewijs–overtuiging-cyclus van impliciete, ongestructureerde processen naar expliciete, persistente en verifieerbare records.
Discipline en Verificatie: Door overtuigingsdrempels en bewijsvalidatie af te dwingen, zorgt HEP ervoor dat de conclusies van een agent gegrond zijn in een traceerbaar audit-spoor, waardoor menselijke onderzoekers de wetenschappelijke redenering van de agent kunnen inspecteren, verifiëren en erop kunnen voortbouwen.
Complementariteit: De auteurs benadrukken dat HEP de redeneercapaciteit van de basis-LLM niet vervangt. In plaats daarvan zijn de harness en de capaciteit complementair: de harness bepaalt of redeneren wordt geëxternaliseerd en verifieerbaar gemaakt, terwijl de capaciteit van de LLM bepaalt hoe volledig dat redeneren wordt geëxploiteerd.

Het werk concludeert dat naarmate basis-LLM's geavanceerder worden, harnesses zoals HEP essentieel zullen zijn om ruwe computationele kracht om te zetten in betrouwbare, inspecteerbare wetenschappelijke ontdekkingen. Voorgesteld toekomstig werk omvat het introduceren van onafhankelijke auditor-agents voor bewijsvalidatie en het uitrusten van agents met first-principles tools (bijv. DFT) voor meer rigoureuze bewijsvalidatie.