🧬 biology

Closing the Loop to Discover Psychological Theories with an Automated Cognitive Scientist

Dit artikel introduceert AutoCog, een volledig autonoom AI-systeem dat de cirkel van wetenschappelijke ontdekking in de cognitieve wetenschap sluit door iteratieve cycli van experimenteel ontwerp, gegevensverzameling en modelsynthese te gebruiken om automatisch uitvoerbare cognitieve theorieën te genereren, te testen en te verfijnen, wat uiteindelijk leidt tot het produceren van nieuwe, empirisch gevalideerde inzichten in besluitvorming.

Oorspronkelijke auteurs: Akshay K. Jagadish, Younes Strittmatter, Nori Jacoby, George Kachergis, Eric Schulz, Nathaniel Daw, Suyog H. Chandramouli, Thomas L. Griffiths

Gepubliceerd 2026-06-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Akshay K. Jagadish, Younes Strittmatter, Nori Jacoby, George Kachergis, Eric Schulz, Nathaniel Daw, Suyog H. Chandramouli, Thomas L. Griffiths

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je een team wetenschappers voor die probeert te ontdekken hoe de menselijke geest beslissingen neemt. Meestal is dit een traag, handmatig proces: een menselijke onderzoeker bedenkt een theorie, ontwerpt een test, voert deze uit op mensen, kijkt of hij gelijk had, en probeert vervolgens een betere theorie te schrijven op basis van de gemaakte fouten.

Dit artikel introduceert AUTOCOG, een volledig geautomatiseerde "robotwetenschapper" die dit allemaal zelfstandig doet, waarbij de cirkel van begin tot eind wordt gesloten zonder menselijke hulp. Zie het niet als één enkele robot, maar als een zelfrijdend laboratorium voor de geest.

Hier is hoe het werkt, met behulp van eenvoudige analogieën:

1. De Opstelling: Twee Rivaliserende Koks

Stel je voor dat je het perfecte recept voor een cake wilt vinden, maar je weet niet wat de ingrediënten zijn. Je begint met twee rivaliserende koks (de "zaadtheorieën").

Kok A denkt dat het geheim simpelweg suiker is.
Kok B denkt dat het geheim simpelweg bloem is.

In het verleden zou een mens taarten moeten bakken, proeven, en de koks vertellen hoe ze zichzelf kunnen verbeteren. Met AUTOCOG fungeert het systeem als een meestercriticus en een meedogenloze redacteur. Het neemt deze twee koks en zegt: "Oké, laten we zien wie er gelijk heeft."

2. De Cyclus: De Dagelijkelijke Routine van de Robot

AUTOCOG draait in een continue lus van vier stappen, zoals een level in een videogame dat zich herhaalt:

Stap 1: Het Ontwerpen van de Ultieme Test (De Valstrik)
Het systeem gedraagt zich als een game-ontwerper. Het kijkt naar wat Kok A en Kok B geloven en ontwerpt een specifieke "smaaktest" waar zij het absoluut oneens zullen zijn. Als Kok A zegt "Voeg meer suiker toe" en Kok B zegt "Voeg meer bloem toe", creëert de robot een cakescenario waarin slechts één van hen gelijk kan hebben. Het is als het instellen van een doolhof waar slechts één pad naar de uitgang leidt.
Stap 2: Bewijs Verzamelen (De Smaaktest)
De robot voert deze test uit. Dit kan op twee manieren:
- Simulatie: Het vraagt een computermodel (een "digitale mens") om het spel te spelen.
- Echte Mensen: Het rekruteert echte mensen online om keuzes te maken (zoals kiezen tussen twee producten met verschillende expertbeoordelingen).
  De robot verzamelt de gegevens: "Wie won? Wat kozen ze?"
Stap 3: Het Vonnis (De Criticus)
De robot analyseert de resultaten. Het vraagt zich af: "Viel het recept van Kok A overeen met de smaak? En dat van Kok B?"
Als de gegevens ergens in het midden vallen, kiest de robot niet zomaar een winnaar. De robot treedt op als een detective en vraagt: "Waarom faalden beide koks? Wat missen zij?" Het schrijft een rapport waarin precies wordt uitgelegd waar de theorieën tekortschoten.
Stap 4: Het Herschrijven (De Evolutie)
Op basis van het vonnis herschrijft de robot het recept van de verliezende kok. Het past niet alleen een beetje aan; het kan een compleet nieuwe kookmethode uitvinden. Het creëert een "opvolger"-theorie die probeert de fouten te herstellen. Vervolgens begint de lus opnieuw met deze nieuwe, verbeterde kok.

3. De Resultaten: Wat Heeft de Robot Ontdekt?

De onderzoekers testten deze robot in de wereld van besluitvorming (hoe mensen kiezen tussen opties).

De Geheugentest: Eerst voerden ze de robot valse gegevens die werden gegenereerd door bekende "perfecte" strategieën. De robot ontdekte de verborgen regels succesvol, zelfs toen de gegevens ruis bevatten (zoals wanneer mensen willekeurige fouten maken). Het bewees dat de robot de waarheid kon "leren" uit de gegevens, en niet alleen baseerde op wat hem verteld werd.
De Echte Ontdekking: Toen ze de robot lieten testen op echte mensen, gebeurde er iets ongelooflijks. De robot vond niet alleen de theorieën die mensen al kenden (zoals "Take the Best" of "Weighted Average"). Het vond iets nieuws.

De Nieuwe Theorie:
De robot ontdekte dat wanneer mensen naar beoordelingen kijken (zoals 1 tot 5 sterren), ze niet elke stap als gelijkwaardig beschouwen.

Het Oude Standpunt: Een sprong van 4 naar 5 sterren is evenveel een "hoeveelheid" verbetering als een sprong van 1 naar 2 sterren.
De Ontdekking van de Robot: Mensen ervaren een sprong van 1 naar 2 sterren als enorm, terwijl een sprong van 4 naar 5 sterren klein aanvoelt. Dit wordt "afnemende gevoeligheid" genoemd.

Om te bewijzen dat dit geen toevalstreffer was, namen de onderzoekers de nieuwe theorie van de robot, schreven deze op en voerden een pre-geregistreerde studie uit (een strikt, gepland experiment) met nieuwe mensen. De mensen gedroegen zich exact zoals de robot had voorspeld. De robot had een nieuwe wet van de menselijke psychologie ontdekt.

4. Waarom Dit Er Toe Doet

Het artikel beweert dat dit de eerste keer is dat een systeem volledig de creatieve kant van wetenschap heeft geautomatiseerd.

Normaal gesproken helpt AI bij het analyseren van gegevens of het uitvoeren van experimenten, maar een mens moet de idee voor de theorie bedenken.
AUTOCOG bedenkt het idee, test het, realiseert zich dat het fout is, en verzint op eigen kracht een betere versie.

Het verandert theorievorming van een handmatige kunst in een uitvoerbare, cumulatieve wetenschap. De robot houdt een logboek bij van elke stap, zodat mensen kunnen terugkijken en precies kunnen zien hoe de robot zich zijn weg naar een nieuwe ontdekking heeft "gedacht".

Kortom: AUTOCOG is een robot die met zichzelf in discussie gaat, zijn eigen ideeën test op echte mensen, leert van zijn fouten en uiteindelijk nieuwe regels ontdekt over hoe de menselijke geest werkt — regels waar mensen zelf nog niet aan hadden gedacht.

Technische Samenvatting: Het sluiten van de cirkel voor het ontdekken van psychologische theorieën met een Geautomatiseerde Cognitieve Wetenschapper

Probleemstelling

Wetenschappelijke ontdekking in de psychologie wordt historisch gezien gehinderd door het creatieve, handmatige proces van theorievorming. Hoewel gegevensverzameling, modellering en experimenteel ontwerp steeds meer geautomatiseerd zijn, blijft de kernstap van het genereren van nieuwe theorieën—het omzetten van de geaccumuleerde mislukkingen van bestaande modellen naar betere modellen—een mensgericht kunstwerk. Bestaande systemen voor geautomatiseerde ontdekking in andere vakgebieden (bijv. chemie, materiaalkunde) automatiseren vaak enkelvoudige fasen of doorzoeken vaste modelruimtes over statische datasets. In de cognitieve wetenschap is de uitdaging conceptueel: theorieën over de geest kunnen niet direct worden gecompileerd of opgelost, maar moeten door een open conceptuele ruimte navigeren om obscure psychologische processen mechanistisch betekenisvol te maken. Het centrale probleem dat wordt aangepakt, is het gebrek aan een volledig autonoom systeem dat in staat is de ontdekkingslus voor menselijk gedrag te sluiten, specifgens het vermogen om concurrerende theorieën voor te stellen, discriminerende experimenten te ontwerpen, gegevens te verzamelen en verbeterde theorieën te synthetiseren zonder menselijke tussenkomst.

Methodologie: Het AUTOCOG-systeem

De auteurs presenteren AUTOCOG (AUTOmated COGnitive scientist), een volledig autonoom agentisch-AI-systeem ontworpen om de ontdekkingslus te sluiten. Het systeem werkt via een gesloten lus-pipeline die wordt geïtereerd over $N$ cycli, bestaande uit vier sleutelfasen die worden aangedreven door Large Language Model (LLM) agents:

Initialisatie: Een onderzoeker specificeert het taakdomein, instructies, de experimentele ontwerpplek, de modelontwerpplek, zaadtheorieën (seed theories) en een optionele metriek.
Experimenteel Ontwerp: Een LLM-agent stelt een experiment voor waarbij twee zittende theorieën uiteenlopende voorspellingen doen, waarbij wordt vastgehouden aan het principe van adversariële experimentele ontwerpvorming. Een tweede agent stelt een metriek voor om het voorspelde voordeel van de ene theorie boven de andere te kwantificeren. Het systeem valideert deze voorstellen via voorwaartse simulatie voordat de gegevensverzameling plaatsvindt om onderscheidbaarheid te garanderen.
Verzameling van Gedragsgegevens: Het vastgelegde experiment wordt uitgevoerd op een gegevensbron. In deze studie werden gegevens verzameld uit drie bronnen:
- Gesimuleerd gedrag van bekende cognitieve modellen (ground truth recovery).
- Foundation models (als in-silico stand-ins).
- Menselijke participanten geworven via Prolific.
Analyse & Arbitrage: Het systeem vergelijkt het generatieve gedrag van zittende theorieën met de geobserveerde gegevens met behulp van vooraf geregistreerde metrieken. Een LLM-gebaseerde arbitrage-agent interpreteert de bevindingen, diagnosticeert waarom een theorie faalde en beveelt revisies aan.
Theorie Revisie: Op basis van het arbitrage-vonnis reviseert een aparte LLM-agent de zwakkere theorie. Dit houdt ofwel het her-synthetiseren van de bijbehorende cognitieve model in, ofwel het regenereren van de theorie vanaf nul met behulp van programmasynthese (het produceren van uitvoerbare Python-code). De gereviseerde theorie gaat opnieuw de lus in.

Belangrijke Ontwerpprincipes:

Open-ended Zoektocht: Het systeem zoekt in de ruimte van theorieën en experimenten in plaats van te selecteren uit een vaste kandidaatenset.
Generatieve Vergelijking: Theorieën worden vergeleken op basis van hun vermogen om gedrag te genereren (voorwaartse simulatie) in plaats van het fitten van parameters aan geobserveerde gegevens, wat de risico's op overfitting vermindert.
Zelfverificatie: Elk voorstel (experiment, theorie, metriek) wordt geverifieerd tegen de eigen voorspellingen via simulatie voordat daadwerkelijke gegevens worden waargenomen.
Generalisatiedruk: Theorieën moeten gedrag over meerdere populaties en taken heen vastleggen om te kunnen overleven, wat fungeert als een impliciete druk voor parsimonie (eenvoud) en unificatie.

Belangrijkste Bijdragen

Eerste Autonoom Gesloten-Lus Systeem voor Cognitieve Theorie: AUTOCOG wordt gepresenteerd als het eerste systeem dat autonoom theorieën over menselijke cognitie ontdekt direct uit menselijk gedrag, waardoor de lus wordt gesloten van experimenteel ontwerp tot theorie-revisie zonder tussenkomst van een onderzoeker.
Uitvoerbare Theorie-Representatie: Het systeem behandelt theorieën als natuurlijke taal mechanistische claims gekoppeld aan uitvoerbare Python-programma's, wat rigoureuze simulatie en verificatie mogelijk maakt.
Adversarieel Ontdekkingskader: Het systeem gebruikt LLM-agents om voor concurrerende theorieën te pleiten en experimenten te ontwerpen die specifiek bedoeld zijn om tussen hen te discrimineren, wat de adversariële aard van wetenschappelijk debat nabootst.

Resultaten

1. Herstel van Bekende Besluitvormingsstrategieën

In simulaties waar de grondwaarheid (ground-truth) van de strategieën bekend was, slaagde AUTOCOG erin de genererende theorieën te herstellen, zelfs wanneer deze werd geïnitialiseerd met verschillende, concurrerende theorieën.

Canonieke Strategieën: Het systeem herstelde Take-the-Best (TTB), Tallying en Weighted-Additive (WADD) met hoge getrouwheid (Mean Squared Error ononderscheidbaar van de grondwaarheid onder ruisvrije condities).
Niet-canonieke Strategieën: Het systeem herstelde succesvol onconventionele strategieën (bijv. "Take-the-worst", "Alternating", "Perseveration") binnen 5–20 cycli, wat aantoont dat het niet strikt gebonden is aan de priors van de onderliggende LLM's.
Ruisrobuustheid: De prestaties degradeerden geleidelijk bij toenemende actieruis ( $\epsilon$ ), en het systeem convergeerde naar random-choice modellen wanneer het werd gepresenteerd met pure ruis, wat aangeeft dat het geen structuur oplegt waar die er niet is.

2. Ontdekking in Multi-Attribute Besluitvorming (Binaire Cues)

Wanneer uitgevoerd met menselijke participanten in een taak met binaire waarde-cues (geïnitialiseerd met TTB en WADD), bracht AUTOCOG een Niet-lineair Subjectief Wegingsmodel aan het licht.

Prestaties: Deze theorie presteerde significant beter dan de zaadtheorieën (TTB, Tallying, WADD) op gehouden datasets uit de literatuur (Hilbig et al., 2014).
Mechanisme: Het model verenigde de drie canonieke heuristieken als limietgevallen van een enkele mechanisme die wordt beheerst door een machtswet-transformatie van de cue-validiteiten (een exponent-parameter). Dit werd bereikt zonder expliciete parameteroptimalisatie of parsimonie-beperkingen, gedreven uitsluitend door de noodzaak om te generaliseren over geaccumuleerde gegevens.

3. Ontdekking in Multi-Attribute Besluitvorming (Cardinale Cues)

Door de ontwerpplek uit te breiden naar cardinaal-gewardeerde cues (integers 0– $r_{max}$ ), ontdekte AUTOCOG een Diminishing Returns WADD model.

Nieuwigheid: Deze theorie stelt dat individuen een concave nutfunctie toepassen op cue-waarden voordat ze deze wegen door validiteit. Dit impliceert een afnemende gevoeligheid voor feature-waarden: een eenheid verschil in lage-waarde regio's heeft een grotere impact op de keuze dan eenzelfde verschil in hoge-waarde regio's.
Validatie: De ontdekking van het systeem werd prospectief getest in een vooraf geregistreerde studie met nieuwe menselijke participanten. De studie bevestigde drie hypothesen afgeleid van de theorie:
- H1 (Model Discriminatie): Participanten kozenen opties die voorspeld werden door Diminishing Returns WADD significant vaker dan opties voorspeld door lineaire WADD, Tallying of TTB.
- H2 (Steep-vs-Flat): Participanten vertoonden een grotere sensitiviteit voor voordelen in de "steile" (lage-waarde) regio vergeleken met de "vlakke" (hoge-waarde) regio.
- H3 (Level-Shift): Dezelfde objectieve cue-waarde structuur oefende een sterkere invloed uit wanneer deze werd gepresenteerd in een lage-waarde bereik vergeleken met een verschoven hoge-waarde bereik.

Betekenis en Claims

Het artikel beweert dat AUTOCOG aantoont hoe geautomatiseerde ontdekkingssystemen de constructie van cognitieve theorieën kunnen transformeren tot een expliciete, uitvoerbare en cumulatieve wetenschap.

Automatisering van de Creatieve Stap: Het systeem automatiseert de "creatieve" stap van theoriegeneratie, een taak die voorheen als uniek menselijk werd beschouwd.
Gegevensgestuurde Ontdekking: De ontdekkingen (inclusief de nieuwe bevinding over afnemende sensitiviteit) werden gedreven door de verzamelde gedragsgegevens in plaats van door de priors van de LLM's, zoals blijkt uit het vermogen van het systeem om niet-canonieke strategieën te herstellen en de mislukking om structuur te vinden in pure ruis.
Auditabiliteit: Het volledige ontdekkingspad wordt gelogd als een machine-leesbaar spoor, waardoor het pad van wetenschappelijke redenering openstaat voor inspectie en waardoor andere agenten of onderzoekers de zoektocht vanaf de frontier kunnen hervatten.
Reikwijdte: De auteurs merken op dat het systeem begrensd is door de door mensen gespecificeerde experimentele en modelontwerpplekken en dat de vertaling van verbale theorie naar uitvoerbare code een uitdaging blijft. Ze stellen echter dat het ontdekken van psychologische theorieën over menselijk gedrag nu binnen het bereik van automatisering ligt.

Het werk claimt niet de menselijke wetenschapper te vervangen, maar eerder de rol van de mens te verschuiven van uitvoering naar specificatie—beslissen wat een goede theorie is en de zoekruimte definiëren—terwijl het systeem de iteratieve generatie en het testen van kandidaten afhandelt.