Technische Samenvatting: auto-psych

Probleemstelling

Het wetenschappelijke proces in de cognitieve wetenschap is traditioneel een iteratieve lus bestaande uit theorieconjectuur, experimenteel ontwerp, dataverzameling en modelverfijning. Hoewel AI-tools recentelijk hebben geassisteerd bij individuele stappen in deze lus (bijv. het genereren van hypothesen of het analyseren van bestaande datasets), blijft een kritieke bottleneck bestaan: de automatisering van nieuwe dataverzameling onder gerichte experimentele regimes. De huidige AI-gestuurde wetenschap leunt vaak op "Box's loop" (iteratieve modeltoetsing op statische datasets), maar mist een "lab-in-the-loop"-capaciteit waarbij agenten experimenten ontwerpen en uitvoeren met menselijke participanten.

Dit artikel adresseert de uitdaging van het automatiseren van de volledige ontdekkingslus in de computationele cognitieve wetenschap. Specifiek richt het zich op het domein van subjectieve willekeur — het psychologische fenomeen waarbij mensen beoordelen welke reeksen muntworpen willekeuriger lijken. Dit domein is gekozen omdat het een discrete, hanteerbare stimulusruimte biedt en een rijke geschiedenis heeft van geformaliseerde probabilistische theorieën, wat het een ideale testomgeving maakt voor geautomatiseerde theorieontdekking.

Methodologie: Het auto-psych Framework

De auteurs introduceren auto-psych, een agent-gebaseerd systeem dat theorieontdekking en experimentatie automatiseert via twee geneste lussen. Het systeem maakt gebruik van Large Language Models (LLMs), specificaal gemini-3.1-pro-preview binnen een OpenCode-harnas, om onderscheidende agent-rollen te instantiëren (Theorist, Critic, Design, en Implementation agents).

1. De Buitenste Lus: "Lab-in-the-Loop"

De buitenste lus beheert de experimentele cyclus om concurrerende theorieën te differentiëren:

• Theoriegeneratie: Een theorist-agent stelt nieuwe cognitieve modellen voor. In de eerste iteratie gebruikt het "seed-modellen" uit de literatuur. In daaropvolgende iteraties genereert het nieuwe hypothesen in natuurlijke taal en vertaalt deze naar uitvoerbare PyMC (probabilistische programmeer) code.
• Experimentontwerp: Een design-agent genereert 100–300 kandidaat-stimuli (paren van muntworp-reeksen). Deze worden gescoord met behulp van Expected Information Gain (EIG) om de paren te selecteren die de huidige set modellen in het register het meest effectief kunnen onderscheiden.
• Dataverzameling: Een implementation-agent construeert een jsPsych-experiment, deploit dit naar Firebase, en rekruteert menselijke participanten via de Prolific API. Het systeem monitort de studie, haalt data op en geeft deze door aan de binnenste lus.

2. De Binnenste Lus: "Box's Loop"

De binnenste lus verfijnt het best presterende model uit de buitenste lus voordat het aan het register wordt toegevoegd:

• Model Fitting: Bestaande modellen worden gefit op de verzamelde menselijke data met behulp van Markov Chain Monte Carlo (MCMC).
• Kritiek: Een critic-agent (geadapteerd van het CriticAL-framework) voert posterior-predictive checks uit. Het simuleert data vanuit het best passende model en berekent teststatistieken om significante discrepanties te identificeren tussen de voorspellingen van het model en de geobserveerde menselijke data.
• Verfijning: Een theorist-agent gebruikt deze specifieke kritieken om nieuwe modellen voor te stellen of bestaande mechanismen te verfijnen om de geïdentificeerde tekortkomingen aan te pakken. Deze lus draait tweemaal per buitenste iteratie.

Belangrijkste Bijdragen

1. Volledige Automatisering van de Ontdekkingslus: Het artikel presenteert het eerste voorbeeld van een volledig geautomatiseerde iteratieve psychologie-lus waarbij AI-agents experimenten ontwerpen, menselijke participanten rekruteren, werkelijke gedragsdata verzamelen en computationele theorieën verfijnen zonder menselijke tussenkomst in de experimentele cyclus.
2. Geneste Agent-architectuur: Het systeem demonstreert dat een geneste structuur (een binnenste lus voor modelkritiek/verfijning en een buitenste lus voor experimenteel ontwerp) cruciaal is voor prestaties. Ablatie-studies tonen aan dat het verwijderen van de binnenste lus het vermogen van het systeem om de grondwaarheid-modellen te herstellen aanzienlijk verslechtert.
3. Integratie van Probabilistisch Programmeren: Het framework slaagt erin LLM's te overbruggen met probabilistische programmeertalen (PyMC), waardoor agents complexe cognitieve modellen kunnen genereren, fitten en bekritiseren die menselijke cognitie als probabilistische processen representeren.

Resultaten

Het systeem werd op twee primaire manieren geëvalueerd:

1. Herstel van de Grondwaarheid (Ground-Truth Recovery)

De auteurs testten het vermogen van auto-psych om bekende modellen (zowel literatuur-gebaseerde seed-modellen als "alien" modellen met psychologisch onwaarschijnlijke regels) te herstellen uit synthetische data gegenereerd door die modellen.

• Prestaties: Het systeem herstelde consequent de grondwaarheid-modellen met een hogere nauwkeurigheid (lagere Root Mean Squared Error) dan de best passende seed-modellen.
• Noodzaak van Geneste Lussen: Ablatie-experimenten bevestigden dat de binnenste lus essentieel is; zonder deze lus daalde het herstelvermogen van het systeem aanzienlijk.

2. Experimenten met Menselijke Data

Het systeem voerde drie onafhankelijke replicaties van de ontdekkingslus uit met menselijke participanten (40 participanten per ronde, 3 ronden per replica).

• Superioriteit ten opzichte van Literatuurmodellen: In alle drie de replicaties ontdekden de agents modellen die de menselijke data significant beter pasten dan de initiële seed-modellen afgeleid uit de wetenschappelijke literatuur (bijv. Bayesian diagnosticity, prototype similarity, encoding compressibility).
• Nieuwe Ontdekkingen: Het best presterende ontdekte model was het "Minkowski typicality" model. Dit model stelt dat mensen willekeur beoordelen door de afwisselingsgraad en de verhouding van koppen in een reeks te vergelijken met een mentaal prototype, waarbij afwijkingen worden gewogen met een strafexponent (posterior mean ~1.35, wat duidt op een afstandmetriek tussen Manhattan en Euclidische afstand).
• Generalisatie: De ontdekte modellen behielden hun superieure fit wanneer ze werden getest op held-out data van andere replicaties, wat aangeeft dat ze niet overfit waren op de specifieke datasets die tijdens hun ontdekking werden gebruikt.
• Diversiteit van Oplossingen: Hoewel verschillende replicaties convergeerden op modellen met vergelijkbare voorspellende kracht (lage pairwise RMSE tussen de beste modellen), varieerden de interne structuren (sommige gebaseerd op prototypevergelijking, andere op bewijsaccumulatie), wat de niet-unieke aard van modelontdekking in hoog-dimensionale ruimtes benadrukt.

Betekenis en Claims

Het artikel beweert de haalbaarheid aan te tonen van geautomatiseerde dataverzameling en theorieontdekking in de computationele cognitieve wetenschap. Het voert aan dat:

• Efficiëntie: Geautomatiseerde systemen kunnen snel itereren door hypothesegeneratie en experimentele testen, wat het tempo van wetenschappelijke vooruitgang potentieel kan versnellen.
• Ontdekkingspotentieel: Het systeem kan theorieën vinden die de gevestigde door mensen gegenereerde modellen overtreffen, wat suggereert dat AI-agents nieuwe mechanistische verklaringen voor menselijk gedrag kunnen identificeren die door mensen mogelijk over het hoofd zijn gezien.
• Schaalbaarheid: Hoewel de huidige studie een proof-of-concept is op een specifiek, beperkt domein (subjectieve willekeur), is het framework ontworpen om generaliseerbaar te zijn naar andere paradigma's waar theorieën in code kunnen worden geformaliseerd en experimenten online kunnen worden uitgevoerd.

De auteurs blijven bescheiden over de reikwijdte en erkennen dat het huidige systeem opereert binnen een beperkte stimulusruimte en dat de ontdekte modellen, hoewel statistisch superieur, mogelijk nog steeds de diepe verklarende deugden missen die door menselijke psychologen worden geprefereerd. Ze presenteren dit werk als een startpunt voor het integreren van geautomatiseerde ontdekkingssystemen in de bredere wetenschappelijke infrastructuur, in plaats van een vervanging voor menselijke wetenschappers.