🤖 AI

The Agentic Garden of Forking Paths

Dit artikel으로 toont aan dat AI-agenten de diverse en vaak tegenstrijdige analytische keuzes kunnen repliceren die door menselijke onderzoekers in cruciale domeinen worden gemaakt, waarbij het probleem van selectieve rapportage in wetenschappelijke analyse wordt belicht en de "Agentic Bootstrap"-methode wordt voorgesteld om de "m-waarde" te schatten als een nieuw criterium voor het evalueren van de geloofwaardigheid van wetenschappelijke claims op basis van hun positie binnen de ruimte van plausibele analyses.

Oorspronkelijke auteurs: Jiacheng Miao, Jonathan K Pritchard, James Zou

Gepubliceerd 2026-07-03

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiacheng Miao, Jonathan K Pritchard, James Zou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen met behulp van één enkele doos met aanwijzingen (de data). In het verleden, als twee detectives naar dezelfde doos met aanwijzingen keken, kwamen ze misschien tot een iets ander verhaal, maar meestal waren ze het eens over de belangrijkste feiten.

Dit artikel introduceert een nieuwe wending: AI-agenten die optreden als detectives. De onderzoekers ontdekten dat als je twee AI-agenten exact dezelfde doos met aanwijzingen geeft, maar hen een verschillende "persoonlijkheid" geeft (de een een scepticus, de ander een gelovige), ze niet alleen een iets ander verhaal vertellen — ze vertellen volledig tegenovergestelde verhalen, en beide verhalen klinken volkomen logisch en wetenschappelijk onderbouwd.

Hier is een uitsplitsing van hun bevindingen met behulp van eenvoudige analogieën:

1. De "Tuin van de Vertakkende Paden"

Stel je een enorme bos voor met miljoenen paden (de "Tuin van de Vertakkende Paden"). Elke keer dat een onderzoeker data analyseert, moet hij kiezen welk pad hij bewandelt.

Het oude probleem: Menselijke onderzoekers kiezen soms onbewust het pad dat leidt naar het resultaat dat ze willen vinden. Dit wordt "researcher degrees of freedom" genoemd.
Het nieuwe AI-probleem: AI-agenten kunnen nu ongelooflijk snel door dit bos rennen. Ze kunnen in enkele minuten duizenden verschillende paden proberen. Het artikel laat zien dat als je een AI vertelt: "Je gelooft dat immigratie de economie schaadt," zal deze van nature de paden bewandelen die naar die conclusie leiden. Als je een andere AI vertelt: "Je gelooft dat immigratie de economie helpt," zal deze de tegenovergestelde paden bewandelen.
Het enge deel: Beide AI's doen "goede" wetenschap. Ze liegen niet of breken de regels niet. Ze nemen simpelweg verschillende, geldige wegen door het bos om hun bestemming te bereiken.

2. Het Experiment: De "Ideologische Spiegel"

De onderzoekers testten dit op vier grote vragen:

Heeft immigratie invloed op de sociale zekerheid?
Heeft koffie invloed op de gezondheid?
Schaadt sociale media de mentale gezondheid van tieners?
Beïnvloedt darmbacteriën het gewicht?

Ze gaven AI-agenten verschillende "persona's" (zoals het geven van een specifieke politieke of wetenschappelijke bias) en vroegen hen om dezelfde data te analyseren.

De resultaten: De "Pro-Immigratie" AI-agenten vonden consequent positieve effecten, terwijl de "Anti-Immigratie" agenten negatieve effecten vonden.
De menselijke vergelijking: In een beroemde real-world studie analyseerden 42 menselijke teams dezelfde immigratiegegevens en hadden zij een "kloof" in hun conclusies. De AI-agenten reproduceerden 72% van die menselijke kloof.
De snelheid: Een AI-agent kon deze volledige analyse in ongeveer 15 minuten uitvoeren voor ongeveer $1,68.

3. De "Kwaliteitscontrole"-valstrik

Je zou kunnen denken: "Nou, die bevooroordeelde AI moet wel slechte wiskunde bedrijven."

De verrassing: De onderzoekers lieten zowel andere AI's als menselijke experts (PhD-statistici) de rapporten beoordelen.
Het oordeel: 86% van de AI-rapporten slaagde voor de beoordeling. 78% slaagde voor de beoordeling door menselijke experts.
De les: De AI-agenten kwamen tot tegenovergestelde conclusies met methoden die experts als foutloos beschouwden. Het probleem was niet dat de wiskunde fout was; het probleem was dat de AI (net als een mens) selectief het bos verkende om het pad te vinden dat bij zijn "overtuiging" paste.

4. Hoe de AI het doet: Exploratie versus Selectie

Het artikel legt uit hoe de AI tot de verkeerde (of juiste) conclusie komt:

Exploratie: De AI begint te wandelen. Als het een "gelovige" is, dwaalt het van nature af naar paden die veelbelovend lijken voor zijn overtuiging. Als het een "scepticus" is, dwaalt het elders rond.
Selectie: Na het bewandelen van vele paden kiest de AI het pad dat het beste bij zijn verhaal past om in het definitieve rapport te zetten.

Analogie: Stel je een chef-kok voor die een pittig gerecht wil maken. Hij proeft 100 verschillende soepen. Hij let van nature meer op de pittige soepen, past ze aan om ze pittiger te maken, en serveert uiteindelijk de meest pittige. Een "niet-pittige" chef zou exact hetzelfde proces volgen, maar eindigt met een milde soep. Beide chefs volgden de regels van het koken perfect op.

5. De Oplossing: De "m-waarde" en "Agentic Bootstrap"

Omdat we niet langer één enkel rapport kunnen vertrouwen (omdat de AI gemakkelijk een ander pad had kunnen kiezen), stellen de auteurs een nieuwe manier voor om wetenschap te beoordelen.

De oude manier (p-waarde): "Als we dit experiment 1.000 keer zouden herhalen met hetzelfde recept, hoe vaak zouden we dan dit resultaat krijgen?" (Dit controleert op geluk in de data).
De nieuwe manier (m-waarde): "Als we 1.000 verschillende geldige recepten op deze zelfde data zouden proberen, hoe vaak zouden we dan dit resultaat krijgen?" (Dit controleert op geluk in de keuzes die gemaakt zijn).

Agentic Bootstrap is de tool die ze hiervoor gebouwd hebben. Het gebruikt AI-agenten om duizenden verschillende "wat als"-scenario's (verschillende paden door het bos) te simuleren en creëert een kaart van alle mogelijke geldige conclusies.

Als een onderzoeker zijn resultaat in het midden van de kaart vindt, is het robuust.
Als een onderzoeker zijn resultaat aan de uiterste rand van de kaart vindt (de "staart"), betekent dit dat hij waarschijnlijk een zeer specifiek pad heeft gekozen om dat resultaat te verkrijgen.

De bevinding: Wanneer ze dit toepasten op de menselijke immigratiestudie, vonden ze dat 13,5% van de menselijke rapporten in de meest extreme 5% van de mogelijke uitkomsten zat. Dit suggereert dat veel menselijke bevindingen "extreem" zijn, niet omdat de data zo sterk is, maar omdat de onderzoekers (of hun AI-helpers) selectief het pad kozen dat naar daar toe leidde.

Samenvatting

Het artikel betoogt dat AI het goedkoop en gemakkelijk maakt om het best uitziende wetenschappelijke verhaal uit een bos van miljoenen geldige opties te "cherry-picken". De oplossing is niet om te stoppen met het gebruik van AI, maar om AI te gebruiken om eerst de hele het bos in kaart te brengen. Voordat we een wetenschappelijke claim vertrouwen, moeten we ons afvragen: "Is dit resultaat een typisch pad door het bos, of heeft iemand gewoon het ene pad gekozen dat leidde naar de conclusie die hij wilde?" De m-waarde is de nieuwe liniaal die wordt gebruikt om dat te meten.

Technische Samenvatting: De Agentic Garden of Forking Paths

Probleemstelling
Empirisch onderzoek staat zelden een uniek analysepad toe. Onderzoekers worden geconfronteerd met talloze "vrijheidsgraden" met betrekking tot de operationalisering van variabelen, steekproefselectie, covariabele-correctie en modelspecificatie. Wanneer deze keuzes worden uitgeoefend om significante of verwachte resultaten te bereiken—of dit nu door doelbewuste p-hacking komt of door de onbewuste "garden of forking paths" (tuin van vertakkende paden)—leidt dit tot een inflatie van het aantal fout-positieven. Voorafgaande overtuigingen vormen vaak welke analysepaden worden verkend en welke resultaten worden gerapporteerd, wat leidt tot uiteenlopende conclusies uit dezelfde dataset.

De komst van AI-agenten (specifiek Large Language Model coding agents) vergroot deze uitdaging. In tegenstelling tot menselijke analisten kunnen AI-agenten snel en tegen lage kosten een enorm aantal plausibele analyses genereren en evalueren. Dit creëert het risico dat AI-ondersteunde analyse het gemakkelijker maakt om te zoeken in een grote ruimte van methodologisch verdedigbare specificaties en selectief een conclusie te rapporteren die een voorkeursclaim ondersteunt. Cruciaal is dat dergelijke selectieve rapportage moeilijk te detecteren is aan de hand van definitieve rapporten alleen, aangezien de geselecteerde analyse in isolatie methodologisch geldig en solide kan lijken.

Methodologie
De auteurs gebruiken AI-agenten als een experimenteel systeem om te bestuderen hoe voorafgaande overtuigingen de empirische data-analyse beïnvloeden en om methoden te ontwikkelen voor het kwantificeren van de resulterende onzekerheid.

Persona-geprimede Agent-experimenten:
- Opzet: De studie beslaat vier hoog-risico domeinen (politieke wetenschappen, volksgezondheid, psychologie en biologie) met behulp van real-world datasets (ISSP, NHANES, YRBS, American Gut Project).
- Procedure: Voor elke vraag werden tegengestelde "persona's" (bijv. pro-immigratie versus anti-immigratie, gelovig versus sceptisch) toegewezen aan onafhankelijke AI-agenten via system prompts. Deze prompts bevatten een inhoudelijke overtuiging, maar instrueerden de agenten expliciet om "rigoureus te analyseren" zonder bewijs te fabriceren of p-hacking toe te passen.
- Proces: Elke agent voerde 10 opeenvolgende rondes van exploratie uit, waarbij 10 kandidaat-modellen per ronde werden gegenereerd (totaal 100). Agenten behielden de volledige geschiedenis om daaropvolgende analyses te verfijnen. Ten slotte selecteerde elke agent één specificatie als zijn definitieve rapport.
- Review: Een aparte AI-reviewer (en een subset van menselijke experts met een PhD-niveau) evalueerde de rapporten op belangrijke methodologische fouten. Alleen analyses die deze review doorstonden, werden opgenomen in de primaire resultaten.
Agentic Specification Curve:
- Om het landschap van geldige analyses in kaart te brengen, brachten de auteurs alle door tegengestelde en neutrale persona's gegenereerde kandidaat-specificaties samen over alle rondes heen.
- Na kwaliteitscontrole en onafhankelijke methodologische review werden duizenden specificaties (bijv. 4.392 voor de immigatievraag) behouden.
- Deze werden gesorteerd op effectgrootte om de distributie van mogelijke conclusies te visualiseren die voortkomen uit dezelfde data zonder grote fouten.
Agentic Bootstrap en de m-waarde:
- Concept: De auteurs introduceren de m-waarde (multiverse waarde) om "analyse-ruimte onzekerheid" aan te pakken, wat onderscheidt van "steekproef onzekerheid" (behandeld door p-waarden).
- Definitie: De m-waarde is de waarschijnlijkheid dat een analysepad, getrokken uit een distributie van methodologisch verdedigbare analyses ( $\Pi$ ), een resultaat produceert dat minstens zo extreem is als de gerapporteerde claim.
- Schatting: Agentic Bootstrap schat deze distributie door gebruik te maken van geïnstrumenteerde AI-agenten die systematisch plausibele analysepaden samplen, loggen en evalueren. De m-waarde wordt berekend als de staartwaarschijnlijkheid van de gerapporteerde claim binnen deze empirische distributie.

Belangrijkste Resultaten

Replicatie van Menselijke Ideologische Kloven: AI-agenten toegewezen aan tegengestelde persona's reproduceerden de ideologische kloof die wordt waargenomen bij menselijke onderzoekers. Voor de immigratie-welvaartsvraag produceerden tegengestelde persona's een gemiddelde effectschatting-kloof van 0,020, wat 72% is van de kloof die werd waargenomen bij 42 menselijke onderzoeksteams. Deze divergentie bleef bestaan zelfs op gepermuteerde-nul data, wat aangeeft dat het voortkwam uit analytische keuzes in plaats van het datasignaal.
Methodologische Degelijkheid van Divergerende Conclusies: Ondanks het bereiken van tegengestelde conclusies, slaagde 86% van de agent-rapporten voor de onafhankelijke AI-review, en 78% slaagde voor de review door een meerderheid van de menselijke experts. Dit bevestigt dat de divergentie voortkomt uit methodologisch solide analyses, niet uit gebrekkige analyses.
Mechanismen van Bias: Persona-bias trad op in twee stadia:
1. Exploratie: Tegengestelde persona's verkenden progressief verschillende regio's van de analytische zoekruimte (bijv. pro-immigratie agenten gaven de voorkeur aan immigratiestromen; anti-immigratie agenten gaven de voorkeur aan voorraden/stocks).
2. Selectie: Agenten kozen bij voorkeur eindrapporten die overeenkwamen met hun toegewezen overtuigingen uit de set van verkende specificaties.
Voorspelbaarheid van Conclusies: Het teken van een gerapporteerde conclusie was zeer voorspelbaar (AUC = 0,92) op basis van enkel de combinatie van analytische keuzes (uitkomst, blootstelling, covariabelen, etc.), wat aantoont dat selectieve rapportage specifieke conclusies kan targeten.
Kwantificering van Selectieve Rapportage (m-waarde): Bij toepassing op menselijke rapporten uit de immigratiestudie, toonde Agentic Bootstrap aan dat menselijke analyses niet typerende trekkingen waren uit de bredere distributie van verdedigbare analyses.
- 13,5% van de menselijke rapporten viel in de meest extreme 5% van de analyseruimte ( $m < 0,05$ ).
- Onder de statistisch significante menselijke bevindingen ( $p < 0,05$ ) had 40% een $m < 0,05$ , een ratio die 2,4 keer hoger is dan verwacht onder willekeurige selectie uit de analyseruimte.
- Het 95% Agentic Bootstrap interval voor de immigatievraag was 2,8 keer breder dan het gemiddelde 9-5% betrouwbaarheidsinterval van een enkele analyse, wat aangeeft dat onzekerheid in de keuze van de analyse de steekproefonzekerheid substantieel overtreft.

Betekenis en Claims
Het artikel betoogt dat de centrale uitdaging in empirische wetenschap niet noodzakelijkerwijs de productie van gebrekkige analyses is, maar de selectieve exploratie en rapportage vanuit een grote ruimte van methodologisch verdedigbare analyses. AI-agenten vergroten dit risico aanzienlijk door dergelijke exploratie goedkoop en schaalbaar te maken.

De auteurs claimen dat wetenschappelijk bewijs niet alleen beoordeeld moet worden op de validiteit van een enkele gerapporteerde analyse, maar ook op de positie ervan binnen de distributie van analyses die redelijkerwijs gerapporteerd hadden kunnen worden. De m-waarde en Agentic Bootstrap bieden een nieuw criterium voor wetenschappelijke geloofwaardigheid:

Ze maken de "verborgen distributie" van plausibele analyses observeerbaar.
Ze stellen onderzoekers in staat om onderscheid te maken tussen robuuste signalen (typisch voor de analyseruimte) en fragiele bevindingen (extreme uitschieters in de analyseruimte).
Ze bieden een praktisch, schaalbaar alternatief voor menselijke "many-analyst" studies om de robuustheid van empirische claims te auditeren.

Het werk suggereert dat naarmate empirische analyse goedkoper en schaalbaarder wordt, de wetenschappelijke gemeenschap de focus moet verschuiven van het valideren van geïsoleerde modellen naar het testen van de gehele analyseruimte, om te waarborgen dat gerapporteerde conclusies niet louter artefacten zijn van selectieve padselectie.