Many AI Analysts, One Dataset: Navigating the Agentic Data Science Multiverse

Dit artikel toont aan dat autonome AI-analisten, gebaseerd op grote taalmodellen, op grote schaal de variatie in analytische beslissingen en uiteenlopende conclusies kunnen repliceren die bij menselijke 'many-analyst'-studies worden waargenomen, wat de noodzaak onderstreept van transparante rapportage en volledige openbaarmaking van prompts om selectieve rapportage in de AI-gestuurde wetenschap te voorkomen.

De kern

Stel je voor dat je een recept hebt voor een perfecte taart. Je geeft dat recept aan 29 verschillende bakkers. Je verwacht dat ze allemaal dezelfde taart maken, toch?

In de echte wereld van wetenschap gebeurt dat vaak niet. Als je 29 teams van echte mensen dezelfde data geeft en vraagt: "Is er een verband tussen X en Y?", dan krijgen ze vaak heel verschillende antwoorden. Sommige teams zeggen "Ja, zeker!", andere zeggen "Nee, helemaal niet." Dit komt niet omdat ze dom zijn of fouten maken, maar omdat ze op kleine, redelijke manieren anders beslissen hoe ze de data moeten "bakken" (bijvoorbeeld: welke ingrediënten weggooien, welke ovenstand gebruiken, of hoe ze de tijd meten).

Dit fenomeen heet de "tuin met veel vertakkingen": er zijn zoveel mogelijke paden om naar een conclusie te komen, dat je eindresultaat vaak afhangt van het pad dat je kiest.

Wat hebben deze onderzoekers nu gedaan?

Ze hebben een heel nieuw experiment gedaan, maar dan met AI-bakkers.

In plaats van 29 mensen, hebben ze duizenden zelfstandige AI-agenten (robots die denken en coderen) ingezet. Elke robot kreeg exact dezelfde data en dezelfde vraag. Maar ze kregen een heel klein beetje verschillende instructies over hoe ze moesten "nadenken".

Hier zijn de belangrijkste ontdekkingen, vertaald in simpele taal:

1. De "AI-Multiversum"

Net als bij de mensenbakkers, kregen de AI-bakkers heel verschillende resultaten. Sommige robots zagen een sterk bewijs, andere zagen niets.

• De analogie: Stel je voor dat je een foto van een wolk laat zien aan 1000 verschillende kunstenaars. De één ziet een konijn, de ander een bootje, en weer een ander ziet een draak. Ze kijken allemaal naar dezelfde foto, maar hun "kijkbril" (hun instelling) bepaalt wat ze zien.
• Het resultaat: De AI's maakten een "multiversum" van resultaten. Er was geen enkel "waar" antwoord, maar een waaier van mogelijke, allemaal verdedigbare antwoorden.

2. De "Kleurtje" van de Instelling (Persona)

De onderzoekers gaven de AI's verschillende "personas" of rollen.

• De Skeptische AI: "Twijfel aan alles, zoek naar fouten."
• De Optimistische AI: "Ik denk dat het waar is, laat me bewijzen vinden."
• De "Zoek de Bevestiging" AI: "Ik moet bewijzen vinden dat het klopt, zoek overal naar!"

Wat bleek?
Als je de AI vertelt dat ze hard moeten zoeken om een theorie te bewijzen (de "Zoek de Bevestiging" rol), dan vonden ze dat bewijs veel vaker. Ze veranderden hun analyse-techniek om aan het bewijs te komen. Het was alsof je een bakker vertelt: "Probeer de taart zo zoet mogelijk te maken," en hij dan ineens drie keer zoveel suiker toevoegt.

• De les: De manier waarop je een AI vraagt om iets te doen, verandert het resultaat. Het is niet neutraal.

3. De "AI-Onderzoeker" die controleert

Omdat AI soms dingen verzon (hallucineert) of gekke dingen doet, hadden ze een speciale AI-Auditor (een controleur-robot). Deze keek elke taart na: "Is dit een eerlijke taart of heb je er stenen in gedaan?"

• De auditor haalde de slechtste taarten weg, maar zelfs na het weghalen van de slechte taarten bleef er een enorme verscheidenheid aan resultaten over. De "instelling" van de AI bleef het resultaat beïnvloeden, zelfs bij de goede taarten.

Waarom is dit belangrijk voor ons?

Het probleem:
Als AI-analyses goedkoop en snel zijn, kan iedereen duizenden analyses draaien en dan alleen de ene versie publiceren die het beste resultaat geeft. Dat is als een speler die 100 keer dobbelt en alleen de keer laat zien waarop hij zes gooide. Dat is gevaarlijk voor wetenschap en beleid.

De oplossing (en de kans):
Maar deze technologie biedt ook een oplossing! Omdat we nu duizenden analyses kunnen draaien, kunnen we niet kijken naar één antwoord, maar naar de hele waaier van antwoorden.

• In plaats van te zeggen: "De AI zegt dat X Y veroorzaakt," kunnen we zeggen: "Als we op 100 verschillende manieren naar de data kijken, zien we dat het antwoord varieert tussen A en B. Dat betekent dat we nog niet zeker zijn."

De conclusie:
Deze studie zegt: "We moeten stoppen met vertrouwen op één AI-antwoord."
We moeten AI-analyses behandelen als een multiversum. Als een AI een rapport schrijft, moet er ook een lijstje bij zitten met: "Welke vragen hebben we gesteld?" en "Welke instellingen hebben we gebruikt?" Net zoals we nu de code en de data openbaar maken, moeten we ook de "recepten" (de prompts) openbaar maken.

Kortom:
AI is een krachtige nieuwe bakker, maar als je niet oppast, kun je de taart laten smaken naar wat je wilt dat hij smaakt, in plaats van wat hij is. De oplossing is om alle mogelijke smaken te proeven en te laten zien dat er geen enkele "perfecte" taart is, maar een hele reeks mogelijkheden.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Many AI Analysts, One Dataset: Navigating the Agentic Data Science Multiverse", geschreven in het Nederlands.

Probleemstelling

Empirische conclusies in de wetenschap hangen niet alleen af van de data, maar ook van de analytische beslissingen die tijdens het onderzoeksproces worden genomen. Dit fenomeen, bekend als de "tuin van aftakkingen" (garden of forking paths), leidt ertoe dat onafhankelijke teams die dezelfde hypothese testen op dezelfde dataset vaak tot tegenstrijdige conclusies komen.

• Huidige beperking: Traditionele "veel-analisten"-studies (waarbij menselijke teams worden ingezet) hebben dit probleem gekwantificeerd, maar zijn extreem kostbaar, tijdrovend en zelden uitgevoerd.
• Nieuwe uitdaging: Met de opkomst van autonome AI-agenten gebaseerd op Large Language Models (LLMs) kan data-analyse goedkoop en in grote schaal worden gegenereerd. Dit creëert een risico: als er veel verdedigbare analyses goedkoop gegenereerd kunnen worden, wordt bewijs overvloedig maar kwetsbaar voor selectieve rapportage (cherry-picking). Er is echter nog geen inzicht in hoe groot de variatie is die door AI-agenten zelf wordt gegenereerd.

Methodologie

De auteurs hebben een raamwerk ontwikkeld om de analytische variabiliteit van AI-agenten te bestuderen door een schaalbaar, geautomatiseerd equivalent van menselijke veel-analisten-studies te creëren.

1. Experimenteel Ontwerp:

   • Datasets: Drie verschillende datasets werden gebruikt:
     • Soccer: Een bekende dataset over scheidsrechtersbias (Silberzahn et al., 2018).
     • metr-rct: Een recente gerandomiseerde gecontroleerde studie (RCT) over AI-ondersteuning bij programmeren.
     • anes-views: Data van de American National Election Studies over TV-nieuws en ideologie.
   • AI-Analisten: Ongeveer 5.000 autonome runs werden uitgevoerd. Elke agent kreeg een dataset, een hypothese en een vooraf gespecificeerde schatting (estimand). De agenten hadden volledige autonomie over data-cleaning, variabele selectie, modelspecificatie en inferentie.
   • Variabelen: Er werden vier verschillende LLM-modellen gebruikt (Claude Sonnet 4.5, Claude Haiku 4.5, Qwen3 Coder 480B, Qwen3 235B) en vijf verschillende "persona's" (prompt-frames) die de analytische houding varieerden:
     • Standaard: Neutraal.
     • Negatief: Skeptisch ten opzichte van de hypothese.
     • Positief: Overtuigd van de hypothese.
     • Bevestiging zoekend (CS): Geïnstrueerd om ondersteunende specificaties te vinden.
     • Sterk Bevestiging zoekend (Strong CS): Geïnstrueerd om agressief te zoeken naar ondersteuning (inclusief p-hacking-achtige exploratie).

2. Audit en Validatie:

   • Een aparte AI-auditor (Claude Sonnet 4.5) beoordeelde elke run op methodologische geldigheid.
   • De auditor bekeek de volledige conversatie, tool-calls en code-artefacten.
   • Criteria omvatten: uitlijning met de schatting, onzekerheidskwantificatie, en afwezigheid van hallucinaties.
   • Ongeveer 67% van de runs (3.303 van 4.946) slaagde de validatie en werd gebruikt voor de analyse.

3. Data-extractie:

   • Uit elke geldige run werden gestructureerde beslissingen geëxtraheerd (bijv. aantal covariaten, regressiemethode, standaardfoutberekening) om de oorzaken van variatie te traceren.

Belangrijkste Resultaten

1. Grote Variatie in Conclusies (Het AI-Multiversum):

   • Zelfs met dezelfde data, hypothese en schatting, produceerden AI-agenten aanzienlijke spreiding in effectgroottes, p-waarden en de uiteindelijke conclusie (ondersteund vs. niet-ondersteund).
   • Onafhankelijke runs keerden vaak de richting van het effect om of veranderden de statistische significantie.
   • Deze variatie was terug te voeren op concrete analytische keuzes zoals het aantal covariaten, de gekozen regressiemethode en de behandeling van tijdreeksen.

2. Stuurbaarheid van Resultaten:

   • De uitkomsten zijn systematisch beïnvloedbaar door de persona en het LLM-model te veranderen.
   • Het verschil in ondersteuningspercentages tussen de meest skeptische persona (Negatief) en de meest bevestiging zoekende (Strong CS) varieerde van 34 tot 66 procentpunten tussen de datasets.
   • Dit effect bleef bestaan zelfs binnen de set van door de auditor goedgekeurde (methodologisch correcte) runs.

3. Invloed van de Auditor:

   • De auditor filterde runs met duidelijke methodologische fouten (zoals hallucinaties of mislukte schattingen) eruit.
   • Echter, filtering verminderde de door persona's veroorzaakte spreiding slechts gedeeltelijk. De "Strong CS" persona's produceerden nog steeds systematisch lagere p-waarden en meer ondersteunende conclusies, zelfs na filtering.

4. Oorzaak van Variatie:

   • De variatie werd voornamelijk gedreven door specificatie-zoektochten (het testen van veel verschillende modelvarianten) en overclaiming van bevindingen door bevestiging zoekende persona's, niet door fundamenteel gebrek aan expertise.

Bijdragen

1. Schaalbaar Multiversum-onderzoek: Het paper toont aan dat LLM-agenten een kosteneffectief en schaalbaar alternatief bieden voor menselijke veel-analisten-studies, waarmee de "tuin van aftakkingen" routineus in kaart kan worden gebracht.
2. Kwantificering van AI-Bias: Het demonstreert dat de keuze van de prompt (persona) en het onderliggende model een systematische, stuurbare invloed heeft op wetenschappelijke conclusies, zelfs binnen methodologisch correcte analyses.
3. Nieuwe Transparantiestandaard: De auteurs pleiten voor een nieuwe norm waarbij AI-genereren analyses vergezeld moeten gaan van:
   • Multiversum-rapportage: Het tonen van de verdeling van resultaten in plaats van één enkel punt.
   • Volledige openbaarmaking van prompts: De gebruikte prompts moeten net zo transparant worden gerapporteerd als code en data.

Significantie en Implicaties

• Vulnerabiliteit: De goedkope productie van verdedigbare analyses maakt empirische wetenschap kwetsbaar voor selectieve rapportage. Als onderzoekers of beleidsmakers kunnen "tillen" aan de AI-agent totdat ze de gewenste uitkomst krijgen, wordt bewijs manipuleerbaar.
• Oplossing door Schaal: Dezelfde technologie die het risico creëert, biedt ook de oplossing. Door AI-agenten in te zetten om de volledige verdeling van mogelijke analyses te genereren, wordt analytische onzekerheid zichtbaar en meetbaar.
• Stress-testen van Publicaties: Het raamwerk kan worden gebruikt om bestaande studies te "stress-testen". Door een gepubliceerde specificatie als constraint te geven en AI-agenten de rest te laten invullen, kan men kwantificeren hoeveel onzekerheid er nog overblijft door impliciete keuzes in het oorspronkelijke onderzoek.
• Toekomst van Wetenschap: Dit onderstreept de noodzaak van "veridical data science" (waarheidsgetrouwe datawetenschap), waarbij robuustheid tegen model- en data-perturbaties een kerncriterium wordt voor betrouwbare conclusies.

Kortom, het paper waarschuwt dat de automatisering van data-analyse de variabiliteit in wetenschappelijke conclusies niet elimineert, maar juist versterkt en stuurbaar maakt, en pleit voor radicale transparantie om dit risico te mitigeren.