Preregistration for Experiments with AI Agents

Technische Samenvatting: Preregistratie voor Experimenten met AI-agenten

Probleemstelling
Het artikel identificeert een kritieke methodologische kloof in het opkomende paradigma van "in silico" gedragsexperimenten, waarbij Large Language Models (LLM's) en autonome AI-agenten fungeren als participanten in studies naar cognitie, besluitvorming en sociale dynamiek. Hoewel deze experimenten, vergeleken met onderzoek met menselijke proefpersonen, een ongekende schaalbaarheid en kostenefficiëntie bieden, erven ze de "researcher degrees of freedom" (onderzoekersvrijheden) die de replicatiecrisis in de sociale wetenschappen hebben gedreven en zelfs versterken.

In traditioneel menselijk onderzoek leggen hoge marginale kosten (werving, compensatie, tijd) een natuurlijke frictie op tegen uitputtend onderzoek naar experimentele specificaties. In contrast hiermee hebben AI-experimenten een uniek risicoprofiel: een hoge mate van specificatie-flexibiliteit gecombineerd met bijna nul marginale kosten. Onderzoekers kunnen razendsnel itereren door een enorme combinatorische ruimte van configuraties—waarbij zij modelfamilies, de formulering van prompts, decodingsparameters (temperatuur, top-p), seeds, retry-policies en parsing-regels variëren. Dit creëert een "garden of forking paths" (tuin van vertakkende paden) waar onderzoekers, doelbewust of onbedoeld, duizenden verdedigbare specificaties kunnen doorlopen totdat een gewenst resultaat naar voren komt. Omdat deze iteraties vaak geen zichtbaar spoor achterlaten in de uiteindelijke publicaties, loopt het vakgebied het risico dat de literatuur zich opstapelt met bevindingen die het resultaat zijn van niet-gecommuniceerde optimalisatieprocessen in plaats van robuuste fenomenen.

Methodologie en Taxonomie
Het artikel presenteert geen nieuwe experimentele data, maar construeert een systematische taxonomie van de "researcher degrees of freedom" die specifiek zijn voor experimenten met AI-agenten. De auteurs brengen deze kwetsbaarheden in kaart aan de hand van de "p-hacking"-dynamiek die is geïdentificeerd in onderzoek met menselijke proefpersonen, en categoriseren deze over de volledige experimentele pijplijn:

1. Modelselectie: Kiezen tussen tientallen modellen met variërende capaciteiten en alignment-tuning.
2. Prompt Engineering: Iteratieve verfijning van systeemberichten, gebruikersinstructies en few-shot voorbeelden, waarbij kleine wijzigingen in de bewoording fungeren als hoogdimensionele manipulaties van de behandeling.
3. Sampling en Decoding: Het aanpassen van stochastische parameters (temperatuur, top-p) en seeds die de inhoud van de respons en weigeringsgedrag veranderen.
4. Inference Budget: Het variëren van tokenlimieten, het aantal beurten (turn counts) en tool calls, wat de strategieën van agenten fundamenteel kan veranderen.
5. Responsverwerking: Beslissingen over hoe om te gaan met weigeringen, foutieve outputs of uitschieters (bijv. exclusie, imputatie of herhaalde pogingen).
6. Operationalisering van Uitkomsten: Het achteraf selecteren van specifieke metrieken of evaluatie-prompts (inclusief LLM-gebaseerde beoordelaars).

Om de omvang van dit probleem te illustreren, verwijzen de auteurs naar een simulatie (gedetailleerd in de appendix van het artikel) die anchoring-effecten onderzoekt over 2.430 specificaties. De simulatie toonde aan dat door verschillende paden door de specificatieruimte te kiezen, een onderzoeker tot de conclusie kan komen dat LLM's sterke mensachtige anchoring vertonen, géén anchoring vertonen, of zelfs omgekeerde (reverse) anchoring vertonen. Dit benadrukt de "illusie van robuustheid", waarbij een bevinding algemeen toepasbaar lijkt simpelweg omdat de onderzoeker door de multiverse van specificaties heeft genavigeerd om een ondersteunend pad te vinden.

Kernbijdragen
De primaire bijdrage van het artikel is het voorstel om preregistratie—een praktijk die centraal staat bij het verbeteren van de geloofwaardigheid in onderzoek met menselijke proefpersonen—uit te breiden naar experimenten met AI-agenten. De auteurs introduceren een op maat gemaakte preregistratie-template die ontworpen is om flexibiliteit in te perken terwijl de noodzakelijke exploratieve vrijheid behouden blijft. De belangrijkste componenten van deze template zijn:

• Specificatie van de Computationele Omgeving: Het vereisen van exacte modelidentificaties (inclusief versie-checkpoints), generatieparameters, inference-budgetten en API-toegangstijden om reproduceerbaarheid te garanderen.
• Prompt Transparantie: Het verplichten van de letterlijke vermelding van alle promptteksten (systeem- en gebruikersberichten) in plaats van samenvattingen, aangezien subtiele formateringswijzigingen de impact op het gedrag aanzienlijk beïnvloeden.
• Openheid over Pilot Testing: Het vereisen dat onderzoekers de geschiedenis van prompt-iteraties documenteren, welke modellen tijdens de ontwikkeling zijn getest en of voorlopige resultaten de uiteindelijke hypothesen hebben beïnvloed. Dit adresseert de onzichtbaarheid van de zoektocht naar specificaties.
• Onderscheid tussen Confirmatief en Exploratief: Het expliciet labelen van analyses als ofwel hypothese-toetsend (confirmatief) of hypothese-genererend (exploratief). Voor confirmatieve studies vereist de template voorafgaande specificatie van primaire uitkomsten, statistische toetsen en beslisregels.
• Protocollen voor Robuustheid en Generalisatie: Als onderzoekers de robuustheid willen testen over verschillende modellen of prompt-varianten, moeten zij de volledige ruimte van specificaties en aggregatieregels vooraf definiëren en de resultaten van de gehele ruimte rapporteren in plaats van een subset te selecteren.
• Gefaseerde Ontwerpen: Het faciliteren van adaptieve ontwerpen (bijv. het gebruik van pilot-data om de moeilijkheidsgraad te kalibreren) door vooraf gespecificeerde beslisregels voor volgende fasen te eisen.
• Transparantieverbintenissen: Het verplichten van het delen van ruwe modeloutputs, verwerkte data en analysecode, samen met een verklaring dat de dataverzameling nog niet is begonnen.

Resultaten en Claims
Het artikel rapporteert geen empirische resultaten van een nieuw onderzoek, maar synthetiseert bewijs uit de sociale wetenschappen en de machine learning-literatuur om te pleiten voor een verschuiving in normen. De auteurs stellen dat:

1. Het Risico is Systemisch: De combinatie van hoge flexibiliteit en lage kosten in AI-experimenten creëert prikkels voor de zoektocht naar specificaties die ernstiger zijn dan in onderzoek met menselijke proefpersonen.
2. Huidige Normen zijn Onvoldoende: In tegenstelling tot traditionele ML-benchmarking, die steunt op vaste testsets, missen gedragsexperimenten met AI-agenten vaak analoge waarborgen, wat leidt tot een literatuur waarin gerapporteerde bevindingen mogelijk artefacten zijn van niet-gecommuniceerde optimalisatie.
3. Preregistratie is de Oplossing: Door voorafgaande verbintenis tot hypothesen, methoden en analyseplannen te eisen, kan preregistratie de "garden of forking paths" beperken en onderscheid maken tussen confirmatieve tests en exploratieve zoektochten.
4. Haalbaarheid: De voorgestelde template balanceert striktheid met praktische bruikbaarheid, waardoor exploratief werk mogelijk blijft zolang het duidelijk gelabeld en gescheiden is van confirmatieve claims.

Betekenis
Het artikel betoogt dat de machine learning-gemeenschap een unieke kans heeft om "geloofwaardigheid in dit onderzoeksparadigma te bouwen vanaf het begin", in plaats van achteraf waarborgen in te bouwen zoals de sociale wetenschappen deden na een crisis. Door preregistratie te institutionaliseren, kan het vakgebied ervoor zorgen dat bevindingen over AI-gedrag—zoals biases, redeneerpatronen en alignment-eigenschappen—robuust en betrouwbaar zijn. Dit is bijzonder cruciaal nu AI-agenten steeds vaker autonome rollen vervullen in domeinen met hoge belangen (bijv. onderhandelingen, infrastructuurbeheer), waar het begrijpen van hun gedrag een essentieel onderzoeksdoel op zich is. De auteurs roepen conferenties, tijdschriften en financieringsinstanties op om preregistratie tot standaardpraktijk te maken, waardoor het onderzoeksproces wordt getransformeerd van een opaak traject door een multiverse van specificaties naar een leesbare, cumulatieve wetenschap.