Nonstandard Errors in AI Agents

Het onderzoek toont aan dat autonome AI-coderingsagenten aanzienlijke niet-standaardfouten vertonen door variatie in analytische keuzes, waarbij blootstelling aan voorbeeldpapers de spreiding van schattingen sterk vermindert door imitatie in plaats van begrip.

De kern

Stel je voor dat je een groep van 150 zeer slimme, autonome robots (AI-agenten) de opdracht geeft om hetzelfde mysterie op te lossen: "Is de beurs in de afgelopen tien jaar eerlijker en efficiënter geworden?"

Je geeft ze allemaal exact dezelfde data (miljarden transacties van de SPY-beurs) en dezelfde vraag. Je zou denken dat ze allemaal tot hetzelfde antwoord komen, toch? Dat is namelijk wat je zou verwachten van een computer.

Maar in dit onderzoek gebeurde er iets verrassends. De robots kwamen tot heel verschillende conclusies. Sommigen zeiden: "Ja, de markt is veel beter geworden!" Anderen riepen: "Nee, het is juist verslechterd!" En weer anderen zeiden: "Het is niet veranderd."

Dit fenomeen noemen de onderzoekers Nonstandard Errors (Niet-standaardfouten). In gewone taal: het is de verwarring die ontstaat omdat elke robot zijn eigen manier van werken kiest, net zoals mensen dat ook doen.

Hier is hoe het werkt, uitgelegd met een paar simpele analogieën:

1. De "Garden of Forking Paths" (Het Bos met Vorken)

Stel je voor dat elke robot een wandelaar is in een groot bos. Ze moeten allemaal naar dezelfde bestemming (het antwoord op de vraag), maar er zijn duizenden paden.

• Pad A: Meet de snelheid in kilometers per uur.
• Pad B: Meet de snelheid in mijlen per uur.
• Pad C: Meet de afstand in stappen.

Als je vraagt: "Hoe snel gaan we?", en iedereen kiest een ander pad, krijg je verschillende antwoorden.
In dit onderzoek kozen de robots vaak voor totaal verschillende manieren om "markt-efficiëntie" of "handelvolume" te meten.

• De ene robot keek naar dollars die werden verhandeld (geldstroom).
• De andere robot keek naar het aantal aandelen (fysieke hoeveelheid).

Omdat de prijs van aandelen in die tijd verdubbeld is, leek het geldstroom-pad te zeggen: "De handel explodeert!" terwijl het aantal-aandelen-pad zei: "De handel daalt!" Beide robots hadden gelijk, maar ze maten iets anders.

2. De "Stijl" van de Robot (Sonnet vs. Opus)

De onderzoekers gebruikten twee verschillende soorten robot-geesten: Sonnet en Opus.
Het bleek dat deze twee modellen een vaste "persoonlijkheid" of stijl hebben, net als mensen.

• Sonnet-robots waren dol op het meten van autocorrelatie (een specifieke statistische methode) en gebruikten vaak dagelijkse cijfers.
• Opus-robots waren fanatiek voor variance ratios (een andere methode) en werkten liever met maandelijkse cijfers.

Het was alsof je een groepje fotografen vroeg om een landschap te fotograferen. De ene groep (Sonnet) gebruikte altijd een groothoeklens, de andere groep (Opus) gebruikte altijd een telelens. Ze zien hetzelfde landschap, maar de foto's zien er totaal anders uit. Dit is geen toeval; het zit ingebakken in hun "brein".

3. De Proef: Krijgen ze hulp?

De onderzoekers deden een experiment in drie rondes om te zien of de robots hun antwoorden konden verbeteren:

• Ronde 1 (Alleen): Iedere robot werkt alleen. Resultaat: Grote chaos en veel verschillende antwoorden.
• Ronde 2 (Peer Review): De robots kregen een "kritiekbriefje" van andere robots. "Je hebt de verkeerde methode gekozen!"
  • Resultaat: Niets veranderde! De robots maakten willekeurige aanpassingen, maar werden niet eensgezind. Het was alsof je een groep mensen vraagt om hun mening te wijzigen omdat een buurman het niet eens is; ze gaan allemaal in een andere richting, maar komen niet dichter bij elkaar.
• Ronde 3 (De Top 5): De robots kregen de 5 beste rapporten te zien van de vorige ronde.
  • Resultaat: Hier gebeurde magie. De robots keken naar de winnaars en zeiden: "Oh, die gebruiken die methode? Dan doen wij dat ook!"
  • De verspreiding van antwoorden kromp met 80% tot 99%. Ze werden allemaal hetzelfde.

Maar wacht, is dat goed?
Niet helemaal. Soms kopieerden ze blindelings. Als de "winnaars" een rare methode hadden gekozen, volgden alle andere robots die rare methode. Ze stopten niet met nadenken over of het echt de beste methode was; ze imiteerden gewoon de leider.

Waarom is dit belangrijk voor ons?

1. Vertrouw niet op één AI-antwoord: Als je een AI vraagt om een economisch rapport te schrijven, is het antwoord niet "de waarheid". Het is slechts een van de vele mogelijke antwoorden, afhankelijk van welke "stijl" de AI toevallig kiest.
2. AI is geen magische oplossing: Mensen hebben al lang het probleem dat onderzoekers verschillende conclusies trekken uit dezelfde data. Nu zien we dat AI dit probleem niet oplost, maar soms zelfs verergert door nieuwe manieren van "nadenken" te introduceren.
3. De "ondergrens" van verwarring: Als zelfs slimme robots, die geen menselijke vooroordelen hebben, het niet eens kunnen worden over de beste manier om iets te meten, dan betekent dit dat de vraag zelf misschien niet goed genoeg is gesteld. De verwarring zit in de vraag, niet in de onderzoeker.

De conclusie in één zin

AI-agenten zijn niet de onfeilbare waarheidspriesters die we hoopten; ze zijn meer zoals een groep van 150 zeer slimme studenten die allemaal een andere manier van rekenen hebben. Als je ze allemaal hetzelfde huiswerk geeft, krijg je 150 verschillende antwoorden. Om de waarheid te vinden, moet je niet naar één robot kijken, maar naar de hele groep en hun verschillende manieren van denken vergelijken.

Technische samenvatting

Titel: Nonstandard Errors in AI Agents

Auteurs: Ruijiang Gao en Steven Chong Xiao (University of Texas at Dallas)
Trefwoorden: Niet-standaardfouten (NSE), AI-agenten, Empirisch onderzoek, Multiverse-analyse.

---

1. Het Probleem

De snelle opkomst van autonome AI-agenten in empirisch onderzoek roept een fundamentele vraag op: zullen verschillende AI-agenten, wanneer ze met dezelfde data en onderzoeksvraag worden geconfronteerd, tot dezelfde resultaten komen?

Bestaande literatuur (bijv. Silberzahn et al., 2018; Menkveld et al., 2024) toont aan dat menselijke onderzoekers aanzienlijke variatie vertonen in hun empirische bevindingen door "onderzoekersvrijheidsgraden" (researcher degrees of freedom). Deze variatie wordt Niet-Standaardfouten (NSE) genoemd: onzekerheid die voortkomt uit verschillen in analytische keuzes tussen onderzoekers, niet uit steekproeffouten.

De kernvraag van dit paper is of AI-agenten, die geen idiosyncratische training of institutionele drukken hebben, wel tot een enkele "beste" aanpak convergeren (en dus NSE elimineren), of dat ze eveneens aanzienlijke variatie vertonen door de stochastische aard van taalmodellen en de ondergespecificeerde aard van empirische taken.

2. Methodologie

De auteurs repliceren het experimentele ontwerp van Menkveld et al. (2024), maar vervangen menselijke onderzoekers door autonome AI-agenten.

• Experimentele Opzet:

  • Agenten: 150 autonome Claude Code-agenten (100 Sonnet 4.6 en 50 Opus 4.6).
  • Data: NYSE TAQ millisecond-data voor de SPDR S&P 500 ETF (SPY) van 2015 tot 2024 (ongeveer 66 GB, 7 miljard rijen).
  • Taken: De agenten moesten onafhankelijk zes hypothesen over marktkwaliteitstrends testen (bijv. marktefficiëntie, bid-ask spread, handelsvolume, prijsimpact).
  • Autonomie: Elke agent las instructies, verkennde de data, construeerde maatstaven, schatte trends, schreef een onderzoeksrapport (2.000–4.000 woorden) en genereerde code en figuren, volledig zonder menselijke tussenkomst.

• Driefasen Feedbackprotocol:

  1. Fase 1 (Onafhankelijk): Agenten voeren een initiële analyse uit.
  2. Fase 2 (Peer Review): Agenten ontvangen anonieme, geschreven feedback van twee andere AI-evaluators en herschrijven hun rapport.
  3. Fase 3 (Top Papers): Agenten krijgen toegang tot de vijf best beoordeelde rapporten uit Fase 2 en kunnen hun analyse een laatste keer aanpassen.

• Normalisatie: Omdat agenten effectgroottes in verschillende eenheden rapporteerden (bijv. absolute verandering vs. percentage verandering), werd een conversiepiplijn ontwikkeld om alle resultaten te normaliseren naar "percentage verandering per jaar" (%/yr) ten opzichte van het gemiddelde niveau van de maatstaf.

3. Belangrijkste Bijdragen

1. Existentie van AI-NSE: Het paper bewijst dat zelfs geavanceerde, autonome AI-agenten aanzienlijke niet-standaardfouten vertonen. Verschillende runs van dezelfde agent of verschillende model families leiden tot substantieel verschillende conclusies.
2. Structuur van de Variatie: De variatie is niet willekeurig, maar gestructureerd rond discrete keuzes in de definitie van maatstaven (measure-choice forks), zoals het kiezen tussen autocorrelatie en variantieratio, of tussen dollar-volume en aantal-aandelen-volume.
3. Model-specifieke "Empirische Stijlen": Verschillende model families (Sonnet vs. Opus) vertonen stabiele, systematische voorkeuren voor bepaalde methodologische benaderingen, wat suggereert dat LLM's ingebouwde methodologische bias hebben.
4. Feedback-dynamiek: Het paper toont aan dat AI-peer review (geschreven kritiek) weinig effect heeft op het verminderen van spreiding, terwijl het zien van voorbeeldpapers (exemplars) wel leidt tot convergentie, maar soms ook tot irrationele imitatie.

4. Resultaten

A. Omvang en Structuur van NSE

• Grote Spreiding: De interkwartielafstand (IQR) van de effectgroottes varieerde sterk per hypothese.
  • Voorbeeld (H4 - Volume): De IQR was 10,69%/yr. Dit werd volledig gedreven door een tweedeling: agenten die "dollar volume" gebruikten vonden een groei van +6%/yr, terwijl agenten die "aantal aandelen" gebruikten een daling van -5%/yr vonden.
  • Voorbeeld (H1 - Efficiëntie): De IQR was 2,43%/yr, gedreven door de keuze tussen autocorrelatie en variantieratio.
• Concentratie in Maatstafkeuze: De variatie zat bijna volledig in de keuze van de maatstaf (wat te meten), niet in de schattingsparadigma (hoe te schatten). Alle agenten kozen voor OLS-regressie met een lineaire tijdstrend; geen enkele agent gebruikte relatieve veranderingen (period-over-period ratios), een methode die wel veel door mensen wordt gebruikt.
• Modelstijlen:
  • Sonnet 4.6: Prefereerde autocorrelatie (87%) voor marktefficiëntie en level-OLS.
  • Opus 4.6: Prefereerde variantieratio (100%) voor marktefficiëntie en log-OLS.

B. Effect van Feedback

• Peer Review (Fase 1 → 2): Had geen effect op het verminderen van de spreiding (IQR bleef nagenoeg gelijk). Agenten maakten wel wijzigingen, maar deze waren "on gericht" (undirected); sommigen bewogen naar het mediane resultaat, anderen er vandaan.
• Exemplar Exposure (Fase 2 → 3): Leefde tot dramatische convergentie binnen specifieke maatstaf-families (IQR daalde met 80–99%).
  • Mechanisme 1: Binnen-familie verstrakking (agents met dezelfde maatstaf kwamen tot bijna identieke schattingen).
  • Mechanisme 2: Migratie tussen families (bijv. 71% van de autocorrelatie-agenten schakelde over naar variantieratio na het zien van de top-papers).
• Divergentie: In sommige gevallen (zoals H1 en H5) nam de spreiding juist toe omdat top-papers nieuwe methodologische opties introduceerden die agenten inconsistent overnamen.

C. Irrationele Imitatie

Bij abstracte hypothesen (waar de definitie open is) schakelden agenten vaak willekeurig van maatstaf alleen omdat een top-paper dat deed, zonder economische onderbouwing. Bijvoorbeeld bij handelsvolume: agenten schakelden van dollar-volume naar aandelen-volume (en vice versa) puur op basis van imitatie, wat economisch irrationeel is aangezien deze verschillende economische concepten meten.

5. Betekenis en Implicaties

• AI-NSE als Ondergrens: De variatie die AI-agenten vertonen (die gedeelde training en architectuur hebben) kan worden gezien als een ondergrens voor de NSE bij menselijke onderzoekers. Als AI-agenten al niet overeenkomen over de juiste maatstaf, dan is de onderzoeksvraag zelf ondergespecificeerd. Menselijke onderzoekers zouden waarschijnlijk nog meer variatie vertonen door hun eigen training en incentives.
• Geloofwaardigheid van Geautomatiseerd Onderzoek: Een enkele AI-generatie van een onderzoeksresultaat mag niet worden beschouwd als "ground truth". De keuze van de maatstaf kan de conclusie volledig omdraaien (van positief naar negatief).
• Rol van Peer Review: Traditionele peer review (geschreven kritiek) is inefficiënt voor AI-agenten om convergentie te bereiken. Agenten reageren niet op de kwaliteit van de kritiek, maar imiteren eerder de structuur van succesvolle voorbeelden.
• Multiverse-analyse als Standaard: Voor het gebruik van AI in empirisch onderzoek moet multiverse-analyse (het uitvoeren van dezelfde analyse met meerdere definities en specificaties) standaard worden. Dit helpt om de inherente onzekerheid in een onderzoeksvraag te kwantificeren voordat menselijke middelen worden ingezet.
• Ontwerp van AI-modellen: Het paper pleit ervoor dat variatie in AI-output voor onderzoekstoepassingen niet moet worden geëlimineerd door strengere alignment (zoals RLHF). Variatie is informatief: het onthult welke aspecten van een onderzoeksvraag goed gedefinieerd zijn en welke ondergespecificeerd zijn. Een model dat altijd dezelfde maatstaf kiest, zou een vals gevoel van zekerheid kunnen geven.

Conclusie: AI-agenten reproduceren de complexiteit en onzekerheid van menselijk onderzoek, maar met een eigen, gestructureerde bias. Ze zijn krachtige tools om de "ondergespecificeerde" aard van onderzoeksvragen te diagnosticeren, maar vereisen een kritische, multiverse-benadering om betrouwbare inzichten te genereren.