🤖 AI

Lost in Simulation: LLM-Simulated Users are Unreliable Proxies for Human Users in Agentic Evaluations

Dit artikel toont aan dat door LLM's gesimuleerde gebruikers onbetrouwbare plaatsvervangers zijn voor echte mensen in agentische evaluaties, aangezien zij aanzienlijke robuustheidsproblemen, systematische kalibratiefouten en versterkte vooroordelen vertonen tegen diverse populaties zoals AAVE- en Indiaas-Engelse sprekers, wat uiteindelijk het risico inhoudt dat de capaciteiten van agents verkeerd worden gerepresenteerd en werkelijke uitdagingen bij de implementatie in de echte wereld worden verhuld.

Oorspronkelijke auteurs: Preethi Seshadri, Samuel Cahyawijaya, Ayomide Odumakinde, Sameer Singh, Seraphina Goldfarb-Tarrant

Gepubliceerd 2026-01-29

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Preethi Seshadri, Samuel Cahyawijaya, Ayomide Odumakinde, Sameer Singh, Seraphina Goldfarb-Tarrant

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het "Crashtestpop"-probleem

Stel je voor dat je een autofabrikant bent. Voordat je een nieuwe auto aan het publiek verkoopt, moet je testen hoe goed deze omgaat met verschillende bestuurders. In plaats van echte mensen in te huren om de auto te besturen, besluit je een robotbestuurder te gebruiken die je hebt geprogrammeerd om als een mens te handelen. Je denkt: "Deze robot is perfect; hij wordt nooit moe, hij houdt zich aan de regels en het is goedkoop in gebruik."

Dit paper betoogt dat het gebruik van AI-robots (LLM's) om menselijke gebruikers te simuleren voor het testen van AI-assistenten een slecht idee is. De robotbestuurders rijden niet echt zoals echte mensen. Ze zijn te beleefd, ze stellen te veel vragen en ze reageren anders afhankelijk van welk robotmodel je gebruikt. Hierdoor zijn je testresultaten misleidend, en denk je misschien dat je auto veilig is, terwijl hij dat voor echte mensen eigenlijk niet is.

Het Experiment: De "Rollenspel"-test

De onderzoekers wilden zien of een AI "Gebruiker" (een robot die een mens simuleert) nauwkeurig kan voorspellen hoe een echte mens zou interageren met een AI "Agent" (een robot die probeert te helpen bij taken zoals het boeken van vluchten of het retourneren van artikelen).

Ze zetten een enorme experiment op:

De Taak: Ze gebruikten een standaardtest genaamd $\tau$ -Bench, die bestaat uit winkel-taken (zoals het wijzigen van een bestelling of het retourneren van een pakket).
De Spelers: Ze lieten echte mensen uit de VS, India, Kenia en Nigeria interageren met een AI Agent.
De Vergelijking: Ze vergeleken deze echte interacties met interacties waarbij de "Gebruiker" gewoon een andere AI was (een simulatie).

Wat ze vonden (De 3 Grote Problemen)

1. Het "Robotkeuze"-probleem (Robuustheid)

De Analogie: Stel je voor dat je je auto test met een robotbestuurder genaamd "Robo-1". Hij zegt dat de auto voor 70% veilig is. Daarna test je het met "Robo-2", en plotseling zegt hij dat de auto voor 80% veilig is. Welke van de twee heeft gelijk? Dat weet je niet.

De Bevinding: De onderzoekers ontdekten dat het simpelweg veranderen van het AI-model dat de gebruiker simuleert, de resultaten aanzienlijk veranderde. Afhankelijk van welke "robotgebruiker" ze gebruikten, varieerde het succespercentage van de AI Agent met wel 9 procentpunten. Dit betekent dat de testresultaten instabiel zijn; je kunt niet op één enkele robot vertrouwen om je de waarheid te vertellen.

2. Het "Vals Zelfvertrouwen"-probleem (Validiteit)

De Analogie: Stel je een leraar voor die een leerling beoordeelt. De leraar (de AI Agent) denkt dat hij een geweldig werk doet omdat de leerling (de robot-leerling) heel beleefd is en duidelijke vragen stelt. Maar wanneer er een echte, chagrijnige of verwarde leerling verschijnt, faalt de leraar jammerlijk.

De Bevinding:

Moeilijke Taken: Wanneer de taak erg moeilijk was, lieten de robot-gebruikers de AI Agent slechter lijken dan hij in werkelijkheid was (onderschatting van prestaties).
Gemiddelde Taken: Wanneer de taak matig moeilijk was, lieten de robot-gebruikers de AI Agent beter lijken dan hij in werkelijkheid was (overschatting van prestaties).
De "Beleefdheids"-fout: Echte mensen zijn soms bot, ongeduldig of vaag. Robot-gebruikers waren echter consequent te beleefd en stelden te veel vragen. Dit creëerde een "nep" gesprek dat niet overeenkwam met de werkelijkheid.

3. Het "Oneerlijke Spiegel"-probleem (Rechtvaardigheid)

De Analogie: Stel je een spiegel voor die je er geweldig uit laat zien als je een pak draagt (Standaard Engels), maar die je er slordig uit laat zien als je casual kleding draagt (African American Vernacular English of Indiaas Engels). De spiegel is niet kapot; hij is gewoon bevooroordeeld richting het pak.

De Bevinding: De robot-gebruikers waren slecht in het simuleren van bepaalde groepen mensen.

AAVE-sprekers: De robot-simulaties waren het minst nauwkeurig voor sprekers van African American Vernacular English (AAVE). De AI Agent presteerde aanzienlijk slechter bij echte AAVE-sprekers dan de robot-simulaties voorspelden.
Leeftijdsverschil: De kloof werd zelfs groter naarmate mensen ouder werden. De robot-simulaties slaagden er niet in de uitdagingen waar oudere volwassenen (55+) voor stonden te vatten, vooral als zij AAVE spraken.
Wereldwijde Bias: De simulaties werkten het beste voor jonge, Standaard Amerikaanse Engelssprekers en het slechtst voor mensen uit India, Kenia en Nigeria.

De "Wie krijgt de schuld"-verrassing

Wanneer er iets misging in de test, keken de onderzoekers naar wie de schuld kreeg:

Met Echte Mensen: Als de taak mislukte, kwam dat vaak omdat de mens verkeerd werd begrepen, ambigu was of de instructies niet perfect opvolgde (62% van de fouten). Dit is normaal menselijk gedrag.
Met Robot-gebruikers: Als de taak mislukte, lag de schuld bijna altijd bij de AI Agent (49% van de fouten).

Waarom dit ertoe doet: De robot-gebruikers waren "te perfect". Ze volgden instructies zo strikt op dat ze de AI Agent geen kans gaven om te oefenen met echte verwarring. Dit maakte de AI Agent vaker falend dan hij zou moeten zijn, of liet hem op andere manieren falen dan hij dat met een echt persoon zou doen.

De Kern van het Verhaal

De conclusie van het paper is dat we niet kunnen vertrouwen op AI-robots om andere AI-robots te testen.

Als bedrijven deze "robot-gebruikers" blijven gebruiken om hun AI-assistenten te evalueren, riskeren ze:

Te denken dat hun AI beter of slechter is dan hij in werkelijkheid is.
AI-systemen te implementeren die geweldig werken voor sommige mensen, maar rampzalig falen voor anderen (vooral voor oudere volwassenen en mensen met niet-standaard Engels).
Echte wereldproblemen te missen omdat de "robot-gebruikers" te beleefd en voorspelbaar zijn.

De Les: Om echt behulpzame AI te bouwen, moeten we het testen met echte, diverse mensen, en niet alleen met meer robots die zich als mensen voordoen.

Technische Samenvatting: Lost in Simulation

Probleemstelling
Agentische benchmarks vertrouwen steeds vaker op door Large Language Models (LLM's) gesimuleerde gebruikers om de prestaties van AI-agenten op schaal te evalueren, als vervanging voor kostbare menselijke evaluaties. De robuustheid, validiteit en eerlijkheid van deze aanpak blijven echter ongetest. De huidige praktijken vertrouwen vaak op een enkele simulatiemodel voor de gebruiker, waarbij gebruikers als een homogene groep worden behandeld en de linguïstische en culturele diversiteit wordt genegeerd. Dit roept kritische vragen op: Voorspellen gesimuleerde gebruikers de prestaties van agenten in de echte wereld betrouwbaar? Introduceren zij systematische vooroordelen die de capaciteiten van agenten over diverse populaties heen verkeerd weergeven?

Methodologie
De auteurs voerden een uitgebreide gebruikersstudie uit om LLM-gesimuleerde gebruikers te evalueren als proxies voor echte mensen met behulp van de $\tau$ -Bench retail-taaksuite.

Deelnemers: De studie rekruteerde $\sim$ 40 deelnemers per groep uit de Verenigde Staten, India, Kenia en Nigeria. De Amerikaanse deelnemers werden gestratificeerd op dialect (Standard American English [SAE] versus African American Vernacular English [AAVE]) en leeftijd (18–34, 35–54, 55+). Niet-Amerikaanse deelnemers werden gerekruteerd uit de leeftijdscategorie 18–34 jaar.
Taakontwerp: Vanuit de 115 retail-taken in $\tau$ -Bench selecteerden de auteurs een op moeilijkheidsgraad gebalanceerde subset van 18 taken (3 taken per moeilijkheidsniveau, gedefinieerd door een modelgebaseerde succesratio-metriek).
Experimentele opzet: Deelnemers interageen met een vaste agent-model (GPT-4o) via een chatinterface om taken te voltooien. Deze interacties werden vergeleken met interacties waarbij de "gebruiker" werd gesimuleerd door verschillende LLM's (GPT-4o, Sonnet 3.7, Sonnet 4.5, Kimi-K2-Thinking).
Evaluatiemetrieken:
- Succesratio: Het percentage taken waarbij de agent correct vereiste acties uitvoerde en noodzakelijke informatie overbracht.
- Expected Calibration Error (ECE): Aangepast van probabilistische classificaties om de gewogen absolute afwijking te meten tussen de succesratio's van de agent met gesimuleerde gebruikers versus echte menselijke gebruikers over verschillende moeilijkheidsgraden.
- Interactieanalyse: Kwantitatieve analyse van de conversationele structuur (beurten, vragen, beleefdheidsmarkers) en kwalitatieve fouttoerekening (argumentfouten, ontbrekende acties, outputfouten).

Belangrijkste Bijdragen en Resultaten

Gebrek aan Robuustheid:
De succesratio van agenten varieert aanzienlijk afhankelijk van de keuze van het gebruikerssimulatiemodel. Terwijl sommige modellen clusteren rond de 67–71% succes, resulteerde de overstap van Sonnet 3.7 naar Sonnet 4.5 als gebruikersmodel in een verschil van 9 procentpunt in succesratio's. Dit geeft aan dat simulaties met een enkel model onbetrouwbaar zijn voor het vaststellen van robuuste prestatiebaselines.
Systematische Miscalculatie (Validiteit):
Gesimuleerde gebruikers dienen niet als betrouwbare proxies voor echte mensen. Zelfs in de Amerikaanse context (waar LLM's vaak als het best gekalibreerd worden beschouwd), was de Expected Calibration Error (ECE) 15.1.

Bias in Taakmoeilijkheid: Gesimuleerde gebruikers onderschatten systematisch de prestaties van de agent bij de meest uitdagende taken (0% moeilijkheidsbin) en overschatten de prestaties bij matig moeilijke taken (60% moeilijkheidsbin).
Conversationele Artefacten: Gesimuleerde gebruikers vertonen afwijkende gedragspatronen vergeleken met mensen, waaronder aanzienlijk hogere percentages van het stellen van vragen (18,8% tegenover 9,8% voor mensen) en beleefdheidsmarkers (39,2% tegenover 19,9%).

Demografische Dispariteiten (Eerlijkheid):
De betrouwbaarheid van gebruikerssimulatie varieert drastisch tussen demografische groepen, wat duidelijke eerlijkheidsproblemen onthult:

Dialectbias: Agenten behaalden een succesratio van 50,6% met SAE-sprekers, maar slechts 39,4% met AAVE-sprekers. De kalibratiefout (ECE) was bijna dubbel zo hoog voor AAVE-sprekers (20,3) vergeleken met SAE-sprekers (11,7).
Leeftijdsinteractie: Dispariteiten stapelen zich op met leeftijd. Het prestatieverschil tussen SAE en AAVE-sprekers werd groter van ~12 procentpunten in de leeftijdscategorie 35–54 naar 19 procentpunten in de groep 55+.
Geografische Bias: Gesimuleerde gebruikers waren de minst effectieve proxies voor AAVE- en Indiaas-Engelse sprekers (ECE $\approx$ 18,9), terwijl ze het best presteerden voor SAE-sprekers (ECE = 13,0).

Divergerende Foutmodi:
De aard van de fouten verschilt tussen gesimuleerde en menselijke interacties.

Fouttoerekening: In menselijke conversaties zijn de gebruikers de primaire bron van falen (62,2%), vaak door ambiguïteit of gedeeltelijke naleving. In gesimuleerde conversaties is de agent verantwoordelijk voor het merendeel van de fouten (48,9%).
Fouttypen: Agenten die interageren met gesimuleerde gebruikers maken vaker outputfouten (het weglaten of opnemen van onjuiste outputs), maar minder fouten door ontbrekende of extra acties. Dit suggereert dat gesimuleerde gebruikers instructies wellicht te nauwgezet opvolgen, waardoor de ambiguïteit en het onbegrip die echte gebruikers introduceren, niet aan de oppervlakte komen.

Betekenis en Claims
Het paper betoogt dat de huidige evaluatiepraktijken die vertrouwen op LLM-gesimuleerde gebruikers het risico lopen de capaciteiten van agenten verkeerd weer te geven over diverse gebruikerspopulaties heen. Door te optimaliseren voor gesimuleerde gebruikers, kunnen ontwikkelaars onbedoeld systemen creëren die robuust lijken in benchmarks, maar in de echte wereld onevenredig vaak falen, met name voor gebruikers die AAVE spreken of uit niet-Westerse achtergronden komen. De auteurs concluderen dat gebruikerssimulatie nog niet kan dienen als een op zichzelf staand evaluatieparadigma; in plaats daarvan moeten agentische benchmarks gesimuleerde uitkomsten valideren tegen demografisch diverse menselijke data en resultaten rapporteren over meerdere simulatiemodellen om robuustheid en eerlijkheid te waarborgen.