Technische Samenvatting: Geverifieerde Hypothesen als Lens voor Evaluatie van Menselijk Gedrag in AI-Agenten

Probleemstelling

Grote Taalmodellen (LLM's) worden steeds vaker ingezet als surrogaatdeelnemers in experimenten uit de sociale wetenschappen, testomgevingen voor het simuleren van gebruikerspopulaties en bouwstenen voor multi-agent organisatiesimulaties. Deze toepassingen rusten op een impliciete bewering: dat het gedrag van de agent betekenisvol menselijk is. Echter, oplopend bewijs suggereert dat huidige LLM-gebaseerde agenten deze bewering op manieren falen die de validiteit van simulaties ondermijnen.

De conventionele operationalisering van menselijkheid, de Turing-test, is voor dit doel ontoereikend vanwege drie belangrijke beperkingen:

1. Subjectiviteit: Uitspraken hangen af van de indruk van een menselijke rechter op oppervlakkige vlotheid in plaats van diepgaande gedragscorrespondentie.
2. Grofheid: De binaire uitkomst (mens versus machine) faalt erin te diagnosticeren welke aspecten van menselijk gedrag ontbreken.
3. Schaalbaarheid: Het protocol is duur en vereist nieuwe menselijke rechters voor elke nieuwe agentiteratie.

Naarmate LLM's verbeteren, weerspiegelt het slagen voor dergelijke tests steeds meer stijlmatige nabootsing dan echte gedragsalignering. Er is behoefte aan een bruikbare, principiële en diagnostische test van menselijkheid die verder gaat dan conversatieve imitatie.

Methodologie: HUMANSTUDY-BENCH

De auteurs stellen een kader voor dat geverifieerde gedragshypotesen uit decennia van psychologie, gedragseconomie en sociale wetenschappen behandelt als de grondwaarheid voor evaluatie. De kerngedachte is dat als een agent menselijk is, een populatie van dergelijke agenten tot dezelfde inferentiële conclusies moet komen als de menselijke populatie wanneer ze worden onderworpen aan dezelfde experimentele protocollen.

Om dit te operationaliseren, introduceren de auteurs HUMANSTUDY-BENCH, een open platform dat gepubliceerde studies met menselijke proefpersonen reconstrueert tot herbruikbare simulatieomgevingen. Het systeem hanteert een mens-in-de-lus-pijplijn:

1. Filter: Kurateert studies waarbij hypothesen robuust zijn vastgesteld door onafhankelijke replicatie (bijvoorbeeld het Effect van Valse Consensus, het Framing-effect, het Vertrouwensspel). Studies moeten volledige experimentele documentatie hebben, kwantificeerbare uitkomsten en uitvoerbaar zijn voor tekstgebaseerde simulatie (exclusief fysiologische of visuele prikkels).
2. Extraheren: Formaliseert het experimentele protocol (prikkels, condities, instructies) en statistische analysemethoden in machine-uitvoerbare formaten.
3. Uitvoeren: Voert configureerbare agenten uit via de gereconstrueerde protocollen. De auteurs evalueerden 10 hedendaagse LLM's (open-gewicht en propriëtair) onder 4 varianten van agentontwerp:
   • Leeg (A1): Basismodel zonder specificatie.
   • Rollenspel (A2): Instructie om te handelen als een menselijke deelnemer.
   • Demografisch (A3): Toewijzing van attributen (leeftijd, geslacht, beroep) bemonsterd uit de oorspronkelijke studieverdelingen.
   • Gecontextualiseerde Achtergrond (A4): Verrijkte demografie met rijke narratieve biografieën.
4. Evaluëren: Scoreert mens-agent-alignering met twee orthogonale metrieken:
   • Probability Alignment Score (PAS): Meet inferentiële overeenstemming. Het kwantificeert de waarschijnlijkheid dat agent- en menselijke data tot dezelfde conclusie leiden met betrekking tot het bestaan van een effect (significantie), met gebruik van een Bayesiaanse bewijs-naar-waarschijnlijkheid-pijplijn om onzekerheid bij eindige steekproeven op te vangen.
   • Effect Consistency Score (ECS): Meet grootte-overeenstemming. Het gebruikt Lin's Concordantiecorrelatiecoëfficiënt om te beoordelen of de agent de grootte en het patroon van menselijke effecten reproduceert, met straf voor zowel incorrecte patronen als systematische schaalafwijkingen.

De initiële suite bestaat uit 12 studies die individuele cognitie, strategische interactie en sociale psychologie bestrijken, wat resulteert in meer dan 6.000 proeven.

Belangrijkste Resultaten

De evaluatie van 10 modellen over 12 studies onthult dat huidige LLM-agenten de test falen op specifieke, diagnostische manieren:

1. Bimodale Polarizatie: Agentresponsen vertonen geen uniforme "mediocre" prestatie. In plaats daarvan polariseren ze tussen volledige replicatie en volledig falen. Waar menselijke data consequent zeer significante resultaten oplevert, tonen agentsimulaties een brede spreiding van p-waarden, met een aanzienlijk deel dat in het niet-significante bereik valt.
2. Trade-off tussen Validiteit en Precisie: Er is een duidelijke divergentie tussen PAS en ECS. Sommige modellen bereiken een hoge PAS (correct identificeren dat een effect bestaat) maar een lage ECS (het effect versterken of dempen). Omgekeerd kunnen andere modellen effectpatronen volgen maar falen in het bereiken van statistische significantie.
3. Patroon versus Schaal: Decompositie van ECS onthult dat de primaire bottleneck patrooncorrelatie is (of de agent correct identificeert welke bevindingen sterker/zwakker zijn) in plaats van groottekalibratie. Agenten leren vaak de ruwe schaal van menselijke effecten, maar falen erin om de relatieve sterkte van verschillende fenomenen betrouwbaar te onderscheiden.
4. Invloed van Agentontwerp: Agentontwerp beïnvloedt alignering meer dan de ruwe modelgrootte.
   • Het toevoegen van demografische priors (A3) verbetert over het algemeen de alignering ten opzichte van de lege baseline.
   • Het toevoegen van rijke achtergronden (A4) levert geen monotoon verbetering op; het helpt sommige modellen (bijvoorbeeld Qwen, Claude) maar verslechtert de prestaties bij andere (bijvoorbeeld Grok, Gemini).
   • Naïef model-ensemble (het mixen van responsen van verschillende modellen) verslechtert de alignering aanzienlijk ten opzichte van single-model-benaderingen, wat "destructieve interferentie" introduceert.
5. Temperatuur en Schaal: Noch de ruwe modelgrootte, noch naïeve temperatuurafstelling biedt een systematische verbetering in alignering. Vlaggeschipmodellen presteren niet consequent beter dan kleinere open-gewicht modellen, en het variëren van de temperatuur ($T \in [0.1, 1.0]$) levert niet-monotone resultaten op die afhankelijk zijn van het specifieke taakdomein en de agentspecificatie.

Bijdragen en Betekenis

Het artikel maakt vier primaire bijdragen:

1. Een Nieuw Evaluatieparadigma: Het herformuleert menselijkheidstesten van een enkele binaire oordeelvorming naar een lijst statistische tests tegen geverifieerde bevindingen uit de sociale wetenschappen, wat een objectief, decomposeerbaar en schaalbaar alternatief biedt voor de Turing-test.
2. Nieuwe Metrieken: Het introduceert PAS en ECS om respectievelijk inferentiële en grootte-overeenstemming te kwantificeren, rekening houdend met onzekerheid in menselijke referentiedata.
3. HUMANSTUDY-BENCH Platform: Het biedt een open infrastructuur die gepubliceerde experimenten end-to-end reconstrueert, waardoor de gemeenschap configureerbare agenten kan evalueren tegen een groeiende suite van robuust gerepliceerde studies.
4. Diagnostische Empirische Inzichten: Het demonstreert dat huidige LLM-agenten menselijk gedrag falen te repliceren op specifieke, diagnoseerbare manieren, en onthult dat simulatiefideliteit meer wordt gedreven door agentspecificatie dan door modelgrootte of eenvoudige ensembling.

Betekenis:
De auteurs positioneren HUMANSTUDY-BENCH niet louter als een benchmark die huidige tekortkomingen rapporteert, maar als een diagnostisch instrument dat onthult hoe agenten falen. Door de focus te verschuiven van "kan de agent door een mens gaan?" naar "repliceert de agent specifieke, geverifieerde gedrageffecten?", biedt het kader een principiële weg naar het verbeteren van de validiteit van door AI-aangedreven sociale simulaties. Het artikel benadrukt dat, hoewel huidige agenten tekortschieten, de voorgestelde lens onderzoekers in staat stelt om systematisch gaten te identificeren en met grotere precisie te itereren op agentontwerpen. De auteurs merken op dat de initiële suite beperkt is tot WEIRD (Westers, Geschoold, Geïndustrialiseerd, Rijk, Democratisch) steekproeven en klassieke experimenten, en ze zien het platform als een fundament voor toekomstige uitbreiding naar bredere interculturele en hedendaagse contexten.