💻 computer science

Noncooperative Human-AI Agent Dynamics

Deze studie onderzoekt de dynamiek van niet-coöperatieve interacties tussen AI-agenten met standaard verwachte-utility-preferenties en menselijke beslissingsnemers die worden gemodelleerd volgens de Prospectieve Theorie, door middel van uitgebreide numerieke simulaties in diverse strategische spelomgevingen.

Oorspronkelijke auteurs: Dylan Waldner, Vyacheslav Kungurtsev, Mitchelle Ashimosi

Gepubliceerd 2026-03-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Dylan Waldner, Vyacheslav Kungurtsev, Mitchelle Ashimosi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Strijd tussen de Rekenmachine en de Mens: Een Verhaal over AI en Menselijke Emoties

Stel je voor dat je een groot toernooi organiseert, zoals een schaaktoernooi of een spelletje poker. Maar er is een twist: aan de ene kant van de tafel zitten robots die puur op logica en wiskunde draaien, en aan de andere kant zitten mensen die worden geleid door emoties, angst en hun eigen ervaringen.

Dit artikel van Dylan Waldner en zijn collega's (geschreven in de toekomst, 2026) onderzoekt precies wat er gebeurt als deze twee heel verschillende spelers tegen elkaar spelen. Ze kijken niet alleen naar wie wint, maar vooral naar hoe ze spelen en of ze tot een eerlijke oplossing komen.

Hier is de uitleg in simpele taal, met wat creatieve vergelijkingen:

1. De Twee Spelers: De Perfecte Rekenmachine vs. De Menselijke Hartklopping

De AI (De Rekenmachine):
De kunstmatige intelligentie in dit verhaal is als een superstrakke accountant. Hij kijkt alleen naar de cijfers. Zijn enige doel is: "Hoe krijg ik het meeste geld?" of "Hoe win ik het meeste punten?" Hij berekent elke kans exact en kiest altijd de optie die wiskundig het beste is. Hij heeft geen angst, geen trots en geen herinneringen aan vorige ronden die hem dwarszitten. Hij is de ultieme Verwachte Nut (Expected Utility) speler.
De Mens (De Reis met Emoties):
De menselijke speler is veel complexer. Volgens de theorie van Prospect Theory (een beroemde theorie uit de psychologie) doen mensen niet wat logisch is.
- Verliesaversie: Mensen vinden het pijnlijker om 10 euro te verliezen dan dat het leuk is om 10 euro te winnen. Het verlies weegt zwaarder.
- Het Referentiepunt: Mensen kijken niet naar hun totale vermogen, maar naar wat ze verwachtten. Als je hoopte op een bonus van 100 euro en krijgt er 50, voel je je teleurgesteld (alsof je 50 hebt verloren), zelfs als je eigenlijk nog steeds winst maakt.
- Kleine kansen: Mensen worden vaak gek door kleine kansen op een grote prijs (zoals bij loterijen), terwijl ze grote kansen op een klein verlies negeren.

2. Het Experiment: Een Spel van Strategieën

De auteurs hebben verschillende klassieke spelletjes gespeeld (zoals het Gevangenisdilemma, waar je moet kiezen tussen samenwerken of verraad, en Stag Hunt, waar je moet kiezen tussen risico en veiligheid).

Ze hebben drie soorten teams gemaakt:

AI tegen AI: Twee rekenmachines. (Verwacht: perfect logisch spel).
Mens tegen Mens: Twee mensen die hun emoties volgen.
AI tegen Mens: De strijd tussen logica en emotie.

Ze lieten deze teams duizenden keren spelen om te zien of ze tot een stabiel evenwicht kwamen (een punt waar niemand meer wil veranderen) of dat het een chaos werd.

3. De Verassende Resultaten: Wat gebeurde er?

Hier worden de resultaten vertaald naar alledaagse situaties:

De Menselijke "Grootmoeder" vs. De "Robo-Killer":
In het spel Gevangenisdilemma (waar samenwerking het beste is, maar verraad vaak wint), gedroegen de AI's zich zoals verwacht: ze verraadden elkaar en eindigden in een slechte situatie. Maar de mensen? Soms bleven ze samenwerken, soms niet.
- Verrassing: Soms speelden de mensen tegen de AI op een manier die wiskundig raar leek, maar emotioneel logisch was. Ze waren soms te voorzichtig of juist te risicovol, afhankelijk van hoe ze hun vorige winst of verlies zagen.
Het Spel van de "Kip" (Chicken):
Stel je twee auto's voor die op elkaar afrijden. Wie wijkt uit, is de "kip". Wie niet wijkt, wint, maar als niemand wijkt, crasht iedereen.
- De AI's berekenden de kansen op een crash perfect.
- De mensen? Omdat ze bang waren voor het verlies (de crash), deden ze soms raar. Ze deden soms dingen die leken op paniek of juist op onnodige bravoure, puur omdat ze het verlies van een "verlies" zagen als een catastrofe.
De "Onzichtbare" Chaos:
Het meest fascinerende was dit: soms leek het alsof de mensen en AI's heel anders speelden dan de theorie voorspelde (ze maakten andere keuzes), maar het eindresultaat (de punten) was vaak hetzelfde.
- Analogie: Het is alsof je twee mensen laat lopen naar een doel. De een loopt in een rechte lijn (de AI), de ander loopt in zigzag omdat hij bang is voor een hond (de mens). Ze komen op precies hetzelfde moment aan. De weg was anders, maar de uitkomst niet. Dit betekent dat we niet altijd kunnen voorspellen wat er gebeurt alleen door naar de punten te kijken; we moeten kijken naar de weg die ze bewandelen.
De "Kraak" in het Systeem:
In sommige spelletjes (zoals het Crawford's Counterexample) bleek dat als mensen volgens hun emoties spelen, er soms geen oplossing is die iedereen tevreden stelt. Het systeem "kraakt". De AI's konden hier niet mee omgaan en raakten in de war, terwijl de mensen gewoon doorgingen met hun eigen, soms irrationele, logica.

4. Waarom is dit belangrijk? (De "Waarom"-vraag)

Stel je voor dat we in de toekomst zelfrijdende auto's hebben (AI) die moeten rijden tussen mensen (mensen).

De auto denkt: "Ik moet de snelste route nemen."
De mens denkt: "Ik ben bang om te vertragen, dus ik rem niet, ook al is het gevaarlijk."

Als we de mens niet begrijpen als iemand die door emoties en angst wordt geleid (en niet als een robot), dan kunnen we geen veilige systemen bouwen. Dit onderzoek zegt: "Hé, als je AI's bouwt die met mensen moeten samenwerken of concurreren, moet je rekening houden met die menselijke 'irrationele' kant. Anders mis je de boot."

Conclusie in één zin

Dit papier laat zien dat als je een robot en een mens tegen elkaar laat strijden, de robot de wiskunde wint, maar de mens de emotie wint, en dat de echte wereld een rare mix is van beide, waar de regels van de logica soms niet meer werken.

Het is een waarschuwing aan de makers van AI: Leer de mens niet alleen als een rekenmachine, maar als een mens met een hart, angst en herinneringen.

Titel: Noncooperative Human AI Agent Dynamics

Auteurs: Dylan Waldner, Vyacheslav Kungurtsev, en Mitchelle Ashimosi
Datum: 19 maart 2026

1. Probleemstelling

Het artikel onderzoekt de dynamiek van niet-coöperatieve interacties tussen kunstmatige intelligentie (AI) agenten en menselijke besluitvormers in strategische omgevingen. Hoewel er veel onderzoek is gedaan naar Multi-Agent Reinforcement Learning (MARL), ontbreekt vaak een realistisch model voor menselijk gedrag in deze context.

Huidige limiet: Traditionele modellen veronderstellen dat mensen rationele "Homo Economicus"-agenten zijn die hun verwachte nut (Expected Utility - EU) maximaliseren.
De realiteit: Menselijk gedrag wordt beter beschreven door Prospect Theory (PT), ontwikkeld door Kahneman en Tversky. Mensen vertonen cognitieve heuristieken zoals:
- Referentiepunt-afhankelijkheid: Waardering van uitkomsten is relatief ten opzichte van een referentiepunt, niet absoluut.
- Verliesaversie: Verliezen wegen zwaarder dan equivalente winsten.
- Diminishing sensitivity: De gevoeligheid voor veranderingen neemt af naarmate men verder van het referentiepunt komt.
- Niet-lineaire waarschijnlijkheidsweging: Kleine kansen worden overgewaardeerd, grote kansen ondergewaardeerd.

De kernvraag is: wat zijn de emergente dynamieken en convergentiepunten wanneer AI-agenten (gebaseerd op EU-maximalisatie) concurreren met menselijke agenten (gebaseerd op PT-preferenties) in herhaalde spellen?

2. Methodologie

De auteurs hebben een experimenteel kader opgezet dat verschillende typen agenten combineert in een reeks klassieke en pathologische matrixspellen.

Agent Types

AI Agent (EU): Een standaard Reinforcement Learning-agent die gebruikmaakt van Q-learning om de verwachte beloning (Expected Utility) te maximaliseren.
Aware Human (AH): Een menselijke agent met volledige kennis van de spelstructuur en uitbetalingen. Deze agent berekent direct de beste reactie (best response) op basis van Prospect Theory, zonder te leren tijdens het spel.
Learning Human (LH): Een menselijke agent die het spel moet leren door interactie. Deze agent gebruikt Q-learning met gemiddelde beloning, maar past de Cumulative Prospect Theory (CPT) transformatie toe op de Q-waarden tijdens het nemen van beslissingen. Dit omvat de parameterisatie van Kahneman en Tversky ( $\alpha=\beta=0.88, \lambda=2.25, \gamma=0.61, \delta=0.69$ ).

Spel Suite

De experimenten omvatten twee categorieën spellen:

Klassieke Spellen: Gevangenisdilemma (Prisoner's Dilemma), Matching Pennies, Battle of the Sexes, Stag Hunt en Chicken.
Anomale Spellen: Ochs' Game en Crawford's Counterexample. Deze spellen zijn specifiek ontworpen om pathologieën (zoals het niet-bestaan van een evenwicht) te tonen wanneer PT-preferenties worden geïntroduceerd.

Referentiepunt Modellen

De studie test vier verschillende manieren waarop het referentiepunt ( $r_i$ ) wordt bepaald en aangepast:

Fixed: Een statisch referentiepunt.
EMA (Exponential Moving Average): Past zich aan op basis van de eigen historische uitkomsten.
V-Based: Afgeleid van de geleerde Q-waarden (rationele verwachtingen).
EMAOR (Social Comparison): Past zich aan op basis van de uitkomsten van de tegenstander (sociale vergelijking).

Algoritme

De auteurs implementeren een aangepaste Q-learning voor heterogene populaties. Voor de Learning Human wordt de Q-tabel uitgebreid om de overtuigingen (beliefs) over de acties van de tegenstander te incorporeren. De update-regels combineren de standaard Bellman-update met de CPT-transformatie op de verwachte toekomstige waarde.

3. Belangrijkste Bijdragen

Eerste empirische studie: Dit is het eerste werk dat de asymptotische gedragingen van gemengde populaties (PT vs. EU) in niet-coöperatieve $2 \times 2$ spellen systematisch onderzoekt.
Distinction tussen leren en bewustzijn: Het onderscheidt tussen agenten met volledige kennis (Aware Human) en agenten die het spel moeten leren (Learning Human), wat cruciaal is voor het modelleren van echte mens-AI interacties.
Q-learning met meervoudige referentiepunt-regimes: De formulering en studie van Q-learning in een omgeving waar referentiepunt-dynamiek en CPT-transformaties de leerprocessen beïnvloeden.
Empirische validatie van theorie: Het biedt numerieke bewijzen voor de bestaansproblemen van evenwichten in PT-spellen (zoals beschreven in eerdere theoretisch werk van Leclerc) en toont nieuwe emergente patronen.

4. Resultaten

De numerieke simulaties (50.000 stappen per experiment) leverden de volgende inzichten op:

Gevangenisdilemma (Prisoner's Dilemma):
- De meeste matchups convergeren naar het klassieke evenwicht (beide defecteren).
- Anomalie: In specifieke matchups (AH vs. LH met EMAOR referentiepunt) vertoonde de LH-agent een ongebruikelijk hoge cooperatie (~10%), ondanks dat het evenwicht defectie voorschrijft. Dit suggereert dat referentiepunt-dynamiek de leertrajecten kan verstoren.
Matching Pennies:
- Hoewel het theoretische evenwicht bij (0.5, 0.5) ligt, vertoonden LH-agenten significante afwijkingen (tot 40% afwijking) in hun beleidsverdeling.
- Verrassend: Ondanks extreme beleidsvariatie bleven de ontvangen beloningen voor beide spelers gelijk. Dit suggereert dat de "chaos" in het beleid niet leidt tot een nadeel in de uitbetaling, mogelijk door de stabiliteit van de Aware Human.
Stag Hunt:
- De spellen convergeren voornamelijk naar het "Stag" evenwicht (samenwerking), wat de invloed van verliesaversie ondersteunt (risico-aversie).
- AI vs. AI en sommige LH-matchups vielen terug naar het veilige "Hare" evenwicht.
Battle of the Sexes & Chicken:
- Battle of the Sexes: LH-agenten vertoonden suboptimale gemengde strategieën (bijv. 9:1 verhouding) die leidden tot lagere beloningen, wat wijst op een competitief nadeel voor lerende menselijke agenten in coördinatieproblemen.
- Chicken: In herhaalde spellen ontstonden nieuwe, onverwachte gemengde evenwichten (bijv. 0.8, 0.8) die niet door klassieke theorie worden voorspeld.
Pathologische Spellen (Ochs' Game & Crawford's Counterexample):
- De resultaten bevestigden de theoretische voorspelling dat PT-agenten moeite hebben met het vinden van gemengde evenwichten in spellen die de "betweenness"-axioma schenden.
- Agenten convergeren vaak naar pure strategieën of instabiele gebieden, in plaats van het theoretisch gemengde evenwicht.
- In Ochs' Game vertoonde de CPT-transformatie een extreem hoge invloed op de actiekeuzes (bijna 50% van de beslissingen), wat de dominantie van cognitieve biases in deze specifieke spelstructuren aantoont.

5. Betekenis en Conclusie

Het artikel concludeert dat het modelleren van menselijke agenten met Prospect Theory in plaats van standaard Expected Utility leidt tot fundamenteel verschillende strategische dynamieken:

Competitieve Dynamiek: Menselijke agenten (LH) vertonen vaak suboptimale, gemengde strategieën die worden gedreven door cognitieve biases (zoals afnemende gevoeligheid), wat hun prestaties kan beïnvloeden ten opzichte van rationele AI-agenten.
Systeemontwerp: Voor AI-safety en systeemdesign is het cruciaal om rekening te houden met deze biases. AI-systemen die alleen geoptimaliseerd zijn voor EU, kunnen onvoorspelbare reacties krijgen van menselijke gebruikers die PT-preferenties vertonen.
Toekomstige Implicaties: De bevindingen zijn relevant voor toepassingen zoals algoritmische trading, autonoom rijden en cyberveiligheid, waar mens-AI interacties vaak leiden tot marktfenomenen of veiligheidslekken die door rationele modellen niet worden voorspeld.

De auteurs benadrukken dat hoewel de beleidsafwijkingen soms groot zijn, deze niet altijd correleren met een verlies in totale beloning, wat suggereert dat de menselijke "irationaliteit" in sommige contexten een stabiel, zij het suboptimaal, evenwicht kan vormen.