Decoding fairness: a reinforcement learning perspective

Technische Samenvatting: Het ontcijferen van rechtvaardigheid: Een perspectief vanuit Reinforcement Learning

Probleemstelling
Het Ultimatum Spel (US) dient als een primair model voor het begrijpen van het ontstaan van rechtvaardigheid. Terwijl de orthodoxe economie, die steunt op de Homo economicus-aanname, voorspelt dat rationele, eigenbelanggestuurde agenten het minimale mogelijke aanbod zullen voorstellen en elk niet-nul aanbod zullen accepteren (wat resulteert in extreme ongelijkheid), laten gedragsexperimenten consequent zien dat mensen de voorkeur geven aan eerlijke verdelingen (typisch 40–50%) en lage aanbiedingen afwijzen. Bestaande theoretische verklaringen voor deze discrepantie steunen grotendeels op het imitatieleer-framework, waarbij rechtvaardigheid wordt toegeschreven aan exogene factoren zoals populatiestructuur, reputatie, nijd of empathie. Dit artikel onderzoekt of rechtvaardigheid uitsluitend kan voortkomen uit endogene factoren binnen een Reinforcement Learning (RL) paradigma, waarbij agenten hun strategieën optimaliseren door middel van zelfreflectie en interactie met hun omgeving, in plaats van door succesvolle tijdgenoten te imiteren.

Methodologie
De auteurs modelleren een scenario met twee spelers in het US met behulp van Q-learning, een standaard RL-algoritme.

• Agent Architectuur: Elke speler krijgt twee afzonderlijke Q-tabellen toegewezen: één voor de rol van de voorsteller (proposer) en één voor de reageerder (responder).
• Toestands- en Actieruimte:
  • Acties: Voorstellers kiezen uit drie aanbiedingen ($p_l < 0.5$, $p_m = 0.5$, $p_h > 0.5$); reageerders kiezen uit drie acceptatiedrempels ($q_l, q_m, q_h$).
  • Toestanden: De toestandsruimte bestaat uit negen combinaties ($S = \{s_1, ..., s_9\}$) die de actieparen van de vorige ronde vertegenwoordigen.
• Leerdynamiek:
  • Agenten updaten hun Q-waarden met behulp van de Bellman-vergelijking: $Q_{s,a}(t+1) = (1-\alpha)Q_{s,a}(t) + \alpha(\pi(t) + \gamma \max_{a'} Q_{s',a'}(t))$.
  • $\alpha$ (Leersnelheid): Controleert het gewicht van de huidige ervaring; een hoge $\alpha$ impliceert "vergetelheid", terwijl een lage $\alpha$ het behouden van historische ervaring impliceert.
  • $\gamma$ (Discount Factor): Controleert het gewicht van toekomstige beloningen; een hoge $\gamma$ impliceert een "lange-termijnvisie", terwijl een lage $\gamma$ "kortzichtigheid" impliceert.
  • Exploratie: Agenten verkennen willekeurige acties met waarschijnlijkheid $\epsilon$ en exploiteren de hoogste Q-waarde daarbuiten.
• Metrieken: De studie volgt de stationaire fracties van aanbiedingen en acceptatiedrempels, waarbij specifiek wordt gekeken naar de prevalentie van de eerlijke optie ($p_m, q_m$) versus de rationele optie ($p_l, q_l$).

Belangrijkste Resultaten

1. Ontstaan van Rechtvaardigheid via Endogene Factoren: Rechtvaardigheid komt prominent naar voren wanneer agenten zowel over lage leersnelheden ($\alpha$, waarde hechten aan historische ervaring) als hoge discount factoren ($\gamma$, waarde hechten aan toekomstige beloningen) beschikken. In dit parameterregime stabiliseert het systeem met een hoge waarschijnlijkheid van eerlijke aanbiedingen ($p_m$) en eerlijke acceptatiedrempels ($q_m$).
2. Twee-fasen Evolutionair Mechanisme:
   • Fase I (Deals bereiken): Startend vanuit willekeurige configuraties, worden strategieën die leiden tot mislukte deals (bijv. hoge aanbiedingen $p_h$ of hoge drempels $q_h$) geëlimineerd vanwege lage uitbetalingen. Het systeem convergeert naar drie overlevende strategieën: $(p_m, q_m)$, $(p_l, q_l)$, en $(p_m, q_l)$.
   • Fase II (Vertakkingsproces): Een transitiedynamiek treedt op waarbij de gemengde strategie $(p_m, q_l)$ onstabiel is. Het systeem vertakt zich in twee stabiele toestanden: de eerlijke strategie $(p_m, q_m)$ of de rationele strategie $(p_l, q_l)$. Het transitiepad wordt geïdentificeerd als $(p_m, q_l) \to (p_l, q_l) \to (p_m, q_m)$.
3. Overeenstemming met Gedragsexperimenten: Het model reproduceert belangrijke experimentele observaties:
   • De waarschijnlijkheid van succesvolle deals neemt toe met hogere aanbiedingen.
   • Aanbiedingen onder de 20% worden frequent afgewezen (ongeveer 80% afwijzingswaarschijnlijkheid in het model), terwijl aanbiedingen tussen 45–50% zeer vaak worden geaccepteerd.
4. Parametersensitiviteit:
   • $\alpha$ en $\gamma$: Agenten met een hoge $\alpha$ (vergetelijk) of lage $\gamma$ (kortzichtig) vallen terug op de rationele, oneerlijke strategie.
   • Game Parameters ($l, h$): De ondergrens van aanbiedingen ($l$) heeft een significante impact op het evenwicht; naarmate $l$ stijgt, neemt het aandeel rationele strategieën toe. De bovengrens ($h$) heeft een marginale impact.
5. Robuustheid: Het ontstaan van rechtvaardigheid blijft standhouden wanneer de roltoewijzing wordt gewijzigd van roterend naar willekeurig of vast, en wanneer het scenario wordt uitgebreid naar een populatie in een rooster (lattice).

Betekenis en Claims
Het artikel claimt dat endogene motivatie binnen het reinforcement learning-paradigma voldoende is om het ontstaan van rechtvaardigheid te verklaren, waardoor exogene factoren (zoals reputatie of sociale normen) overbodig zijn voor dit specifieke resultaat. Door aan te tonen dat agenten die "het verleden waarderen" en "plannen voor toekomstige beloningen" van nature evolueren naar eerlijke strategieën, biedt de studie een fris perspectief dat verschilt van het imitatieleer-framework. De bevindingen suggereren dat menselijke rechtvaardigheid een resultaat kan zijn van adaptieve leerprocessen gericht op het maximaliseren van cumulatieve uitbetalingen over tijd, in plaats van een puur sociaal of cultureel construct. Het werk concludeert dat het zelfreflectieve karakter van RL een fundamentele verklaring biedt voor waarom mensen afwijken van de Homo economicus-voorspelling in het Ultimatum Spel.