Technische Samenvatting: Prospect-Theory Gedrag vanuit Bellman-optimaliteit in MDP's met Catastrofale Toestanden

1. Probleemstelling

Dit artikel onderzoekt of standaard, risiconutrale optimale controle in Markov Beslissingsprocessen (MDP's) gedragssignaturen kan genereren die typisch geassocieerd worden met Prospect Theory (PT), specifiek wanneer de omgeving een absorberende catastrofale toestand bevat.

De auteurs dagen de conventionele interpretatie uit dat PT-fenomenen—zoals een S-vormige waardefunctie, verliesaversie ($\lambda > 1$) en het reflectie-effect (risico-aversie bij winst, risico-zoekend bij verlies)—niet noodzakelijkerwijs niet-lineaire nutfuncties, verstoorde probabiliteitsweging of referentie-afhankelijke voorkeuren vereisen. In plaats daarvan stelt het artikel de vraag of deze patronen puur voortkomen uit de structurele dynamiek van een MDP met een "catastrofe-grens" (een absorberende toestand die ruïne, faillissement of dood representeert) en lineaire beloningen.

De kern van het probleem is te bepalen of een risiconutrale agent, die de standaard Bellman-vergelijking optimaliseert, het volgende zal vertonen:

1. S-vormige waardefuncties: Convex nabij de catastrofe en concaaf in het verre veld.
2. Endogene verliesaversie: Een staat-afhankelijke sensitiviteitscoëfficiënt $\lambda^*(S) > 1$.
3. Reflectie-effect: Een beleidsreversal waarbij de agent risico-avers handelt in "groei"-regimes (positieve drift) en risico-zoekend in "neergang"-regimes (negatieve drift) nabij de catastrofe, ondanks dat lokale verwachte waarde-vergelijkingen het tegenovergestelde suggereren.

2. Methodologie

Modelformulering

De auteurs definiëren een catastrofe-grens MDP met de volgende eigenschappen:

• Toestandsruimte: $S = \{S_{cat}, S_{cat}+1, \dots\}$, waarbij $S_{cat}=0$ een absorberende catastrofe is met $V_{cat} \le 0$.
• Acties:
  • Veilig (Safe): Deterministische transitie $S' = S + \Delta_s$.
  • Risicovol (Risky): Stochastische transitie $S' = S + \Delta_w$ met waarschijnlijkheid $p$, en $S' = S + \Delta_\ell$ met waarschijnlijkheid $1-p$ (waarbij $\Delta_w > 0 > \Delta_\ell$).
• Doelstelling: Standaard risiconutrale Bellman-optimaliteit met lineaire beloningen en een kortingsfactor $\beta \in (0, 1)$.
• Regimes:
  • Groei (Growth): $E[\text{risky}] > \Delta_s > 0$.
  • Neergang (Decline): $E[\text{risky}] < \Delta_s < 0$.

Analytische en Numerieke Aanpak

1. Waarde-iteratie: Het systeem wordt opgelost via waarde-iteratie (tolerantie $10^{-10}$) over 495 parameterconfiguraties om optimale waardefuncties $V^*(S)$ en beleidsregels te genereren.
2. Endogene Verliessensitiviteit: De auteurs definiëren een structurele verliessensitiviteitscoëfficiënt analoog aan de PT-parameter $\lambda$:
   $$\lambda^*(S) = \frac{|V^*(S) - V^*(S + \Delta_\ell)|}{|V^*(S + \Delta_w) - V^*(S)|}$$
3. Asymptotische Analyse: De auteurs leiden een gesloten vorm uitdrukking af voor de asymptotische limiet $\bar{\lambda} = \lim_{S \to \infty} \lambda^*(S)$ door de karakteristieke vergelijking van de lineaire recursie die de waardefunctie in het verre veld beheerst, te analyseren.
4. Robuustheidstesten:
   • Model-vrije Leren: Tabulaire Q-learning wordt ingezet om te verifiëren of een model-vrije agent de fenomenen reproduceert zonder kennis van de transitiekernel.
   • Stochastische Transities: De deterministische transities worden geperturbeerd met additieve ruis (Gaussische, heavy-tailed Student-t, en asymmetrische skew-normale ruis) om de gevoeligheid voor distributieve aannames te testen.

3. Belangrijkste Bijdragen

1. Emergentie van Drie Prospect-Theory Signaturen

Het artikel toont aan dat standaard Bellman-optimaliteit alleen al het volgende produceert:

• S-vormige Waardefunctie: In groei-regimes is $V^*(S)$ convex nabij de catastrofe (door de hoge kosten van de "downside jump" naar ruïne) en concaaf in het verre veld.
• Endogene Verliesaversie: De ratio van waardeverliepen tot winsten, $\lambda^*(S)$, is strikt groter dan 1 en convergeert naar een asymptotisch plateau $\bar{\lambda}$.
• Reflectie-effect: Het optimale beleid keert om op basis van de omgevingsdrift. In groei speelt de agent veilig nabij de catastrofe (risico-aversie) om ruïne te vermijden, zelfs als de risicovolle actie een hogere directe verwachte opbrengst heeft. In neergang speelt de agent risicovol nabij de catastrofe (risico-zoekend) omdat de veilige actie slechts de onvermijdelijke ruïne uitstelt, terwijl een risicovolle winst een kans biedt om te ontsnappen.

2. Mechanisme: Continuatie-waarden, Niet Voorkeuren

De auteurs stellen vast dat deze gedragingen worden gedreven door continuatie-waarden (continuation values). Nabij een absorberende grens weegt de nabijheid van onomkeerbaar falen de neerwaartse risico's onevenredig zwaar. Dit dynamische effect keert de lokale verwachte waarde-rangschikkingen om zonder dat er kromming in de nutfunctie of probabiliteitsweging nodig is.

3. Gesloten Vorm Asymptotische Verliesaversie

Het artikel leidt een gesloten vorm formule af voor het asymptotische verliesaversie-plateau $\bar{\lambda}$:
$$\bar{\lambda} = \frac{z^{-r} - 1}{1 - z}$$
waarbij $r = |\Delta_\ell|/\Delta_w$ de payoff-asymmetrie ratio is, en $z \in (0, 1)$ de unieke wortel is van de karakteristieke vergelijking $\beta[p z + (1-p)z^{-r}] = 1$.

• Schaalinvariantie: $\bar{\lambda}$ hangt alleen af van $(p, \beta, r)$, niet van de absolute grootte van de beloningen.
• Grensdominantie: De formule maakt het mogelijk om $\bar{\lambda}$ te deconstrueren in een "grensbijdrage" (aanwezig zelfs wanneer $r=1$, d.w.z. symmetrische beloningen) en een "asymmetriebijdrage". De auteurs laten zien dat de grensbijdrage domineert; zelfs met symmetrische beloningen ($r=1$) is $\bar{\lambda} > 1$ in groei-regimes.

4. Robuustheid tegenover Leren en Ruis

• Q-Learning: Een tabulaire Q-learning agent reproduceert de S-vorm, de veilige zone, het "Hail Mary"-effect en $\lambda^* > 1$ met een hoge correlatie met de exacte oplossing ($R=0.98$ in groei, $R=1.00$ in neergang).
• Stochastiek: De fenomenen blijven bestaan onder Gaussische, heavy-tailed en asymmetrische ruis tot 50% van de stapgrootte. Het asymptotische plateau wijkt met maximaal 9,6% af van de voorspelling uit de gesloten vorm onder risico-kanaal ruis.

4. Resultaten

• Kwantitatieve Fit: De gesloten vorm formule voor $\bar{\lambda}$ komt overeen met numerieke oplossingen met $R^2 = 0.999$.
• Decompositie van Verliesaversie: Over 48 parametercellen account de "grensbijdrage" (de waarde van $\bar{\lambda}$ wanneer $r=1$) voor het merendeel van de verliesaversie. De "asymmetriebijdrage" (de toename door $r > 1$) heeft een mediaan aandeel van slechts 4,6% bij $r=1.25$ en stijgt naar 13,9% bij $r=2$.
• Beleidsreversal: In alle 69 geteste neergang-configuraties speelt de agent risicovol nabij de catastrofe, wat het "Hail Mary"-effect bevestigt. In groei-regimes speelt de agent veilig voor een specifiek aantal toestanden ($|\Delta_\ell|$) nabij de grens voordat hij overschakelt naar risicovol.
• Ruisgevoeligheid: Veilig-kanaal ruis heeft een verwaarloosbare impact ($\le 0,41\%$ afwijking), terwijl risico-kanaal ruis $\bar{\lambda}$ monotoon vermindert maar de kwalitatieve structuur behoudt.

5. Betekenis en Claims

Het artikel claimt een structurele en normatieve bijdrage in plaats van een psychologische. Het betoogt niet dat menselijk gedrag optimaal is of dat dit mechanisme de Prospect Theory volledig verklaart. In plaats daarvan stelt het dat:

1. Voldoendeheid van Structuur: Een absorberende catastrofale toestand is een voldoende structureel mechanisme om PT-achtige signaturen (S-vorm, verliesaversie, reflectie-effect) te genereren onder standaard, risiconutrale optimalisatie.
2. Herinterpretatie van Empirische Data: De geobserveerde variatie in verliesaversie-coëfficiënten in de gedragseconomie (bijv. afhankelijkheid van payoff-asymmetrie) kan deels worden verklaard door de structurele eigenschappen van de beslissingsomgeving (waarschijnlijkheid $p$, kortingsfactor $\beta$ en asymmetrie $r$) in plaats van uitsluitend door stabiele psychologische parameters.
3. Rationaliteit van Extreem Gedrag: Risico-averse gedrag bij winst en risico-zoekend gedrag bij verlies nabij falen kunnen rationele reacties zijn op continuatie-waarden, en niet noodzakelijkerwijs pathologische afwijkingen van rationaliteit.
4. Implicaties voor RL: Veilige of wanhopige gedragingen nabij absorberende fouten in Reinforcement Learning systemen kunnen natuurlijk voortkomen uit de omgevingsstructuur zonder dat er handmatig geprogrammeerde veiligheidsrestricties of voorkeursmodificaties nodig zijn.

De auteurs verklaren expliciet dat probabiliteitsweging, framing en referentie-afhankelijkheid buiten het model blijven en dat hun bevindingen bedoeld zijn om naast psychologische verklaringen te staan, niet om deze te vervangen.