💰 quantitative finance

Reinforcement Learning and Consumption-Savings Behavior

Dit artikel stelt een reinforcement learning-model met neurale netwerkbenadering voor om uit te leggen hoe adaptieve leermechanismen, in plaats van standaard rationele verwachtingen, gelijktijdig de hoge marginale consumptiegeneigdheden bij werkloze huishoudens met lage bezittingen en het persistente consumptie-“littekenweefsel” genereren dat wordt waargenomen bij individuen met eerdere werkloosheidservaringen.

Oorspronkelijke auteurs: Brandon Kaplowitz

Gepubliceerd 2026-08-06

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Brandon Kaplowitz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De GPS van het Brein en het Mysterie van het Uitgeven

Stel je je brein voor als een superintelligente GPS die navigeert door het chaotische terrein van het dagelijks leven. Meestal gaan we ervan uit dat mensen financiële beslissingen nemen als perfecte wiskundigen: ze weten precies hoeveel geld ze volgend jaar zullen verdienen, ze berekenen de perfecte balans tussen vandaag uitgeven en sparen voor morgen, en ze maken nooit fouten. Dit is het "Rational Expectations"-perspectief, de standaard kaart die economen al decennia lang gebruiken. Maar het echte leven is rommeliger. We hebben geen kristallen bol; we hebben alleen onze ervaringen uit het verleden.

Maak kennis met Reinforcement Learning (versterkend leren). Zie dit niet als een supercomputer die vergelijkingen oplost, maar als een videogame-speler die leert door vallen en opstaan. In een spel ken je de regels van het level vooraf niet. Je probeert een zet, krijgt een beloning (of een "game over"), en je brein werkt zijn interne kaart van "wat werkt" bij voor de volgende keer. Als je een hoge score haalt, onthoud je dat pad. Als je verliest, vermijd je het. Dit artikel stelt een fascinerende vraag: wat als onze uitgavepatronen niet worden berekend door een perfecte wiskundige, maar in plaats daarvan worden gevormd door dit zelfde "proberen, falen, leren"-proces? Het suggereert dat onze breinen constant een mentaal model bijwerken van hoeveel we zouden moeten sparen op basis van de verrassingen die we in het verleden hebben ervaren, in plaats van op basis van een perfecte voorspelling van de toekomst.

De Puzzel: Waarom geven sommige mensen meer uit als ze blut zijn?

Economen krabben zich al een tijdje achter de oren over twee vreemde patronen in hoe mensen geld uitgeven tijdens moeilijke tijden.

Het Eerste Mysterie: Tijdens de pandemie deelde de overheid stimulanscheques uit. Onderzoekers ontdekten dat werklozen die voorheen heel weinig geld op hun bankrekening hadden, ongeveer 0,53 van elke extra dollar die ze ontvingen, uitgaven. Maar werklozen die voorheen veel geld hadden, gaven slechts 0,29 van elke extra dollar uit. Dit is vreemd, want op het moment dat ze het geld kregen, was geen van beide groepen daadwerkelijk "blut" of niet in staat om te lenen. De standaard economische theorie zegt dat als je genoeg contant geld hebt, je niet extreem geneigd bent om een plotselinge meevaller uit te geven. Waarom zou het tekort aan geld in het verleden ervoor zorgen dat iemand nu meer uitgeeft, zelfs als het op dit moment goed met hen gaat?

Het Tweede Mysterie: Een andere studie toonde aan dat mensen die in het verleden werkloos zijn geweest, de neiging hebben om jarenlang meer te sparen en minder uit te geven, zelfs als ze momenteel werkzaam zijn en het financieel goed hebben. Dit wordt "scarring" (littekenvorming) genoemd. Het is als een geest uit het verleden die je verhindert om van je huidige salaris te genieten.

De grote vraag is: kan één enkele verklaring beide mysteries oplossen? Meestal moeten economen kiezen tussen één optie. "Misschien zijn ze gewoon bang voor de toekomst," of "Missïen zijn ze gewoon slecht in rekenen." Maar dit artikel suggereert een andere boosdoener: Reinforcement Learning.

Het Experiment: Een digitale agent leren

De auteur, Brandon Kaplowitz, bouwde een computersimulatie om dit idee te testen. In plaats van zijn digitale agenten een perfecte kaart van de toekomst te geven, gaf hij ze een "neuraal netwerk"—een vereenvoudigde versie van een brein dat leert door ervaring.

Zo werkt de simulatie:

De Opzet: De agenten beginnen met een ruwe schatting over hoe ze moeten sparen en uitgeven, vergelijkbaar met wat een perfecte wiskundige zou doen.
Het Spel: Ze beleven 50 kwartalen (ongeveer 12,5 jaar) van een gesimuleerd leven. Ze krijgen banen, verliezen banen en ontvangen loon.
Het Leren: Wanneer een agent een verrassing ervaart—zoals plotseling werkloos worden—voelt deze een "temporal difference error" (fout in het tijdsverschil). In termen van videogames is dit also kind een gouden munt verwacht, maar een steen krijgt. Het brein realiseert zich: "Wauw, mijn kaart klopte niet!"
De Update: Het neurale netwerk van de agent past de interne gewichten aan om deze fout te herstellen. Het verandert niet zomaar één getal; het hervormt het volledige begrip van hoe waardevol sparen is voor de toekomst.

De Grote Onthulling: Hoe "littekens" de kaart veranderen

De simulatie produceerde resultaten die bijna identiek waren aan de puzzels uit de echte wereld. Hier is het magische mechanisme:

Wanneer een agent werkloosheid ervaart, krijgt het brein een "negatieve verrassing". Om dit te herstellen, werkt het neurale netwerk de mentale kaart van de toekomst bij. Deze update doet twee dingen tegelijkertijd:

Het maakt de kaart steiler: De agent realiseert zich dat sparen belangrijker is dan ze dachten. Dit zorgt ervoor dat ze over het algemeen minder uitgeven (het "scarring"-effect).
Het maakt de kaart krommer: De agent realiseert zich dat de waarde van sparen snel afneemt naarmate ze rijker worden. Dit maakt hen extreem geneigd om elk nieuw beetje geld dat ze krijgen direct uit te geven, omdat de "pijn" van een laag spaarsaldo veel scherper aanvoelt dan voorheen.

Het Resultaat:

Het Scarring-effect: Agents met een geschiedenis van werkloosheid eindigden met lagere gemiddelde uitgaven, net als de gegevens uit de echte wereld.
De Uitgavepiek: Wanneer deze zelfde agents een stimulanscheque kregen, gaven ze 0,50 ervan uit (zeer dicht bij de echte waarde van 0,53), terwijl agents met een stabiele loopbaan slechts 0,34 uitgaven (dicht bij de echte waarde van 0,29).

Wat dit Betekent (en Wat het Niet Betekent)

Het artikel suggereert dat we niet hoeven aan te nemen dat mensen "irrationeel" zijn of een "vreemde psychologie" hebben om dit gedrag te verklaren. In plaats daarvan doet ons brein simpelweg waar het het beste in is: leren van de verrassingen uit het verleden.

Het gaat niet over pessimisme: De auteur testte een versie waarbij agents simpelweg "pessimistisch" werden (denkend dat werkloosheid waarschijnlijker is). Dat model faalde. Het maakte mensen minder uitgaafbereid, maar het zorgde er ook voor dat ze minder van een meevaller uitgaven, wat het tegenovergestelde is van wat we in de echte wereld zien. Het reinforcement learning-model was het enige dat zowel het "minder uitgeven over het algemeen" als het "meer uitgeven van een bonus" deel goed kreeg.
Het is een simulatie, geen kristallen bol: De auteur merkt voorzichtig op dat dit resultaten zijn uit een computersimulatie. De cijfers komen overeen met de echte studies (zoals 0,50 vs 0,34 in de simulatie versus 0,53 vs 0,29 in de werkelijkheid), maar dit is een model van hoe het zou kunnen werken, niet een definitief bewijs van hoe elk menselijk brein werkt.
De "Black Box"-beperking: Omdat de agents leren via een neuraal netwerk, kunnen we hen niet gemakkelijk vragen: "Wat denk je dat de kans is dat je ontslagen wordt?" Het model werkt door waarden aan te passen, niet door specifieke kansen te berekenen. Dit is een kracht (het is flexibel), maar ook een zwakte (we kunnen niet de exacte "overtuigingen" in de geest van de agent zien).

Kortom, dit artikel biedt een speelse maar krachtige nieuwe manier om naar onze portemonnee te kijken. Het suggereert dat onze uitgavepatronen een levend geschiedenisboek zijn, geschreven door de verrassingen die we hebben ondergaan. Wanneer we geschrokken worden door baanverlies, wordt ons brein niet alleen verdrietig; het herschrijft de regels van het spel, waardoor we meer sparen voor een regenachtige dag en onze meevallers sneller uitgeven, voor het geval de storm weer terugkomt.

Technische Samenvatting: Reinforcement Learning en Consumptie-Spaargedrag

Probleemstelling
Dit artikel behandelt twee hardnekkige empirische puzzels in het consumptiegedrag van huishoudens tijdens economische neergang die de standaardmodellen van rationele verwachtingen uitdagen, zelfs die die zijn uitgebreid met financieringsrestricties (borrowing constraints):

Hoge MPC's voor huishoudens met lage bezittingen: Ganong et al. (2024) documenteren dat werkloze huishoudens met voorheen lage liquide bezittingen een significant hogere marginale consumptiequote (MPC) vertonen uit stimulansen (0,53) vergeleken met huishoudens met hoge bezittingen (0,29), ondanks het feit dat geen van beide groepen momenteel te maken heeft met financieringsrestricties. Standaardmodellen hebben moeite om deze heterogeniteit te verklaren zonder uit te gaan van ex-ante verschillen of bindende restricties.
Consumptie-littekens (Consumption Scarring): Malmendier en Shen (2024) stellen vast dat huishoudens met meer ervaringen met werkloosheid in het verleden een persistent lager consumptieniveau handhaven (hogere spaarpercentages), zelfs na correctie voor huidige inkomen, vermogen en werkstatus.

Bestaande verklaringen kampen met een reconciliatieprobleem: mechanismen die hoge MPC's genereren (zoals financieringsrestricties) slagen er vaak niet in om het "litteken"-effect (lager gemiddeld consumptie) te verklaren, terwijl mechanismen die littekens verklaren (zoals een toegenomen subjectief werkloosheidsrisico) doorgaans lagere MPC's voorspellen, wat in strijd is met het empirische bewijs.

Methodologie
De auteur ontwikkelt een structureel model waarbij actoren economisch rationele besluitvormers zijn die onderhevig zijn aan informatie- en computationele beperkingen. In tegen tegenstelling tot standaardmodellen waar actoren de Bellman-vergelijking oplossen gegeven bekende inkomstenprocessen, gebruiken deze actoren Reinforcement Learning (RL) om hun voortzettingwaarde (continuation value) te benaderen.

Agent Setup: Actoren staan voor een Markov-beslissingsproces (MDP) met cash-on-hand ( $x$ ) en arbeidinkomen ( $y$ ) als toestandsvariabelen. Zij kennen de ware inkomstenovergangsmatrix ( $P$ ) niet en kunnen de Bellman-vergelijking met vaste punten niet analytisch oplossen.
Leermechanisme: Actoren maken gebruik van Q-learning met neurale netwerkbenadering.
- Waardefunctiebenadering: Actoren gebruiken een twee-laags neuraal netwerk met Rectified Linear Unit (ReLU) activaties om de verwachte waardefunctie ( $\hat{EV}$ ) te schatten op basis van huidige bezittingen en inkomen.
- Beleidsafleiding: Om gladde, monotone consumptiebeleidsregels te garanderen, past de actor een polynoom toe op de output van het neurale netwerk voor contrafactische analyse, hoewel zij de ruwe netwerkoutput gebruiken voor de gerealiseerde beslissingen.
- Update-regel: Actoren updaten de parameters ( $\phi$ ) van het neurale netwerk via gradiëntafdaling op de Temporal Difference (TD) fout. De TD-fout ( $\epsilon$ ) vertegenwoordigt de "verrassing" tussen de gerealiseerde waarde van een keuze en de eerdere verwachting van de actor.
- Initialisatie: Actoren beginnen met gewichten die geïnitialiseerd zijn om de rationele verwachtingsoplossing perfect te passen (wat een startpunt van rationaliteit simuleert). Afwijkingen ontstaan uitsluitend door de leerdynamiek gedreven door ervaren schokken.
Simulatie: Het model is gekalibreerd met parameters uit Ganong et al. (2024) en Krueger et al. (2016). Actoren worden gesimuleerd over 50 kwartalen (ongeveer 12,5 jaar) met een initiële vermogensverdeling afkomstig uit de 2016 Survey of Consumer Finances.

Belangrijkste Bijdragen

Verenigend Kader: Het artikel stelt reinforcement learning voor als een verenigend mechanisme dat gelijktijdig lager gemiddeld consumptie (littekens) en hogere MPC's volgend op negatieve inkomensschokken genereert. Dit lost de tegenstrijdigheid op die wordt gevonden in modellen van geloofsuitdatering (bijv. Malmendier en Shen, 2024), waarbij een toegenomen waargenomen risico zowel de consumptie als de MPC verlaagt.
Identificatie van het Mechanisme: Het artikel identificeert de specifieke rol van de gradiënt-update van het neurale netwerk. Wanneer een actor werkloosheid ervaart, veroorzaakt de negatieve TD-fout een gelokaliseerde neerwaartse verschuiving in de geschatte waardefunctie ( $\hat{EV}$ $\hat{E V}$ ). Vanwege de afstand-verval-eigenschap (distance-decay property) van neurale netwerkupdates (gerelateerd aan de Neural Tangent Kernel), veroorzaakt deze verschuiving:
- Een toename van de helling van $\hat{EV}$ nabij de huidige bezittingen, waardoor toekomstige besparingen waardevoller lijken, wat de huidige consumptie vermindert (littekens).
- Een toename van de kromming (convexiteit/concaviteit) van $\hat{EV}$ , waardoor het marginale rendement op sparen sneller afneemt naarmate de bezittingen stijgen, wat de consumptiebeleidsregel steiler maakt en de MPC verhoogt.
Onderscheid met Rationele Verwachtingen: Het model toont aan dat ervaring-gebaseerde heterogeniteit (ex-post) empirische patronen kan repliceren zonder dat ex-ante heterogeniteit of bindende financieringsrestricties vereist zijn.

Resultaten

Replicatie van MPC: De simulatie repliceert de bevindingen van Ganong et al. (2024). Actoren met lage initiële bezittingen vertonen een MPC van 0,50, terwijl actoren met hoge bezittingen een MPC van 0,34 vertonen. Deze kloof blijft bestaan zelfs wanneer de actoren niet onderworpen zijn aan financieringsrestricties, wat overeenkomt met de empirische grootte (0,53 versus 0,29).
Kwalitatieve Overeenstemming met Littekens: Wat betreft de bevindingen van Malmendier en Shen (2024), laat de simulatie brede kwalitatieve overeenstemming zien, maar komt deze niet volledig overeen met de empirische resultaten. Specifiek is de regressiecoëfficiënt van consumptie op de werkloosheidsindex negatief en statistisch significant, wat de richting van het "litteken"-effect bevestigt. Echter, de omvang van dit effect in de simulatie is ongeveer een orde van grootte kleiner dan de empirische schatting. De auteur schrijft dit deels toe aan frequentieverschillen (kwartaalsimulatie versus tweejaarlijkse data).
Vergelijking met Pessimistische Geloofssystemen: De auteur contrasteert de RL-actor met een "pessimistische" actor die geloofssystemen over werkloosheidskansen bijwerkt (Anticipated Utility). De pessimistische actor voorspelt correct een lagere consumptie, maar voorspelt onjuist een lagere MPC. De RL-actor is de enige die beide empirische richtingen matcht (lagere consumptie, hogere MPC).

Betekenis en Claims
Het artikel beweert dat adaptief leren door middel van reinforcement learning een plausibele gedragsbasis biedt voor consumptie-anomalieën die standaard rationele modellen niet kunnen verklaren. Het suggereert dat het "litteken"-effect en hoge MPC's niet noodzakelijkerwijs te wijten zijn aan veranderingen in de overtuigingen over kansen of bindende restricties, maar eerder aan fouten in de benadering van de waardefunctie die evolueren met ervaring.

De auteur merkt bescheiden beperkingen op:

De omvang van het litteken-effect in de simulatie is kleiner (met een orde van grootte) dan in de empirische data, hoewel de auteur dit deels toeschrijft aan de verschillen in frequentie (kwartaalsimulatie versus tweejaarlijkse data).
Het model is "model-vrij", wat betekent dat het niet expliciet de subjectieve overtuigingen van de actor over toekomstige werkloosheidskansen herstelt, wat de mogelijkheid beperkt om belasting-surveys voor kalibratie te gebruiken.
De huidige analyse richt zich op single-agent dynamiek; het artikel onderzoekt geen algemene evenwichtsimplicaties waarbij meerdere RL-actoren met elkaar interageren.

Uiteindelijk betoogt het artikel dat RL een onderscheidend en verenigend verklaringsmodel biedt voor hoe ervaringen uit het verleden het huidige consumptiegedrag vormgeven, verder dan wat de huidige economische omstandigheden alleen zouden voorspellen.