💰 quantitative finance

Reinforcement Learning and Consumption-Savings Behavior

Dieses Paper schlägt ein Reinforcement-Learning-Modell mit neuronaler Netzwerkapproximation vor, um zu erklären, wie adaptive Lernmechanismen anstelle von Standard-Rational-Expectations gleichzeitig die hohen marginalen Konsumneigungen bei arbeitslosen Haushalten mit geringem Vermögen und das beobachtete persistente Konsum-„Scarring“ bei Personen mit vergangenen Arbeitslosigkeitserfahrungen erzeugen.

Ursprüngliche Autoren: Brandon Kaplowitz

Veröffentlicht 2026-08-06

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Brandon Kaplowitz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das GPS des Gehirns und das Rätsel des Geldausgebens

Stellen Sie sich Ihr Gehirn wie ein superintelligentes GPS vor, das durch das chaotische Gelände des täglichen Lebens navigiert. Normalerweise gehen wir davon aus, dass Menschen finanzielle Entscheidungen wie perfekte Mathematiker treffen: Sie wissen genau, wie viel Geld sie nächstes Jahr verdienen werden, sie berechnen das perfekte Gleichgewicht zwischen dem heutigen Ausgeben und dem Sparen für morgen, und sie machen nie Fehler. Dies ist die Sichtweise der „rationalen Erwartungen“, die Standardkarte, die Ökonomen seit Jahrzehnten verwenden. Aber das echte Leben ist chaotischer. Wir haben keine Kristallkugel; wir haben nur unsere vergangenen Erfahrungen.

Hier kommt das Reinforcement Learning (Bestärkendes Lernen) ins Spiel. Betrachten Sie dies nicht als einen Supercomputer, der Gleichungen löst, sondern als einen Videospielspieler, der durch Versuch und Irrtum lernt. In einem Spiel kennen Sie die Regeln eines Levels nicht im Voraus. Sie probieren einen Zug aus, erhalten eine Belohnung (oder ein „Game Over“) und Ihr Gehirn aktualisiert seine interne Karte darüber, „was funktioniert“, für das nächste Mal. Wenn Sie eine hohe Punktzahl erreichen, erinnern Sie sich an diesen Pfad. Wenn Sie verlieren, vermeiden Sie ihn. Diese Arbeit stellt eine faszinierende Frage: Was wäre, wenn unsere Konsumgewohnheiten nicht von einem perfekten Mathematiker berechnet werden, sondern stattdessen durch diesen gleichen „Versuchen, Scheitern, Lernen“-Prozess geformt werden? Sie legt nahe, dass unser Gehirn ständig ein mentales Modell darüber aktualisiert, wie viel wir sparen sollten, basierend auf den Überraschungen, denen wir in der Vergangenheit gegenüberstanden, statt auf einer perfekten Vorhersage der Zukunft.

Das Rätsel: Warum geben manche Menschen mehr aus, wenn sie pleite sind?

Ökonomen zerbrechen sich über zwei seltsame Muster darüber den Kopf, wie Menschen in schwierigen Zeiten Geld ausgeben.

Das erste Rätsel: Während der Pandemie zahlte die Regierung Stimulus-Checks aus. Forscher fanden heraus, dass Arbeitslose, die früher sehr wenig Geld auf ihren Konten hatten, etwa 0,53 jedes zusätzlichen Dollars, den sie erhielten, ausgaben. Arbeitslose, die früher viel Geld hatten, gaben jedoch nur 0,29 jedes zusätzlichen Dollars aus. Das ist seltsam, denn in dem Moment, als sie das Geld erhielten, war keine der Gruppen tatsächlich „pleite“ oder nicht in der Lage, Kredite aufzunehmen. Die Standard-Wirtschaftstheorie besagt, dass man, wenn man genug Bargeld hat, nicht besonders begierig darauf sein sollte, einen plötzlichen Geldsegen auszugeben. Warum sollte der vergangene Mangel an Geld jemanden jetzt dazu bringen, mehr auszugeben, selbst wenn es ihm aktuell gut geht?

Das zweite Rätsel: Eine andere Studie fand heraus, dass Menschen, die in der Vergangenheit arbeitslos waren, dazu neigen, auch Jahre später mehr zu sparen und weniger auszugeben, selbst wenn sie derzeit beschäftigt sind und finanziell gut dastehen. Dies wird als „Narbenbildung“ (Scarring) bezeichnet. Es ist wie ein Geist aus der Vergangenheit, der Sie daran hindert, Ihr aktuelles Gehalt zu genießen.

Die große Frage lautet: Kann eine einzige Erklärung beide Rätsel lösen? Normalerweise müssen sich Ökonomen für eines entscheiden: „Vielleicht haben sie einfach Angst vor der Zukunft“ oder „Vielleicht sind sie einfach schlecht in Mathe“. Aber diese Arbeit deutet auf einen anderen Übeltäter hin: Reinforcement Learning.

Das Experiment: Einem digitalen Agenten das Lernen beibringen

Der Autor, Brandon Kaplowitz, baute eine Computersimulation, um diese Idee zu testen. Anstatt seinen digitalen Agenten eine perfekte Karte der Zukunft zu geben, gab er ihnen ein „neuronales Netz“ – eine vereinfachte Version eines Gehirns, das durch Erfahrung lernt.

So funktioniert die Simulation:

Das Setup: Die Agenten starten mit einer groben Vermutung darüber, wie man spart und ausgibt, ähnlich wie ein perfekter Mathematiker es tun würde.
Das Spiel: Sie erleben 50 Quartale (etwa 12,5 Jahre) eines simulierten Lebens. Sie bekommen Jobs, verlieren Jobs und erhalten Bezahlung.
Das Lernen: Wenn ein Agent eine Überraschung erlebt – wie zum Beispiel den plötzlichen Verlust seines Jobs – spürt er einen „Temporal Difference Error“ (zeitlichen Differenzfehler). In Videospiel-Begriffen ist das so, als würde man eine Goldmünte erwarten, aber einen Stein bekommen. Das Gehirn erkennt: „Hoppla, meine Karte war falsch!“
Das Update: Das neuronale Netz des Agenten passt seine internen Gewichte an, um diesen Fehler zu korrigieren. Es ändert nicht nur eine Zahl; es formt das gesamte Verständnis darüber, wie wertvoll Sparen für die Zukunft ist.

Die große Enthüllung: Wie „Narben“ die Karte verändern

Die Simulation lieferte Ergebnisse, die fast exakt den realen Rätseln entsprachen. Hier ist der magische Mechanismus:

Wenn ein Agent Arbeitslosigkeit erfährt, erlebt sein Gehirn eine „negative Überraschung“. Um dies zu korrigieren, aktualisiert das neuronale Netz seine mentale Karte der Zukunft. Dieses Update bewirkt zwei Dinge gleichzeitig:

Es macht die Karte steiler: Der Agent erkennt, dass Sparen wichtiger ist, als er dachte. Dies führt dazu, dass er insgesamt weniger ausgibt (der „Narben“-Effekt).
Es macht die Karte kurviger: Der Agent erkennt, dass der Wert des Sparens schnell abnimmt, sobald er reicher wird. Dies macht ihn extrem begierig darauf, jedes neue Geld auszugeben, weil er den „Schmerz“ des geringen Ersparten viel schärfer empfindet als zuvor.

Das Ergebnis:

Der Narben-Effekt: Agenten mit einer Geschichte der Arbeitslosigkeit endeten mit einem geringeren durchschnittlichen Konsum, genau wie die realen Daten.
Die Ausgabe-Spree: Als dieselben Agenten einen Stimulus-Check erhielten, gaben sie 0,50 davon aus (sehr nah an den realen 0,53), während Agenten mit einer stabilen Beschäftigungshistorie nur 0,34 ausgaben (nah an den realen 0,29).

Was dies bedeutet (und was es nicht bedeutet)

Die Arbeit legt nahe, dass wir nicht davon ausgehen müssen, dass Menschen „irrational“ sind oder eine „seltsame Psychologie“ haben, um diese Verhaltensweisen zu erklären. Stattdessen tut unser Gehirn einfach das, was es am besten kann: aus den Überraschungen der Vergangenheit zu lernen.

Es geht nicht um Pessimismus: Der Autor testete eine Version, in der die Agenten einfach nur „pessimistisch“ wurden (also dachten, dass Arbeitslosigkeit wahrscheinlicher sei). Dieses Modell scheiterte. Es ließ die Menschen zwar weniger ausgeben, aber es ließ sie auch weniger von einem Geldsegen ausgeben, was das Gegenteil dessen ist, was wir in der Realität beobachten. Das Reinforcement-Learning-Modell war das einzige, das sowohl den Teil „weniger insgesamt ausgeben“ als auch den Teil „mehr vom Bonus ausgeben“ richtig hinbekam.
Es ist eine Simulation, kein Kristallball: Der Autor weist vorsichtig darauf hin, dass dies die Ergebnisse einer Computersimulation sind. Die Zahlen stimmen mit den realen Studien überein (wie 0,50 vs. 0,34 in der Simulation gegenüber 0,53 vs. 0,29 in der Realität), aber es ist ein Modell dafür, wie es funktionieren könnte, nicht ein endgültiger Beweis dafür, wie jedes menschliche Gehirn arbeitet.
Die „Black Box“-Einschränkung: Da die Agenten durch ein neuronales Netz lernen, können wir sie nicht einfach fragen: „Was glaubst du, wie hoch die Chance ist, gefeuert zu werden?“ Das Modell arbeitet durch die Anpassung von Werten, nicht durch die Berechnung spezifischer Wahrscheinlichkeiten. Dies ist eine Stärke (es ist flexibel), aber auch eine Schwäche (wir können die exakten „Überzeugungen“ im Kopf des Agenten nicht direkt einsehen).

Kurz gesagt bietet diese Arbeit eine spielerische, aber kraftvolle neue Art, auf unseren Geldbeutel zu blicken. Sie legt nahe, dass unsere Konsumgewohnheiten ein lebendiges Geschichtsbuch sind, geschrieben von den Überraschungen, denen wir gegenüberstanden. Wenn wir durch einen Jobverlust erschreckt werden, wird unser Gehirn nicht nur traurig; es schreibt die Regeln des Spiels neu, was uns dazu bringt, mehr für einen Regentag zu sparen und unsere Geldsegen schneller auszugeben, falls der Sturm wiederkommt.

Technische Zusammenfassung: Reinforcement Learning und Konsum-Spar-Verhalten

Problemstellung
Dieses Paper befasst sich mit zwei anhaltenden empirischen Rätseln des privaten Konsumverhaltens während wirtschaftlicher Abschwünge, die Standardmodelle mit rationalen Erwartungen – selbst solche, die um Verschuldungsbeschränkungen ergänzt wurden – infrage stellen:

Hohe MPCs bei Haushalten mit geringem Vermögen: Ganong et al. (2024) dokumentieren, dass arbeitslose Haushalte mit zuvor geringen liquiden Mitteln eine signifikant höhere marginale Konsumquote (MPC) aus Transferzahlungen aufweisen (0,53) als Haushalte mit hohem Vermögen (0,29), obwohl keine der Gruppen gegenwärtig unter einer Verschuldungsbeschränkung leidet. Standardmodelle haben Schwierigkeiten, diese Heterogenität zu erklären, ohne ex-ante Unterschiede oder bindende Beschränkungen anzunehmen.
Konsum-Narbenbildung (Consumption Scarring): Malmendier und Shen (2024) stellen fest, dass Haushalte mit mehr Erfahrungen in Arbeitslosigkeit selbst nach Kontrolle von aktuellem Einkommen, Vermögen und Beschäftigungsstatus dauerhaft niedrigere Konsumniveaus (höhere Sparquoten) beibehalten.

Bestehende Erklärungen stehen vor einem Rekonziliationsproblem: Mechanismen, die hohe MPCs erzeugen (wie Verschuldungsbeschränkungen), können oft den Effekt der „Narbenbildung“ (niedrigerer Durchschnittskonsum) nicht erklären, während Mechanismen, die die Narbenbildung erklären (wie ein erhöhtes subjektives Arbeitslosigkeitsrisiko), typischerweise niedrigere MPCs vorhersagen, was den empirischen Befunden widerspricht.

Methodik
Der Autor entwickelt ein Strukturmodell, in dem Agenten rationale Entscheidungsträger sind, die jedoch unter informellen und rechnerischen Einschränkungen leiden. Im Gegensatz zu Standardmodellen, in denen Agenten die Bellman-Gleichung unter bekannten Einkommensprozessen lösen, nutzen diese Agenten Reinforcement Learning (RL), um ihren Fortsetzungswert (Continuation Value) zu approximieren.

Agenten-Setup: Die Agenten stehen vor einem Markov-Entscheidungsproblem (MDP) mit dem verfügbaren Barvermögen ( $x$ ) und dem Arbeitseinkommen ( $y$ ) als Zustandsvariablen. Sie kennen die wahre Übergangsmatrix des Einkommens ( $P$ ) nicht und können die Fixed-Point-Bellman-Gleichung nicht analytisch lösen.
Lernmechanismus: Die Agenten wenden Q-Learning mit neuronaler Netz-Approximation an.
- Wertfunktions-Approximation: Die Agenten verwenden ein zweischichtiges neuronales Netz mit ReLU-Aktivierungsfunktionen, um den erwarteten Wert ( $\hat{EV}$ ) basierend auf aktuellem Vermögen und Einkommen zu schätzen.
- Policy-Ableitung: Um glatte, monotone Konsumpolitiken zu gewährleisten, passt der Agent ein Polynom an den Output des neuronalen Netzes für die kontrafaktische Analyse an, nutzt jedoch für die realisierten Entscheidungen den rohen Output des Netzwerks.
- Update-Regel: Die Agenten aktualisieren die Parameter des neuronalen Netzes ( $\phi$ ) mittels Gradientenabstieg auf Basis des Temporal Difference (TD) Fehlers. Der TD-Fehler ( $\epsilon$ ) repräsentiert die „Überraschung“ zwischen dem realisierten Wert einer Entscheidung und der vorherigen Erwartung des Agenten.
- Initialisierung: Die Agenten beginnen mit Gewichten, die perfekt an die Lösung mit rationalen Erwartungen angepasst sind (was einen Ausgangspunkt der Rationalität simuliert). Abweichungen entstehen ausschließlich durch die Lern-Dynamik, die durch erfahrene Schocks getrieben wird.
Simulation: Das Modell wird unter Verwendung von Parametern aus Ganong et al. (2024) und Krueger et al. (2016) kalibriert. Die Agenten werden über 50 Quartale (ca. 12,5 Jahre) simuliert, wobei eine initiale Vermögensverteilung aus dem Survey of Consumer Finances von 2016 verwendet wird.

Zentrale Beiträge

Vereinheitlichender Rahmen: Das Paper schlägt Reinforcement Learning als vereinheitlichenden Mechanismus vor, der gleichzeitig niedrigeren Durchschnittskonsum (Narbenbildung) und höhere MPCs nach negativen Einkommensschocks generiert. Dies löst den Widerspruch in Modellen der Glaubensaktualisierung (z. B. Malmendier und Shen, 2024), in denen ein erhöhtes wahrgenommenes Risiko sowohl den Konsum als auch die MPC senkt.
Identifikation des Mechanismus: Das Paper identifiziert die spezifische Rolle der Gradienten-Update-Regel des neuronalen Netzes. Wenn ein Agent arbeitslos wird, verursacht der negative TD-Fehler eine lokalisierte Abwärtsverschiebung der geschätzten Wertfunktion ( $\hat{EV}$ $\hat{E V}$ ). Aufgrund der Distanz-Abkling-Eigenschaft (Distance-Decay-Property) von neuronalen Netz-Updates (verwandt mit dem Neural Tangent Kernel) bewirkt diese Verschiebung:
- Eine Erhöhung der Steigung von $\hat{EV}$ nahe dem aktuellen Vermögen, was zukünftige Ersparnisse wertvoller erscheinen lässt, was den aktuellen Konsum reduziert (Narbenbildung).
- Eine Erhöhung der Krümmung (Konkavität) von $\hat{EV}$ , wodurch der Grenzertrag des Sparens mit steigendem Vermögen schneller abnimmt, was die Konsumpolitik steiler macht und die MPC erhöht.
Abgrenzung zu rationalen Erwartungen: Das Modell zeigt, dass erfahrungsbasierte Heterogenität (ex-post) empirische Muster replizieren kann, ohne dass ex-ante Heterogenität oder bindende Verschuldungsbeschränkungen erforderlich sind.

Ergebnisse

Replikation der MPC: Die Simulation repliziert die Ergebnisse von Ganong et al. (2024). Agenten mit geringem Anfangsvermögen zeigen eine MPC von 0,50, während Agenten mit hohem Vermögen eine MPC von 0,34 aufweisen. Diese Lücke bleibt bestehen, selbst wenn die Agenten nicht durch Verschuldungsbeschränkungen gebunden sind, was der empirischen Größenordnung (0,53 vs. 0,29) entspricht.
Qualitative Übereinstimmung der Narbenbildung: In Bezug auf die Befunde von Malmendier und Shen (2044) zeigt die Simulation eine breite qualitative Übereinstimmung, erreicht aber nicht vollständig die empirischen Ergebnisse. Speziell ist der Regressionskoeffizient des Konsums auf den Arbeitslosigkeits-Erfahrungsindex negativ und statistisch signifikant, was die Richtung des „Narbenbildungseffekts“ bestätigt. Die Größenordnung dieses Effekts in der Simulation ist jedoch etwa eine Größenordnung kleiner als das empirische Schätzergebnis. Der Autor führt dies teilweise auf die unterschiedlichen Frequenzen zurück (quartalsweise Simulation vs. zweijährliche Daten).
Vergleich mit pessimistischen Überzeugungen: Der Autor kontrastiert den RL-Agenten mit einem „pessimistischen“ Agenten, der seine Überzeugungen über die Arbeitslosigkeitswahrscheinlichkeiten aktualisiert (Anticipated Utility). Der pessimistische Agent sagt zwar korrekt einen niedrigeren Konsum voraus, jedoch fälschlicherweise niedrigere MPCs. Der RL-Agent ist der Einzige, der beide empirischen Richtungen (niedrigerer Konsum, höhere MPC) korrekt abbildet.

Bedeutung und Ansprüche
Das Paper behauptet, dass adaptives Lernen durch Reinforcement Learning eine plausible behaviorale Grundlage für Konsumanomalien bietet, die Standardmodelle nicht erklären können. Es legt nahe, dass der „Narbenbildungseffekt“ und hohe MPCs nicht notwendigerweise auf Änderungen der Überzeugungen über Wahrscheinlichkeiten oder auf bindende Beschränkungen zurückzuführen sind, sondern auf Fehlern in der Approximierung der Wertfunktion, die sich mit der Erfahrung entwickeln.

Der Autor weist auf moderate Limitationen hin:

Die Größenordnung des Narbenbildungseffekts in der Simulation ist kleiner (um eine Größenordnung) als in den empirischen Daten, wobei der Autor dies teilweise auf die Frequenzunterschiede (quartalsweise Simulation vs. zweijährliche Daten) zurückführt.
Das Modell ist „modellfrei“, was bedeutet, dass es nicht explizit die subjektiven Überzeugungen der Agenten über zukünftige Arbeitslosigkeitswahrscheinlichkeiten zurückgewinnt, was die Nutzung von Umfragedaten zur Kalibrierung einschränkt.
Die aktuelle Analyse konzentriert sich auf Single-Agent-Dynamiken; das Paper untersucht nicht die gesamtwirtschaftlichen Auswirkungen (General Equilibrium), bei denen mehrere RL-Agenten interagieren.

Letztlich argumentiert das Paper, dass RL eine distinkte und vereinheitlichende Erklärung dafür bietet, wie vergangene Erfahrungen das aktuelle Konsumverhalten jenseits dessen prägen, was die aktuellen wirtschaftlichen Bedingungen vorhersagen würden.