💰 quantitative finance

Reinforcement Learning and Consumption-Savings Behavior

Cet article propose un modèle d'apprentissage par renforcement avec approximation par réseaux de neurones pour expliquer comment les mécanismes d'apprentissage adaptatifs, plutôt que les anticipations rationnelles standards, génèrent simultanément les propensions marginales à consommer élevées chez les ménages sans emploi et à faibles actifs ainsi que la « cicatrice » de consommation persistante observée chez les individus ayant des expériences de chômage passées.

Auteurs originaux : Brandon Kaplowitz

Publié 2026-08-06

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Brandon Kaplowitz

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le GPS du cerveau et le mystère de la dépense

Imaginez votre cerveau comme un GPS super intelligent naviguant sur le terrain chaotique de la vie quotidienne. Habituellement, nous supposons que les gens prennent des décisions financières comme des mathématiciens parfaits : ils savent exactement combien d'argent ils gagneront l'année prochaine, ils calculent l'équilibre parfait entre dépenser aujourd'hui et épargner pour demain, et ne commettent jamais d'erreur. C'est la vision des « anticipations rationnelles », la carte standard que les économistes utilisent depuis des décennies. Mais la vie réelle est plus désordonnée. Nous n'avons pas de boule de cristal ; nous n'avons que nos expériences passées.

Entrez dans l'Apprentissage par Renforcement (Reinforcement Learning). Ne voyez pas cela comme un super-ordinateur résolvant des équations, mais plutôt comme un joueur de jeu vidéo apprenant par essais et erreurs. Dans un jeu, vous ne connaissez pas les règles du niveau à l'avance. Vous tentez un mouvement, recevez une récompense (ou un « game over »), et votre cerveau met à jour sa carte interne de « ce qui fonctionne » pour la prochaine fois. Si vous obtenez un score élevé, vous vous souvenez de ce chemin. Si vous perdez, vous l'évitez. Cet article pose une question fascinante : et si nos habitudes de consommation n'étaient pas calculées par un mathématicien parfait, mais étaient plutôt façonnées par ce même processus de « essayer, échouer, apprendre » ? Il suggère que nos cerveaux mettent constamment à jour un modèle mental de la quantité que nous devrions épargner en fonction des surprises que nous avons affrontées par le passé, plutôt qu'en fonction d'une prédiction parfaite de l'avenir.

Le casse-tête : Pourquoi certaines personnes dépensent-elles plus quand elles sont fauchées ?

Les économistes se grattent la tête face à deux modèles étranges dans la façon dont les gens dépensent de l'argent lors de périodes difficiles.

Le premier mystère : Pendant la pandémie, le gouvernement a distribué des chèques de relance. Les chercheurs ont découvert que les personnes sans emploi qui avaient très peu d'argent sur leurs comptes bancaux dépensaient environ 0,53 de chaque dollar supplémentaire reçu. Mais les personnes sans emploi qui avaient beaucoup d'argent ne dépensaient que 0,29 de chaque dollar supplémentaire. C'est étrange car, au moment où elles ont reçu l'argent, aucun de ces groupes n'était réellement « fauché » ou incapable d'emprunter. La théorie économique standard dit que si vous avez assez de liquidités, vous ne devriez pas être aussi désireux de dépenser une rentrée d'argent soudaine. Pourquoi le manque d'argent passé de quelqu'un le pousserait-il à dépenser plus maintenant, même s'il est actuellement en bonne situation ?

Le second mystère : Une autre étude a révélé que les personnes ayant été au chômage par le passé ont tendance à épargner davantage et à dépenser moins pendant des années après, même si elles sont actuellement en emploi et en bonne situation. C'est ce qu'on appelle la « cicatrice » (scarring). C'est comme un fantôme du passé qui vous empêche de profiter de votre salaire actuel.

La grande question est la suivante : une seule explication peut-elle résoudre les deux mystères ? Habituellement, les économistes doivent choisir. « Peut-être qu'ils ont simplement peur de l'avenir », ou « Peut-être qu'ils sont simplement mauvais en mathématiques ». Mais cet article suggère un autre coupable : l'Apprentissage par Renforcement.

L'expérience : Enseigner à un agent numérique comment apprendre

L'auteur, Brandon Kaplowments, a construit une simulation informatique pour tester cette idée. Au lieu de donner à ses agents numériques une carte parfaite du futur, il leur a donné un « réseau neuronal » — une version simplifiée d'un cerveau qui apprend par l'expérience.

Voici comment fonctionne la simulation :

La configuration : Les agents commencent avec une estimation approximative de la façon de l'épargne et de la dépense, similaire à ce qu'un mathématicien parfait ferait.
Le jeu : Ils vivent 50 trimestres (environ 12,5 ans) de vie simulée. Ils obtiennent des emplois, perdent des emplois et reçoivent des salaires.
L'apprentissage : Lorsqu'un agent subit une surprise — comme perdre soudainement son emploi — il ressent une « erreur de différence temporelle » (temporal difference error). Dans le langage des jeux vidéo, c'est comme attendre une pièce d'or et recevoir un caillou à la place. Le cerveau réalise : « Waouh, ma carte était fausse ! »
La mise à jour : Le réseau neuronal de l'agent ajuste ses poids internes pour corriger cette erreur. Il ne change pas seulement un chiffre ; il remodèle toute sa compréhension de la valeur de l'épargne pour l'avenir.

La grande révélation : Comment les « cicatrices » changent la carte

La simulation a produit des résultats qui ressemblent presque exactement aux énigmes du monde réel. Voici le mécanisme magique :

Lorsqu'un agent vit un chômage, son cerveau reçoit une « surprise négative ». Pour corriger cela, le réseau neuronal met à jour sa carte mentale du futur. Cette mise à jour fait deux choses simultanément :

Elle rend la carte plus abrupte : L'agent réalise que l'épargne est plus importante qu'il ne le pensait. Cela le pousse à dépenser moins globalement (l'effet de « cicatrice »).
Elle rend la carte plus courbe : L'agent réalise que la valeur de l'épargne chute rapidement à mesure qu'il s'enrichit. Cela le rend extrêmement désireux de dépenser tout nouvel argent qu'il reçoit, car il ressent la « douleur » d'avoir de faibles économies de manière beaucoup plus vive qu'auparavant.

Le résultat :

L'effet de cicatrice : Les agents ayant un historique de chômage ont fini par avoir des dépenses moyennes plus faibles, tout comme les données du monde réel.
La frénésie de dépenses : Lorsque ces mêmes agents ont reçu un chèque de relance, ils en ont dépensé 0,50 (très proche du 0,53 du monde réel), tandis que les agents ayant un historique d'emplois stables n'en ont dépensé que 0,34 (proche du 0,29 du monde réel).

Ce que cela signifie (et ce que cela ne signifie pas)

L'article suggère que nous n'avons pas besoin de supposer que les gens sont « irrationnels » ou ont une « psychologie étrange » pour expliquer ces comportements. Au lieu de cela, nos cerveaux font simplement ce qu'ils font de mieux : apprendre des surprises du passé.

Il ne s'agit pas de pessimisme : L'auteur a testé une version où les agents devenaient simplement « pessimistes » (pensant que le chômage est plus probable). Ce modèle a échoué. Il rendait les gens moins dépensiers, mais il les rendait aussi moins enclins à dépenser un windfall (une rentrée d'argent), ce qui est l'opposé de ce que nous observons dans la réalité. Le modèle d'apprentissage par renforcement est le seul qui a réussi à obtenir à la fois la partie « dépenser moins globalement » et la partie « dépenser plus d'un bonus ».
C'est une simulation, pas une boule de cristal : L'auteur précise avec prudence qu'il s'agit de résultats issus d'une simulation informatique. Les chiffres correspondent aux études du monde réel (comme 0,50 contre 0,34 dans la simulation contre 0,53 contre 0,29 dans la réalité), mais c'est un modèle de la façon dont cela pourrait fonctionner, et non une preuve finale de la façon dont chaque cerveau humain fonctionne.
La limitation de la « boîte noire » : Parce que les agents apprennent via un réseau neuronal, nous ne pouvons pas facilement leur demander : « Que pensez-vous de vos chances d'être licencié ? ». Le modèle fonctionne en ajustant des valeurs, et non en calculant des probabilités spécifiques. C'est une force (c'est flexible) mais aussi une faiblesse (nous ne pouvons pas voir les « croyances » exactes à l'intérieur de la tête de l'agent).

En résumé, cet article offre une façon ludique mais puissante de regarder notre portefeuille. Il suggère que nos habitudes de consommation sont un livre d'histoire vivant, écrit par les surprises que nous avons affrontées. Quand nous sommes effrayés par une perte d'emploi, notre cerveau ne se contente pas d'être triste ; il réécrit les règles du jeu, nous poussant à épargner davantage pour les jours de pluie et à dépenser nos rentrées d'argent plus rapidement, juste au cas où la tempête reviendrait.

Résumé Technique : Apprentissage par Renforcement et Comportement de Consommation-Épargne

Énoncé du Problème
Cet article traite de deux énigmes empiriques persistantes concernant le comportement de consommation des ménages lors de ralentissements économiques, qui remettent en question les modèles standards d'anticipations rationnelles, même ceux augmentés par des contraintes d'emprunt :

Propensions Marginales à la Consommation (PMC) élevées pour les ménages à faible patrimoine : Ganong et al. (2024) documentent que les ménages au chômage ayant précédemment de faibles actifs liquides présentent des propensions marginales à la consommation (PMC) issues de transferts de stimulation nettement plus élevées (0,53) que les ménages à patrimoine élevé (0,29), bien qu'aucun des deux groupes ne soit confronté à des contraintes d'emprunt actuelles. Les modèles standards peinent à expliquer cette hétérogénéité sans supposer des différences ex-ante ou des contraintes contraignantes.
Cicatrisation de la Consommation (Consumption Scarring) : Malmendier et Shen (2024) constatent que les ménages ayant connu davantage d'expériences de chômage passé maintiennent des niveaux de consommation durablement plus bas (taux d'épargne plus élevés), même après contrôle de l' revenu, de la richesse et du statut d'emploi actuels.

Les explications existantes font face à un problème de réconciliation : les mécanismes qui génèrent des PMC élevées (comme les contraintes d'emprunt) échouent souvent à expliquer l'effet de « cicatrisation » (consommation moyenne plus faible), tandis que les mécanismes qui expliquent la cicatrisation (comme l'augmentation du risque de chômage subjectif) prédisent généralement des PMC plus faibles, ce qui contredit les preuves empiriques.

Méthodologie
L'auteur développe un modèle structurel où les agents sont des décideurs économiquement rationnels soumis à des contraintes informationnelles et computationnelles. Contrairement aux modèles standards où les agents résolvent l'équation de Bellman étant donné des processus de revenus connus, ces agents utilisent l'Apprentissage par Renforcement (Reinforcement Learning - RL) pour approximer leur valeur de continuation.

Configuration de l'Agent : Les agents font face à un Processus de Décision de Markov (MDP) avec l'encours de trésorerie ( $x$ ) et le revenu du travail ( $y$ ) comme variables d'état. Ils ne connaissent pas la matrice de transition réelle des revenus ( $P$ ) et ne peuvent pas résoudre analytiquement l'équation de point fixe de Bellman.
Mécanisme d'Apprentissage : Les agents utilisent le Q-learning avec approximation par réseau de neurones.
- Approximation de la Fonction de Valeur : Les agents utilisent un réseau de neurones à deux couches avec des activations ReLU pour estimer la valeur attendue ( $\hat{EV}$ ) basée sur les actifs et les revenus actuels.
- Dérivation de la Politique : Pour garantir des politiques de consommation lisses et monotones, l'agent ajuste un polynôme à la sortie du réseau de neurones pour l'analyse contrefactuelle, bien qu'ils utilisent la sortie brute du réseau pour les décisions réalisées.
- Règle de Mise à Jour : Les agents mettent à jour les paramètres du réseau de neurones ( $\phi$ ) via la descente de gradient sur l'erreur de différence temporelle (TD error). L'erreur TD ( $\epsilon$ ) représente la « surprise » entre la valeur réalisée d'un choix et l'attente préalable de l'agent.
- Initialisation : Les agents commencent avec des poids initialisés pour correspondre parfaitement à la solution des anticipations rationnelles (simulant un point de départ de rationalité). Les écarts proviennent uniquement de la dynamique d'apprentissage pilotée par les chocs expérimentés.
Simulation : Le modèle est calibré à l'aide des paramètres de Ganong et al. (2024) et Krueger et al. (2016). Les agents sont simulés sur 50 trimestres (environ 12,5 ans) avec une distribution initiale d'actifs tirée de la Survey of Consumer Finances de 2016.

Principales Contributions

Cadre Unificateur : L'article propose l'apprentissage par renforcement comme un mécanisme unificateur capable de générer simultanément une consommation moyenne plus faible (cicatrisation) et des PMC élevées suite à des chocs de revenus négatifs. Cela résout la contradiction trouvée dans les modèles de mise à jour des croyances (ex: Malmendier et Shen, 2024), où l'augmentation du risque perçu réduit à la fois la consommation et la PMC.
Identification du Mécanisme : L'article identifie le rôle spécifique de la règle de mise à jour du gradient du réseau de neurones. Lorsqu'un agent connaît le chômage, l'erreur TD négative provoque un décalage vers le bas localisé de la fonction de valeur estimée ( $\hat{EV}$ $\hat{E V}$ ). En raison de la propriété de décroissance par distance des mises à jour des réseaux de neurones (liée au Noyau Tangent Neural), ce décalage :
- Augmente la pente de $\hat{EV}$ près des actifs actuels, rendant l'épargne future plus précieuse, ce qui réduit la consommation actuelle (cicatrisation).
- Augmente la courbure (concavité) de $\hat{EV}$ , faisant en sorte que le rendement marginal de l'épargne décline plus rapidement à mesure que les actifs augmentent, ce qui accentue la politique de consommation et augmente la PMC.
Distinction par rapport aux Anticipations Rationnelles : Le modèle démontre que l'hétérogénéité basée sur l'expérience (ex-post) peut reproduire les schémas empiriques sans nécessiter d'hétérogénéité ex-ante ou de contraintes d'emprunt contraignantes.

Résultats

Réplication de la PMC : La simulation reproduit les conclusions de Ganong et al. (2024). Les agents ayant de faibles actifs initiaux présentent une PMC de 0,50, tandis que les agents à patrimoine élevé présentent une PMC de 0,34. Cet écart persiste même lorsque les agents ne sont pas soumis à des contraintes d'emprunt, correspondant à l'ampleur empirique (0,53 contre 0,29).
Accord Qualitatif sur la Cicatrisation : Concernant les conclusions de Malmendier et Shen (2024), la simulation montre un accord qualitatif large mais ne correspond pas totalement aux résultats empiriques. Plus précisément, le coefficient de régression de la consommation sur l'indice d'expérience de chômage est négatif et statistiquement significatif, confirmant la direction de l'effet de « cicatrisation ». Cependant, l'ampleur de cet effet dans la simulation est environ un ordre de grandeur plus petite que l'estimation empirique. L'auteur attribue cette divergence en partie aux différences de fréquence (simulation trimestrielle contre données biennales).
Comparaison avec les Croyances Pessimistes : L'auteur compare l'agent de RL à un agent « pessimiste » qui met à jour ses croyances sur les probabilités de chômage (Utilité Anticipée). L'agent pessimiste prédit correctement une consommation plus faible mais prédit incorrectement des PMC plus faibles. L'agent RL est le seul à correspondre aux deux directions empiriques (consommation plus faible, PMC plus élevée).

Signification et Revendications
L'article soutient que l'apprentissage adaptatif via l'apprentissage par renforcement offre une base comportementale plausible pour les anomalies de consommation que les modèles rationnels standards ne peuvent expliquer. Il suggère que l'effet de « cicatrisation » et les PMC élevées ne sont pas nécessairement dus à des changements dans les croyances sur les probabilités ou à des contraintes contraignantes, mais plutôt à des erreurs d'approximation de la fonction de valeur qui évoluent avec l'expérience.

L'auteur note des limites modestes :

L'ampleur de l'effet de cicatrisation dans la simulation est plus petite (d'un ordre de grandeur) que dans les données empiriques, bien que l'auteur l'attribue en partie aux différences de fréquence (simulation trimestrielle vs données biennales).
Le modèle est « sans modèle » (model-free), ce qui signifie qu'il ne récupère pas explicitement les croyances subjectives de l'agent sur les probabilités futures de chômage, limitant la capacité d'utiliser des enquêtes de croyances pour la calibration.
L'analyse actuelle se concentre sur la dynamique d'un agent unique ; l'article n'explore pas les implications d'équilibre général où plusieurs agents de RL interagissent.

En fin de compte, l'article soutient que le RL offre une explication distincte et unificatrice de la manière dont les expériences passées façonnent le comportement de consommation actuel au-delà de ce que les conditions économiques actuelles prédiraient.

Le GPS du cerveau et le mystère de la dépense

Le casse-tête : Pourquoi certaines personnes dépensent-elles plus quand elles sont fauchées ?

L'expérience : Enseigner à un agent numérique comment apprendre

La grande révélation : Comment les « cicatrices » changent la carte

Ce que cela signifie (et ce que cela ne signifie pas)

Articles similaires