💰 quantitative finance

Reinforcement Learning and Consumption-Savings Behavior

Questo articolo propone un modello di apprendimento per rinforzo con approssimazione tramite reti neurali per spiegare come i meccanismi di apprendimento adattivo, piuttosto che le standard aspettative razionali, generino simultaneamente l'elevata propensione marginale al consumo tra i nuclei familiari disoccupati con scarse risorse e la persistente "cicatrice" nei consumi osservata negli individui con pregresse esperienze di disoccupazione.

Autori originali: Brandon Kaplowitz

Pubblicato 2026-08-06

📖 7 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Brandon Kaplowitz

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il GPS del Cervello e il Mistero della Spesa

Immaginate il vostro cervello come un GPS super intelligente che naviga nel terreno caotico della vita quotidiana. Di solito, assumiamo che le persone prendano decisioni finanziarie come matematici perfetti: sanno esattamente quanto guadagneranno l'anno prossimo, calcolano il perfetto equilibrio tra spendere oggi e risparmiare per domani e non commettono mai errori. Questa è la visione delle "Aspettative Razionali", la mappa standard che gli economisti hanno utilizzato per decenni. Ma la vita reale è più disordinata. Non abbiamo una palla di cristallo; abbiamo solo le nostre esperienze passate.

Entra in gioco l'Apprendimento per Rinforzo (Reinforcement Learning). Pensate a questo non come a un supercomputer che risolve equazioni, ma come a un giocatore di videogiochi che impara per tentativi ed errori. In un gioco, non conosci le regole del livello in anticipo. Provi una mossa, ottieni una ricompensa (o un "game over") e il tuo cervello aggiorna la sua mappa interna di "cosa funziona" per la volta successiva. Se ottieni un punteggio alto, ricordi quel percorso. Se perdi, lo eviti. Questo articolo pone una domanda affascinante: e se le nostre abitudini di spesa non fossero calcolate da un matematico perfetto, ma fossero invece modellate da questo stesso processo di "prova, fallisci, impara"? Suggerisce che i nostri cervelli stiano costantemente aggiornando un modello mentale di quanto dovremmo risparmiare sulla base delle sorprese affrontate in passato, piuttosto che su una previsione perfetta del futuro.

Il Puzzle: Perché Alcune Persone Spendono di Più Quando Sono Povere?

Gli economisti si sono scervellati su due strani schemi nel modo in cui le persone spendono denaro durante i periodi difficili.

Il Primo Mistero: Durante la pandemia, il governo ha distribuito assegni di stimolo. I ricercatori hanno scoperto che le persone disoccupate che prima avevano pochissimi soldi nel conto corrente spendevano circa lo 0,53 di ogni dollaro extra ricevuto. Ma le persone disoccupate che prima avevano molti soldi spendevano solo lo 0,29 di ogni dollaro extra. Questo è strano perché, al momento in cui hanno ricevuto i soldi, nessuno dei due gruppi era effettivamente "povero" o impossibilitato a chiedere prestiti. La teoria economica standard dice che se hai abbastanza contanti, non dovresti essere così desideroso di spendere una vincita improvvisa. Perché la mancanza passata di denaro dovrebbe far sì che qualcuno spenda di più ora, anche se attualmente sta bene?

Il Secondo Mistero: Un altro studio ha scoperto che le persone che sono state disoccupate in passato tendono a risparmiare di più e a spendere meno per anni successivi, anche se sono attualmente occupate e in buona posizione. Questo è chiamato "cicatrice" (scarring). È come un fantasma del passato che ti impedisce di goderti lo stipendio attuale.

La grande domanda è: può una singola spiegazione risolvere entrambi i misteri? Di solito, gli economisti devono sceglone uno. "Forse hanno solo paura del futuro" oppure "Forse sono solo scarsi in matematica". Ma questo articolo suggerisce un colpevole diverso: l'Apprendimento per Rinforzo.

L'Esperimento: Insegnare a un Agente Digitale a Imparare

L'autore, Brandon Kaplowitz, ha costruito una simulazione al computer per testare questa idea. Invece di dare ai suoi agenti digitali una mappa perfetta del futuro, ha dato loro una "rete neurale" — una versione semplificata di un cervello che impara attraverso l'esperienza.

Ecco come funziona la simulazione:

L'Impostazione: Gli agenti iniziano con una stima approssimativa di come risparmiare e spendere, simile a quella di un matematico perfetto.
Il Gioco: Vivono 50 trimestri (circa 12,5 anni) di vita simulata. Ottengono lavori, perdono lavori e ricevono pagamenti.
L'Apprendimento: Quando un agente vive una sorpresa — come perdere improvvisamente il lavoro — prova un "errore di differenza temporale". In termini di videogiochi, è come aspettarsi una moneta d'oro e ricevere invece una pietra. Il cervello si rende conto: "Ehi, la mia mappa era sbagliata!".
L'Aggiornamento: La rete neurale dell'agente modifica i suoi pesi interni per correggere questo errore. Non cambia solo un numero; rimodella la sua intera comprensione di quanto sia prezioso il risparmio per il futuro.

La Grande Rivelazione: Come le "Cicatrici" Cambiano la Mappa

La simulazione ha prodotto risultati che somigliano quasi esattamente ai puzzle del mondo reale. Ecco il meccanismo magico:

Quando un agente sperimenta la disoccupazione, il suo cervello riceve una "sorpresa negativa". Per correggere questo, la rete neurale aggiorna la sua mappa mentale del futuro. Questo aggiornamento fa due cose simultaneamente:

Rende la mappa più ripida: L'agente si rende conto che risparmiare denaro è più importante di quanto pensasse. Questo causa una spesa complessiva inferiore (l'effetto "cicatrice").
Rende la mappa più curva: L'agente si rende conto che il valore del risparmio diminuisce rapidamente man mano che diventa più ricco. Questo lo rende estremamente desideroso di spendere qualsiasi nuovo denaro riceva, perché sente che il "dolore" di avere pochi risparmi è molto più acuto rispetto a prima.

Il Risultato:

L'Effetto Cicatrice: Gli agenti con una storia di disoccupazione hanno finito per avere una spesa media inferiore, proprio come nei dati del mondo reale.
La Furia di Spesa: Quando questi stessi agenti hanno ricevuto un assegno di stimolo, hanno speso lo 0,50 di esso (molto vicino allo 0,53 del mondo reale), mentre gli agenti con una storia di lavori stabili hanno speso solo lo 0,34 (vicino allo 0,29 del mondo reale).

Cosa Significa (e Cosa Non Significa)

L'articolo suggerisce che non abbiamo bisogno di assumere che le persone siano "irrazionali" o abbiano una "psicologia strana" per spiegare questi comportamenti. Al contrario, i nostri cervelli stanno semplicemente facendo ciò che sanno fare meglio: imparare dalle sorprese del passato.

Non si tratta di essere pessimisti: L'autore ha testato una versione in cui gli agenti diventavano semplicemente "pessimisti" (pensando che la disoccupazione fosse più probabile). Quel modello è fallito. Rendeva le persone meno propense a spendere, ma rendeva anche loro meno propense a spendere una vincita, il che è l'opposto di ciò che vediamo nella realtà. Il modello di apprendimento per rinforzo è l'unico che ha centrato sia la parte dello "spendere meno in generale" sia quella dello "spendere di più un bonus".
È una simulazione, non una palla di cristallo: L'autore nota con cautela che questi sono risultati di una simulazione al computer. I numeri corrispondono agli studi del mondo reale (come 0,50 contro 0,34 nella simulazione rispetto a 0,53 contro 0,29 nella realtà), ma questo è un modello di come potrebbe funzionare, non una prova definitiva di come funzioni ogni cervello umano.
Il limite della "Scatola Nera": Poiché gli agenti imparano attraverso una rete neurale, non possiamo facilmente chiedere loro: "Cosa pensi che siano le tue probabilità di essere licenziato?". Il modello funziona regolando i valori, non calcolando probabilità specifiche. Questo è un punto di forza (è flessibile) ma anche un punto debole (non possiamo vedere le esatte "credenze" dentro la testa dell'agente).

In breve, questo articolo offre un modo giocoso ma potente per guardare ai nostri portafogli. Suggerisce che le nostre abitudini di spesa sono un libro di storia vivente, scritto dalle sorprese che abbiamo affrontato. Quando veniamo spaventati da una perdita di lavoro, il nostro cervello non si limita a essere triste; riscrive le regole del gioco, rendendoci più propensi a risparmiare per un brutto periodo e a spendere più velocemente le nostre vincite, nel caso in cui la tempesta dovesse tornare.

Sintesi Tecnica: Apprendimento per Rinforzo e Comportamento di Consumo-Risparmio

Enunciato del Problema
Questo articolo affronta due persistenti enigmi empirici nel comportamento di consumo delle famiglie durante le recessioni economiche che sfidano i modelli standard di aspettative razionali, anche quelli aumentati da vincoli di prestito:

MPCs Elevati per Famiglie con Bassi Asset: Ganong et al. (2024) documentano che le famiglie disoccupate con asset liquidi precedentemente bassi esibiscono propensioni marginali al consumo (MPC) significativamente più elevate (0 l'apporto di trasferimenti stimolo) rispetto alle famiglie con alti asset (0,53 rispetto a 0,29), nonostante nessuna delle due categorie affronti attuali vincoli di prestito. I modelli standard faticano a spiegare questa eterogeneità senza assumere differenze ex-ante o vincoli cogenti.
Cicatrizzazione del Consumo (Consumption Scarring): Malmendier e Shen (2024) riscontrano che le famiglie con più esperienze pregresse di disoccupazione mantengono livelli di consumo persistentemente più bassi (tassi di risparmio più elevati) anche dopo aver controllato per reddito attuale, ricchezza e stato occupazionale.

Le spiegazioni esistenti affrontano un problema di riconciliazione: i meccanismi che generano alti MPC (come i vincoli di prestito) spesso non riescono a spiegare l'effetto di "cicatrizzazione" (consumo medio inferiore), mentre i meccanismi che spiegano la cicatrizzazione (come l'aumento del rischio soggettivo di disoccupazione) tipicamente prevedono MPC inferiori, contraddicendo l'evidenza empirica.

Metodologia
L'autore sviluppa un modello strutturale in cui gli agenti sono decisori economicamente razionali soggetti a vincoli informativi e computazionali. A differenza dei modelli standard dove gli agenti risolvono l'equazione di Bellman dati processi di reddito noti, questi agenti utilizzano l'Apprendimento per Rinforzo (Reinforcement Learning - RL) per approssimare il loro valore di continuazione.

Configurazione dell'Agente: Gli agenti affrontano un Problema Decisionale di Markov (MDP) con il denaro a disposizione ( $x$ ) e il reddito da lavoro ( $y$ ) come variabili di stato. Essi non conoscono la vera matrice di transizione del reddito ( $P$ ) e non possono risolvere analiticamente l'equazione di punto fisso di Bellman.
Meccanismo di Apprendimento: Gli agenti impiegano il Q-learning con approssimazione tramite reti neurali.
- Approssimazione della Funzione Valore: Gli agenti utilizzano una rete neurale a due strati con attivazioni ReLU (Rectified Linear Unit) per stimare la funzione valore attesa ( $\hat{EV}$ ) basata sugli asset correnti e sul reddito.
- Derivazione della Policy: Per garantire politiche di consumo fluide e monotone, l'agente adatta un polinomio all'output della rete neurale per l'analisi controfattuale, sebbene utilizzi l'output grezzo della rete per le decisioni effettive.
- Regola di Aggiornamento: Gli agenti aggiornano i parametri della rete neurale ( $\phi$ ) tramite discesa del gradiente sull'errore di Differenza Temporale (TD). L'errore TD ( $\epsilon$ ) rappresenta la "sorpresa" tra il valore realizzato di una scelta e la precedente aspettativa dell'agente.
- Inizializzazione: Gli agenti iniziano con pesi inizializzati per adattarsi perfettamente alla soluzione delle aspettative razionali (simulando un punto di partenza di razionalità). Le deviazioni derivano esclusivamente dalla dinamica di apprendimento guidata dagli shock esperiti.
Simulazione: Il modello è calibrato utilizzando parametri di Ganong et al. (2024) e Krueger et al. (2016). Gli agenti sono simulati su 50 trimestri (circa 12,5 anni) con una distribuzione iniziale degli asset tratta dal 2016 Survey of Consumer Finances.

Contributi Chiave

Quadro Unificante: L'articolo propone l'apprendimento per rinforzo come un meccanismo unificante che genera simultaneamente un consumo medio inferiore (cicatrizzazione) e alti MPC a seguito di shock negativi sul reddito. Ciò risolve la contraddizione riscontrata nei modelli di aggiornamento delle credenze (es. Malmendier e Shen, 2024), dove l'aumento del rischio percepito riduce sia il consumo che l'MPC.
Identificazione del Meccanismo: Il documento identifica il ruolo specifico della regola di aggiornamento del gradiente della rete neurale. Quando un agente sperimenta la disoccupazione, l'errore TD negativo causa uno spostamento verso il basso localizzato della funzione valore stimata ( $\hat{EV}$ $\hat{E V}$ ). A causa della proprietà di decadimento della distanza delle aggiornamenti delle reti neurali (legata al Neural Tangent Kernel), questo spostamento:
- Aumenta la pendenza di $\hat{EV}$ vicino agli asset correnti, rendendo i risparmi futuri apparentemente più preziosi, il che riduce il consumo attuale (cicatrizzazione).
- Aumenta la curvatura (concavità) di $\hat{EV}$ , facendo sì che il rendimento marginale del risparmio diminuisca più rapidamente al crescere degli asset, il che rende più ripida la policy di consumo e aumenta l'MPC.
Distinzione dalle Aspettative Razionali: Il modello dimostra che l'eterogeneità basata sull'esperienza (ex-post) può replicare i pattern empirici senza richiedere eterogeneità ex-ante o vincoli di prestito cogenti.

Risultati

Replicazione degli MPC: La simulazione replica i risultati di Ganong et al. (2024). Gli agenti con bassi asset iniziali esibiscono un MPC di 0,50, mentre gli agenti con alti asset esibiscono un MPC di 0,34. Questo divario persiste anche quando gli agenti non sono vincolati dal prestito, corrispondendo all'entità empirica (0,53 vs 0,29).
Accordo Qualitativo sulla Cicatrizzazione: Riguardo ai risultati di Malmendier e Shen (2024), la simulazione mostra un ampio accordo qualitativo ma non corrisponde pienamente ai risultati empirici. Nello specifico, il coefficiente di regressione del consumo sull'indice di esperienza di disoccupazione è negativo e statisticamente significativo, confermando la direzione dell'effetto di "cicatrizzazione". Tuttavia, l'entità di questo effetto nella simulazione è circa un ordine di grandezza inferiore alla stima empirica. L'autore attribuisce questa discrepanza in parte alle differenze di frequenza (simulazione trimestrale rispetto a dati biennali).
Confronto con le Credenze Pessimistiche: L'autore confronta l'agente RL con un agente "pessimista" che aggiorna le credenze sulle probabilità di disoccupazione (Utilità Anticipata). L'agente pessimista prevede correttamente un consumo inferiore ma prevede erroneamente minori MPC. L'agente RL è l'unico che corrisponde a entrambe le direzioni empiriche (consumo inferiore, MPC superiore).

Significatività e Rivendicazioni
L'articolo sostiene che l'apprendimento adattivo attraverso il reinforcement learning fornisca una base comportamentale plausibile per le anomalie del consumo che i modelli razionali standard non possono spiegare. Suggerisce che l'effetto di "cicatrizzazione" e gli alti MPC non sono necessariamente dovuti a cambiamenti nelle credenze sulle probabilità o a vincoli cogenti, ma piuttosto a errori di approssimazione della funzione valore che evolvono con l'esperienza.

L'autore nota limitazioni modeste:

L'entità dell'effetto di cicatrizzazione nella simulazione è inferiore (di un ordine di grandezza) rispetto ai dati empirici, sebbene l'autore lo attribuisca in parte alle differenze di frequenza (simulazione trimestrale vs dati biennali).
Il modello è "model-free", il che significa che non recupera esplicitamente le credenze soggettive dell'agente sulle probabilità di disoccupazione futura, limitando la capacità di utilizzare survey sulle credenze per la calibrazione.
L'attuale analisi si concentra sulla dinamica del singolo agente; l'articolo non esplora le implicazioni di equilibrio generale in cui interagiscono molteplici agenti RL.

In definitiva, l'articolo sostiene che l'RL offre una spiegazione distinta e unificante su come le esperienze passate modellino il comportamento di consumo attuale oltre quanto le attuali condizioni economiche prevedrebbero.