Neural Demand Estimation with Habit Formation and Rationality Constraints

Each language version is independently generated for its own context, not a direct translation.

Immagina di essere un chef che deve decidere come dividere il budget della spesa settimanale tra diversi ingredienti: pasta, formaggio e verdure.

Il problema è che le tue scelte non dipendono solo dal prezzo di oggi o da quanto hai in tasca. Dipendono anche da cosa hai mangiato ieri. Se hai comprato molta pasta la settimana scorsa, oggi è probabile che ne comprerai ancora un po' (perché ti sei abituato, o perché ne hai ancora in dispensa). Questo è il concetto di "formazione di abitudini".

La maggior parte dei vecchi modelli economici trattava le persone come se avessero una "memoria corta": guardavano solo il prezzo di oggi e decidevano cosa comprare, ignorando completamente il passato. Questo è come se lo chef decidesse il menu basandosi solo sul prezzo del mercato di stamattina, senza considerare che ha già comprato 5 kg di pasta ieri.

Ecco cosa fa questo nuovo studio, spiegato in modo semplice:

1. Il "Cervello" che Impara (La Rete Neurale)

Gli autori hanno creato un nuovo tipo di "cervello digitale" (una rete neurale) per prevedere come le persone dividono i loro soldi.

Il vecchio modo: Era come usare una ricetta rigida e fissa (come il modello AIDS). Se i prezzi cambiavano in modo strano o complesso, la ricetta falliva.
Il nuovo modo: È come un chef che impara guardando migliaia di video di altri chef. Non usa una ricetta fissa, ma impara a prevedere le scelte guardando i dati reali. Usa una matematica intelligente (chiamata divergenza KL) per assicurarsi che le previsioni siano sempre coerenti (ad esempio, se spendi tutto per la pasta, non puoi spendere nulla per il formaggio).

2. La Memoria del Gusto (Le Abitudini)

Il vero trucco di questo studio è che hanno insegnato al "cervello" a ricordare il passato.

Hanno creato una "memoria delle abitudini". È come se il sistema chiedesse: "Cosa hai comprato nelle ultime settimane?".
Se hai comprato molto ibuprofene (un antidolorifico) la settimana scorsa, il sistema sa che oggi sei più propenso a comprarne ancora, indipendentemente dal prezzo.
Senza questa memoria, il sistema confonde due cose diverse:
1. Sostituzione: "Il formaggio è diventato caro, quindi compro più pasta."
2. Abitudine: "Compro pasta perché mi ci sono abituato, non perché il formaggio è caro."
- Il vecchio modello mischiava tutto insieme, sbagliando le previsioni. Il nuovo modello separa le due cose.

3. L'Esperimento con i Dati Reali (Dominick's)

Gli autori hanno testato il loro sistema su dati reali di un supermercato americano (Dominick's), guardando come le persone compravano antidolorifici (Aspirina, Tachipirina, Ibuprofene).

Cosa hanno scoperto?

Migliore previsione: Il nuovo modello con la "memoria" ha sbagliato le previsioni del 33% in meno rispetto ai vecchi modelli. È come se un meteorologo che tiene conto delle stagioni passate prevedesse la pioggia molto meglio di uno che guarda solo il cielo di oggi.
Sostituzione reale: Hanno scoperto che le persone sembrano sostituire la Tachipirina con l'Ibuprofene (sono simili), ma non sembrano sostituire l'Aspirina con l'Ibuprofene come pensavano i vecchi modelli. I vecchi modelli pensavano che se l'Aspirina costava di più, la gente comprava più Ibuprofene. In realtà, era solo che i negozi che vendevano molta Aspirina (perché avevano clienti abituati) vendevano anche meno Ibuprofene. Il nuovo modello ha smascherato questo "trucco".

4. Quanto ci costa il prezzo? (Il Benessere)

La domanda finale è: "Se il prezzo dell'Ibuprofene sale del 10%, quanto stiamo peggio?"

I vecchi modelli dicevano: "Beh, non è una tragedia, la gente cambia marca facilmente."
Il nuovo modello con le abitudini dice: "Attenzione, stiamo molto peggio!".
Perché? Perché le persone sono "incollate" alle loro abitudini. Se sei abituato a usare un certo prodotto e il prezzo sale, non puoi semplicemente cambiarlo domani. Ti costa di più adattarti.
Risultato: Il nuovo modello stima che la perdita di benessere sia circa il 15-16% più alta di quanto pensassimo prima.

In Sintesi

Immagina di dover prevedere il traffico in città.

I vecchi modelli guardano solo il semaforo rosso di oggi.
Questo nuovo modello guarda anche se oggi è lunedì, se c'è un incidente ieri e se gli automobilisti hanno l'abitudine di prendere quella strada.

Grazie a questo approccio, possiamo capire meglio come le persone spendono i soldi, come le abitudini influenzano le scelte e quanto ci costano realmente le variazioni di prezzo. È un passo avanti enorme per capire l'economia reale, non solo quella teorica.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema di Ricerca

Il paper affronta le limitazioni dei sistemi di domanda tradizionali (come il Almost Ideal Demand System - AIDS) nell'analisi delle allocazioni di bilancio continue, specialmente in contesti moderni caratterizzati da:

Alta dimensionalità: Variazioni di prezzo su molti beni e attributi.
Dipendenza dallo stato (State Dependence): Le decisioni di consumo sono influenzate da abitudini, accumulo di scorte (stockpiling) e dipendenza dal riferimento, rendendo le scelte non indipendenti nel tempo.
Necessità di coerenza economica: La flessibilità dei modelli machine learning spesso compromette l'integrabilità (condizioni di Slutsky), rendendo difficile il calcolo di indicatori di benessere (welfare) come la Variazione Compensativa (CV).

L'obiettivo è sviluppare un sistema di domanda neurale flessibile che stimi le quote di bilancio sul semplice (simplex) rispettando i vincoli della teoria del consumatore e incorporando dinamiche di abitudine, senza imporre una forma funzionale parametrica rigida per l'utilità.

2. Metodologia

A. Struttura del Modello

Il modello stima la distribuzione condizionale delle quote di bilancio date le variabili economiche (prezzi, reddito) e lo stato storico.

Parametrizzazione: Le quote di bilancio $\hat{w}_i$ sono generate tramite una funzione Softmax applicata a un "scorer di preferenze" $V_\psi(s)$ flessibile (una rete neurale MLP). Questo garantisce per costruzione che la somma delle quote sia uguale a 1 (condizione di addizione).
Funzione di Scorer: La rete neurale prende in input prezzi, reddito e, nelle versioni dinamiche, un stock di abitudine ( $\bar{x}_t$ ).
Stock di Abitudine: Definito come una media mobile esponenziale (EWMA) dei consumi passati:
$\bar{x}_t(\delta) = \delta \bar{x}_{t-1}(\delta) + (1 - \delta) x_{t-1}$
dove $\delta$ è il parametro di decadimento. Questo cattura la persistenza delle preferenze o delle scorte.

B. Funzione di Obiettivo e Vincoli

L'addestramento avviene minimizzando la Divergenza di Kullback-Leibler (KL) tra le quote osservate e quelle previste. Per garantire la coerenza economica, l'obiettivo include penalità di regolarizzazione:

Penalità di Monotonicità: Punisce le pendenze positive della domanda marshalliana (esclude il comportamento di Giffen).
Penalità di Simmetria di Slutsky: Penalizza l'asimmetria nella matrice di sostituzione di Slutsky ( $S_{ij} \neq S_{ji}$ ), condizione necessaria per l'utilità razionale.
$L(\psi) = D_{KL} + \lambda_{mono} \mathbb{E}[\max(0, \partial \hat{w}_i / \partial \ln p_i)] + \lambda_{slut} \mathbb{E}[\|S - S^\top\|_F^2]$

C. Identificazione e Stima del Parametro di Abitudine

Il parametro di decadimento $\delta$ non è identificato internamente all'obiettivo di addestramento (diverse velocità di decadimento possono produrre stock di abitudine osservativamente simili).

Profilazione: $\delta$ viene selezionato come iperparametro strutturale massimizzando la performance out-of-sample (minimizzando la KL di validazione).
Insieme Identificato: Viene riportato un intervallo di valori di $\delta$ che producono un adattamento quasi ottimo, riconoscendo l'identificazione debole del parametro.

D. Correzione per Endogeneità

Per affrontare la correlazione tra prezzi e shock di domanda non osservati (es. promozioni), viene utilizzata una funzione di controllo (Control Function). I residui della prima fase (regressione dei prezzi su strumenti) vengono aggiunti agli input della rete neurale nella seconda fase.

3. Contributi Chiave

Stimatore Neurale sul Simplex: Propone un metodo diretto per stimare sistemi di domanda continui minimizzando la KL, analogo al behavioural cloning nell'apprendimento per imitazione, evitando la necessità di risolvere un problema di ottimizzazione inversa nidificato.
Disciplina Teorica Flessibile: Integra la teoria del consumatore come regolarizzazione (penalità) e diagnostica, permettendo l'analisi del benessere su modelli flessibili senza vincoli parametrici rigidi.
Gestione della Dipendenza dallo Stato: Estende il framework per includere abitudini in modo non parametrico, dimostrando come la condizione sullo stato separi la sostituzione strutturale dalla segmentazione persistente nei dati scanner.
Robustezza nell'Identificazione: Fornisce un approccio pratico per gestire l'identificazione debole dei parametri di persistenza, riportando risultati su un insieme identificato piuttosto che su un singolo punto.

4. Risultati

A. Simulazioni (Validazione)

Recupero Strutturale: In scenari statici (CES, Stone-Geary, Leontief), il modello neurale recupera elasticità e variazioni compensative con precisione quasi esatta, superando i benchmark parametrici (AIDS, QUAIDS) e non parametrici (spline), specialmente in presenza di non-linearità forti.
Effetto delle Abitudini: In scenari con formazione di abitudini, i modelli statici (anche quelli flessibili) falliscono nel recuperare le risposte comparative statiche, trattando la persistenza come rumore. L'aggiunta dello stock di abitudine riduce l'errore RMSE out-of-sample di oltre l'80%.
Endogeneità: La correzione con funzione di controllo è essenziale per recuperare la causalità quando i prezzi sono endogeni.

B. Applicazione Empirica (Dati Dominick's - Analgesici)

Utilizzando dati scanner su aspirina, paracetamolo e ibuprofene:

Accuratezza Predittiva: L'aggiunta dello stato di abitudine riduce l'errore RMSE out-of-sample del 33% rispetto al modello AIDS e del 27% rispetto al modello neurale statico. Un test "placebo" (con storie di consumo mescolate casualmente) conferma che il guadagno deriva dalla dipendenza temporale reale, non dall'aggiunta di variabili.
Modifica delle Sostituzioni:
- I modelli statici mostrano una forte correlazione positiva tra prezzo e quota di mercato dell'aspirina (effetto di selezione/segmentazione).
- Condizionando sullo stato di abitudine, questa relazione strutturale scompare (la quota diventa quasi piatta rispetto al prezzo), rivelando che l'effetto osservato era dovuto alla persistenza delle preferenze dei negozi, non alla sostituzione.
- La sostituzione tra paracetamolo e ibuprofene rimane robusta, mentre quella tra aspirina e ibuprofene collassa verso zero quando si controlla per lo stato.
Analisi del Benessere (Welfare): Per un aumento del prezzo dell'ibuprofene del 10%, il modello con abitudini stima una perdita di benessere (Variazione Compensativa) 15-16% superiore rispetto al modello statico. Questo indica che ignorare la dipendenza dallo stato sottostima il costo del benessere per i consumatori legati alle abitudini.

5. Significato e Implicazioni

Il paper dimostra che nei mercati di acquisto ripetuto, trattare la domanda come statica porta a confondere la selezione (chi compra cosa in base a preferenze persistenti) con la sostituzione (come i consumatori reagiscono ai prezzi).

Per la Politica Economica: Ignorare le abitudini può portare a sottostimare significativamente l'impatto di tasse o aumenti di prezzo sul benessere dei consumatori.
Metodologico: Offre un ponte tra econometria strutturale e machine learning, dimostrando che le reti neurali possono essere utilizzate per stimare sistemi di domanda complessi mantenendo la coerenza teorica necessaria per l'analisi di policy, purché disciplinate da regolarizzazioni economiche e diagnostica di integrabilità.
Scalabilità: Il metodo scala bene con la dimensionalità e può essere applicato a categorie di prodotti con molte SKU, superando le limitazioni dei modelli parametrici tradizionali.