Sintesi Tecnica: Comportamento da Teoria del Prospetto derivante dall'Ottimalità di Bellman in MDP con Stati Catastrofici

1. Definizione del Problema

Questo articolo investiga se il controllo ottimale standard, privo di avversione al rischio, in processi decisionali di Markov (MDP), possa generare firme comportamentali tipicamente associate alla Teoria del Prospetto (PT), in particolare quando l'ambiente contiene uno stato catastrofico assorbente.

Gli autori mettono in discussione l'interpretazione convenzionale secondo cui i fenomeni della PT — come una funzione di valore a forma di S, l'avversione alle perdite ($\lambda > 1$) e l'effetto riflesso (avversione al rischio nei guadagni, ricerca del rischio nelle perdite) — richiedano funzioni di utilità non lineari, pesatura distorta delle probabilità o preferenze dipendenti dal riferimento. Invece, il documento si chiede se tali pattern emergano puramente dalla dinamica strutturale di un MDP con un "confine catastrofico" (uno stato assorbente che rappresenta rovina, bancarotta o morte) e ricompense lineari.

Il problema centrale è determinare se un agente privo di avversione al rischio, che ottimizza la standard equazione di Bellman, esibirà:

1. Funzioni di valore a forma di S: Convesse vicino alla catastrofe e concave nel campo lontano.
2. Avversione alle perdite endogena: Un coefficiente di sensibilità dipendente dallo stato $\lambda^*(S) > 1$.
3. Effetto riflesso: Un'inversione della policy in cui l'agente agisce con avversione al rischio nei regimi di "crescita" (drift positivo) e con ricerca del rischio nei regimi di "declino" (drift negativo) vicino alla catastrofe, nonostante i confronti del valore atteso locale suggeriscano l'opposto.

2. Metodologia

Formulazione del Modello

Gli autori definiscono un MDP con confine catastrofico con le seguenti proprietà:

• Spazio degli Stati: $S = \{S_{cat}, S_{cat}+1, \dots\}$, dove $S_{cat}=0$ è una catastrofe assorbente con valore $V_{cat} \le 0$.
• Azioni:
  • Sicura (Safe): Transizione deterministica $S' = S + \Delta_s$.
  • Rischiosa (Risky): Transizione stocastica $S' = S + \Delta_w$ con probabilità $p$, e $S' = S + \Delta_\ell$ con probabilità $1-p$ (dove $\Delta_w > 0 > \Delta_\ell$).
• Obiettivo: Ottimalità di Bellman standard con ricompense lineari e fattore di sconto $\beta \in (0, 1)$.
• Regimi:
  • Crescita (Growth): $E[\text{risky}] > \Delta_s > 0$.
  • Declino (Decline): $E[\text{risky}] < \Delta_s < 0$.

Approccio Analitico e Numerico

1. Iterazione del Valore: Il sistema è risolto tramite iterazione del valore (tolleranza $10^{-10}$) attraverso 495 configurazioni di parametri per generare funzioni di valore $V^*(S)$ e policy ottimali.
2. Sensibilità alla Perdita Endogena: Gli autori definiscono un coefficiente di sensibilità alla perdita strutturale analogo al parametro PT $\lambda$:
   $$\lambda^*(S) = \frac{|V^*(S) - V^*(S + \Delta_\ell)|}{|V^*(S + \Delta_w) - V^*(S)|}$$
3. Analisi Asintotica: Gli autori derivano un'espressione in forma chiusa per il limite asintotico $\bar{\lambda} = \lim_{S \to \infty} \lambda^*(S)$ analizzando l'equazione caratteristica della ricorrenza lineare che governa la funzione di valore nel campo lontano.
4. Test di Robustezza:
   • Apprendimento Model-Free: Viene impiegato il Q-learning tabulare per verificare se un agente model-free riproduca i fenomeni senza conoscenza del kernel di transizione.
   • Transizioni Stocastiche: Le transizioni deterministiche sono perturbate con rumore additivo (Gaussiano, Student-t a code pesanti e skew-normal asimmetrico) per testare la sensibilità alle assunzioni distribuzionali.

3. Contributi Principali

1. Emergenza di Tre Firme della Teoria del Prospetto

Il documento dimostra che la sola ottimalità di Bellman standard produce:

• Funzione di Valore a Forma di S: In regimi di crescita, $V^*(S)$ è convessa vicino alla catastrofe (a causa dell'alto costo del "salto verso il basso" nella rovina) e concava nel campo lontano.
• Avversione alle Perdite Endogena: Il rapporto tra i cali di valore e i guadagni, $\lambda^*(S)$, è strettamente maggiore di 1 e converge a un plateau asintotico $\bar{\lambda}$.
• Effetto Riflesso: La policy ottimale si inverte in base al drift ambientale. In crescita, l'agente gioca in modo sicuro vicino alla catastrofe (avversione al rischio) per evitare la rovina, anche se l'azione rischiosa ha un rendimento atteso immediato superiore. In declino, l'agente gioca in modo rischioso vicino alla catastrofe (ricerca del rischio) perché l'azione sicura serve solo a ritardare la rovina inevitabile, mentre una vittoria rischiosa offre una possibilità di fuga.

2. Meccanismo: Valori di Continuazione, Non Preferenze

Gli autori stabiliscono che questi comportamenti sono guidati dai valori di continuazione. Vicino a un confine assorbente, la vicinanza al fallimento irreversibile pesa sproporzionatamente i rischi al ribasso. Questo effetto dinamico inverte le classificazioni del valore atteso locale senza richiedere alcuna curvatura nella funzione di utilità o nella pesatura delle probabilità.

3. Avversione alle Perdite Asintotica in Forma Chiusa

Il documento deriva una formula in forma chiusa per il plateau di avversione alle perdite asintotico $\bar{\lambda}$:
$$\bar{\lambda} = \frac{z^{-r} - 1}{1 - z}$$
dove $r = |\Delta_\ell|/\Delta_w$ è il rapporto di asimmetria dei payoff, e $z \in (0, 1)$ è l'unica radice dell'equazione caratteristica $\beta[p z + (1-p)z^{-r}] = 1$.

• Invarianza di Scala: $\bar{\lambda}$ dipende solo da $(p, \beta, r)$, non dall'entità assoluta dei payoff.
• Dominanza del Confine: La formula permette di scomporre $\bar{\lambda}$ in un "contributo del confine" (presente anche quando $r=1$, ovvero payoff simmetrici) e un "contributo dell'asimmetria". Gli autori mostrano che il contributo del confine domina; anche con payoff simmetrici ($r=1$), $\bar{\lambda} > 1$ nei regimi di crescita.

4. Robustezza all'Apprendimento e al Rumore

• Q-Learning: Un agente Q-learning tabulare riproduce la forma a S, la zona sicura, l'effetto "Hail Mary" e $\lambda^* > 1$ con un'alta correlazione con la soluzione esatta ($R=0.98$ in crescita, $R=1.00$ in declino).
• Stocasticità: I fenomeni persistono sotto rumore Gaussiano, a code pesanti e asimmetrico fino al 50% della dimensione del passo. Il plateau asintotico devia dalla previsione in forma chiusa al massimo del 9,6% sotto rumore nel canale rischioso.

4. Risultati

• Corrispondenza Quantitativa: La formula in forma chiusa per $\bar{\lambda}$ corrisponde alle soluzioni numeriche con $R^2 = 0.999$.
• Decomposizione dell'Avversione alle Perdite: Attraverso 48 celle di parametri, il "contributo del confine" (il valore di $\bar{\lambda}$ quando $r=1$) spiega la maggior parte dell'avversione alle perdite. Il "contributo dell'asimmetria" (l'incremento dovuto a $r > 1$) ha una quota mediana del solo 4,6% per $r=1.25$ e sale al 13,9% per $r=2$.
• Inversione della Policy: In tutte le 69 configurazioni di declino testate, l'agente gioca in modo rischioso vicino alla catastrofe, confermando l'effetto "Hail Mary". Nei regimi di crescita, l'agente gioca in modo sicuro per un numero specifico di stati ($|\Delta_\ell|$) vicino al confine prima di passare al rischioso.
• Sensibilità al Rumore: Il rumore nel canale sicuro ha un impatto trascurabile ($\le 0,41\%$ di deviazione), mentre il rumore nel canale rischioso riduce $\bar{\lambda}$ monotonicamente ma preserva la struttura qualitativa.

5. Significato e Rivendicazioni

Il documento rivendica un contributo strutturale e normativo piuttosto che psicologico. Non sostiene che il comportamento umano sia ottimale o che questo meccanismo spieghi completamente la Teoria del Prospetto. Piuttosto, pone che:

1. Sufficienza della Struttura: Uno stato catastrofico assorbente è un meccanismo strutturale sufficiente per generare firme simili alla PT (forma a S, avversione alle perdite, effetto riflesso) sotto l'ottimalità standard priva di avversione al rischio.
2. Reinterpretazione dei Dati Empirici: La variazione osservata nei coefficienti di avversione alle perdite nella scienza economica comportamentale (ad esempio, la dipendenza dall'asimmetria dei payoff) può essere spiegata parzialmente dalle proprietà strutturali dell'ambiente decisionale (probabilità $p$, sconto $\beta$ e asimmetria $r$) piuttosto che esclusivamente da parametri psicologici stabili.
3. Razionalità del Comportamento Estremo: Il comportamento di avversione al rischio nei guadagni e la ricerca del rischio nelle perdite vicino al fallimento possono essere risposte razionali ai valori di continuazione, non necessariamente deviazioni patologiche dalla razionalità.
4. Implicazioni per il RL: I comportamenti sicuri o disperati vicino a fallimenti assorbenti nel Reinforcement Learning possono emergere naturalmente dalla struttura dell'ambiente senza la necessità di vincoli di sicurezza o modifiche delle preferenze codificate a mano.

Gli autori dichiarano esplicitamente che la pesatura delle probabilità, il framing e la dipendenza dal riferimento rimangono al di fuori del modello e che le loro scoperte sono intese per affiancare, non sostituire, le spiegazioni psicologiche del processo decisionale umano.