Data-Driven Merton's Strategies via Policy Randomization

1. Il Problema: Ottimizzazione dell'Utilità di Merton in Mercati Incompleti

Il lavoro affronta il classico problema di massimizzazione dell'utilità attesa di Merton (1969) in un contesto di mercato incompleto.

• Ambiente: Il mercato è caratterizzato da un processo di prezzo azionario e un processo fattoriale aggiuntivo (es. volatilità stocastica). Le forme funzionali dei parametri del modello (rendimento atteso $\mu$, volatilità $\sigma$, dinamica del fattore) sono sconosciute.
• Vincoli dell'Agente: L'investitore è un "price taker" (piccolo investitore) che osserva solo i processi di prezzo, fattore e volatilità istantanea, ma non conosce i parametri strutturali del mercato.
• Limiti dell'Approccio Tradizionale: Il metodo convenzionale ("plug-in" o separazione tra stima e ottimizzazione) fallisce perché:
  1. Stimare parametri come il rendimento atteso richiede quantità di dati irrealistiche.
  2. Le strategie ottimali sono altamente sensibili agli errori di stima (propagazione dell'errore).
  3. I mercati finanziari sono spesso non stazionari, violando le assunzioni econometriche standard.

2. Metodologia: Apprendimento per Rinforzo (RL) e Randomizzazione delle Politiche

Gli autori propongono un approccio model-free e data-driven basato sull'Apprendimento per Rinforzo (RL) in tempo continuo, superando la necessità di stimare i parametri del modello.

A. Il Problema Ausiliario e la Randomizzazione

Il cuore della metodologia è la formulazione di un problema ausiliario rilassato in cui l'agente non sceglie un'azione deterministica, ma campiona la sua allocazione di portafoglio da una distribuzione di probabilità (politica randomizzata).

• Politiche Gaussiane: Si considera una classe specifica di politiche di controllo stocastico distribuite normalmente:
  $$\pi_t \sim \mathcal{N}\left(u(t, w, x), \frac{\lambda}{\gamma \sigma^2(t, x)}\right)$$
  Dove $u$ è la media (la strategia da apprendere), $\lambda \geq 0$ è un parametro di "temperatura" che controlla il grado di randomizzazione, e $\gamma$ è l'avversione al rischio.
• Risultato Teorico Chiave (Teorema 1): Viene dimostrato che la media della politica gaussiana ottimale per il problema ausiliario coincide esattamente con la soluzione ottimale del problema originale di Merton (deterministico).
• Significato: La randomizzazione non serve qui per "esplorare" l'ambiente (poiché per un piccolo investitore i rendimenti sono esogeni e calcolabili senza esecuzione reale), ma funge da strumento tecnico per rendere il problema risolvibile tramite algoritmi RL. Senza randomizzazione, i segnali di apprendimento (gradienti) avrebbero varianza infinita o sarebbero inutili.

B. Algoritmi Actor-Critic in Tempo Continuo

Sfruttando la teoria sviluppata da Wang et al. (2020) e Jia & Zhou (2022), gli autori progettano algoritmi Actor-Critic:

1. Critic (Valutazione): Stima la funzione valore associata alla politica corrente. Grazie alla struttura del problema (utilità CRRA), la funzione valore può essere parametrizzata in modo efficiente.
2. Actor (Miglioramento): Aggiorna la politica media $u(t, x)$ basandosi sulle condizioni di ortogonalità delle martingale (Teorema 3), che permettono di apprendere direttamente dai dati osservati senza conoscere i coefficienti del modello.
3. Condizioni di Ottimalità: Vengono derivati sistemi di equazioni integrali (condizioni di momento) che, una volta discretizzati, permettono di aggiornare i parametri della politica e della funzione valore tramite approssimazione stocastica.

3. Contributi Chiave

1. Teoria della Randomizzazione come Strumento: Dimostrano che la randomizzazione delle politiche è necessaria non solo per l'esplorazione, ma per stabilizzare l'apprendimento e rendere risolvibili problemi di controllo stocastico che altrimenti non ammettono soluzioni deterministiche efficienti in contesti model-free.
2. Convergenza e Tasso di Erroro: Forniscono una prova teorica di convergenza per l'algoritmo offline nel mercato Black-Scholes, mostrando un tasso di convergenza ottimale $O(n^{-1} \log n)$.
3. Robustezza agli Errori di Stima: Mostrano come l'approccio RL eviti il "crollo" delle soluzioni che si verifica nei metodi plug-in quando i parametri stimati violano condizioni di esistenza (es. condizioni di positività in modelli di volatilità stocastica).
4. Algoritmi Ibridi: Propongono sia versioni online che offline degli algoritmi, adattate alla struttura omotetica delle utilità CRRA.

4. Risultati Sperimentali

Gli autori validano il metodo attraverso studi di simulazione e analisi empirica.

A. Simulazione con Dati Sintetici (Modello 3/2)

• Setup: Confronto tra RL, metodo "Plug-in" (stima MLE + soluzione analitica), "Buy-and-Hold" e Minimizzazione del Rischio Empirico (ERM).
• Risultati:
  • Il metodo RL (sia con forma parametrica specifica che con reti neurali) supera significativamente il metodo Plug-in e l'ERM, specialmente con dataset piccoli.
  • Il metodo Plug-in è estremamente sensibile al rumore nei dati: una piccola contaminazione nella volatilità osservata porta a un crollo delle prestazioni (perdita di ricchezza relativa >28%), mentre il RL rimane robusto.
  • L'ERM fallisce con dati limitati, confermando la superiorità dell'approccio basato su RL.

B. Studio Empirico con Dati Reali (S&P 500 e VIX)

• Dati: Dati giornalieri S&P 500 e VIX (proxy della volatilità) dal 1990 al 2025.
• Performance:
  • Le strategie RL (in particolare quelle basate su reti neurali) ottengono un Sharpe Ratio superiore rispetto a tutti gli altri metodi.
  • Robustezza nei Mercati Orso: Durante i periodi di crisi (es. 2000-2010, crisi 2008), le strategie RL riducono l'esposizione al rischio in modo tempestivo, mostrando un Drawdown Massimo (MDD) molto inferiore e tempi di recupero significativamente più brevi rispetto al metodo Plug-in e al Buy-and-Hold.
  • Il metodo Plug-in tende a mantenere posizioni eccessive o errate a causa della stima ritardata o imprecisa dei parametri basata su finestre storiche.

5. Significato e Implicazioni

Questo lavoro risolve una questione fondamentale nell'applicazione dell'RL alla finanza: perché usare l'RL se i dati di mercato sono esogeni e non c'è bisogno di "esplorare" attivamente?

• Risposta: La randomizzazione non è per l'esplorazione informativa, ma è un meccanismo tecnico necessario per trasformare un problema di controllo deterministico difficile da risolvere senza modello in un problema di ottimizzazione stocastica risolvibile tramite gradienti stimati dai dati.
• Impatto: Il paper dimostra che l'RL può fornire strategie di investimento ottimali in mercati incompleti senza mai stimare i parametri economici sottostanti, offrendo una soluzione robusta, adattiva e superiore ai metodi tradizionali basati su modelli, specialmente in condizioni di incertezza e dati limitati.

In sintesi, gli autori hanno trasformato la randomizzazione da un semplice strumento di esplorazione a un pilastro teorico per la risoluzione di problemi di ottimizzazione finanziaria in assenza di conoscenza del modello.