Mean--Variance Portfolio Selection by Continuous-Time Reinforcement Learning: Algorithms, Regret Analysis, and Empirical Study

1. Il Problema

Il paper affronta il problema della selezione di portafoglio Mean-Variance (MV) in un mercato continuo, dove i prezzi delle azioni sono processi di diffusione guidati da fattori osservabili (anch'essi processi di diffusione), ma i coefficienti di questi processi (drift e volatilità) sono sconosciuti.

Le sfide principali identificate sono:

• Limitazioni degli approcci tradizionali: I metodi classici basati sul modello (plug-in) richiedono la stima accurata dei momenti dei rendimenti (specialmente i rendimenti attesi), un compito notoriamente difficile e soggetto a errori di stima che rendono le strategie ottimali estremamente sensibili e instabili.
• Inconsistenza temporale: Il problema MV dinamico soffre di inconsistenza temporale, rendendo inapplicabile il principio di programmazione dinamica standard senza trasformazioni specifiche (es. moltiplicatori di Lagrange).
• Mancanza di garanzie teoriche nell'RL: Sebbene l'Apprendimento per Rinforzo (RL) offra un approccio "model-free", la maggior parte delle applicazioni finanziarie esistenti manca di garanzie teoriche rigorose (come limiti di regret) e di un fondamento matematico solido per i processi continui.

L'obiettivo è sviluppare un agente che impari direttamente la strategia di investimento ottimale basandosi solo sui dati osservabili (prezzi, fattori, ricchezza) senza stimare i parametri del mercato sottostante.

2. Metodologia

Gli autori propongono un approccio basato sull'Apprendimento per Rinforzo (RL) in tempo continuo, adattando la teoria sviluppata da Wang et al. (2020) e Jia & Zhou (2022a,b) al contesto Mean-Variance.

A. Formulazione del Problema

• Ambiente: Mercati con $d$ azioni rischiose e un asset privo di rischio. I prezzi seguono processi di Itô.
• Agente: Un investitore con orizzonte temporale finito $T$ che mira a massimizzare l'efficienza Mean-Variance.
• Approccio Model-Free: L'agente non conosce i coefficienti di drift ($\mu$) e volatilità ($\sigma$). L'unica assunzione strutturale è che i processi siano diffusioni di Itô.

B. Algoritmo RL (CTRL)

L'algoritmo proposto, chiamato CTRL (Continuous-Time Reinforcement Learning), si basa su tre pilastri fondamentali:

1. Politiche Stocastiche ed Entropia: Per esplorare lo spazio delle azioni, l'agente utilizza politiche stocastiche (distribuzioni di probabilità sulle allocazioni) invece di politiche deterministiche. Viene introdotto un regolarizzatore di entropia nell'obiettivo per incoraggiare l'esplorazione.
2. Valutazione della Politica (Critic): Invece di risolvere equazioni differenziali alle derivate parziali (HJB), l'algoritmo stima la funzione valore risolvendo condizioni di momento derivate da condizioni di martingala. Questo permette di apprendere la funzione valore direttamente dai dati.
3. Gradiente della Politica (Actor): La politica viene aggiornata utilizzando il gradiente della funzione valore rispetto ai parametri della politica, calcolato tramite campioni osservati senza conoscere il modello sottostante.
4. Vincolo di Rendimento Atteso: Viene introdotto un moltiplicatore di Lagrange ($w$) per gestire il vincolo sul rendimento atteso, trasformando il problema vincolato in uno non vincolato di minimizzazione del rischio quadratico.

C. Caso Specifico: Mercato Black-Scholes

Per fornire garanzie teoriche, gli autori derivano un algoritmo specifico per un mercato Black-Scholes multi-asset (senza fattori esterni).

• Parametrizzazione: La funzione valore e la politica stocastica sono parametriche (distribuzioni normali con media e covarianza dipendenti da parametri appresi).
• Algoritmo di Approssimazione Stocastica: L'aggiornamento dei parametri avviene iterativamente su interi episodi, utilizzando proiezioni su insiemi limitati per garantire la stabilità numerica.

3. Contributi Chiave

1. Algoritmo RL Model-Free per MV: Sviluppo di un algoritmo generale che apprende strategie di investimento pre-impegnate direttamente dai dati, bypassando la stima dei parametri di mercato.
2. Analisi del Regret (Prima nel suo genere):
   • Dimostrazione della convergenza dell'algoritmo verso la politica ottimale nel caso Black-Scholes.
   • Derivazione di un limite di regret sublineare in termini del Rapporto di Sharpe. Il regret cumulativo cresce come $O(\sqrt{N \log N \log \log N})$, garantendo che, dopo un periodo di addestramento sufficiente, l'algoritmo raggiunga prestazioni quasi ottimali anche senza conoscere il mercato.
   • Questo è il primo risultato di regret sublineare per un algoritmo model-free in un contesto di selezione di portafoglio MV in tempo continuo.
3. Studio Empirico Estensivo: Confronto su dati reali (S&P 500, 2000-2020) contro 13 strategie alternative (inclusi metodi econometrici classici, modelli a fattori, e altri algoritmi RL come DDPG e PPO).

4. Risultati

Risultati Teorici

• L'algoritmo converge quasi certamente ai valori ottimali dei parametri.
• Il limite di regret dimostra che l'approccio RL è asintoticamente efficiente, superando la necessità di una conoscenza perfetta del modello.

Risultati Empirici (S&P 500, 2000-2020)

L'algoritmo CTRL è stato testato su 100 esperimenti indipendenti con 10 azioni casuali ciascuna.

• Performance Generale: CTRL ha ottenuto il più alto rendimento annualizzato (12.21%) e il più alto rapporto di Sharpe (0.531) tra tutte le strategie testate, superando significativamente i metodi basati su modelli (come MV classico e MV in tempo continuo plug-in).
• Robustezza nei Mercati Ribassisti: Durante il periodo di crisi (2000-2010, incluso il 2008), CTRL ha dimostrato una superiorità decisiva, con un rapporto di Sharpe di 0.367 contro valori negativi o molto bassi per le controparti basate su modelli.
• Recupero (Recovery Time): CTRL ha mostrato il tempo di recupero più breve (521 giorni) dopo i massimi storici, circa la metà rispetto al mercato e alle altre strategie.
• Gestione del Rischio e Transazioni:
  • Turnover: CTRL ha il turnover più basso (5.68%), riducendo i costi di transazione.
  • Esposizione: Mantiene un'esposizione lorda moderata (~102%) e posizioni concentrate molto basse (Max Long < 20%, Max Short < 2%), a differenza delle strategie MV plug-in che mostrano leve estreme e tassi di fallimento (bankruptcy) elevati (fino al 39% per ctmv).
• Confronto con altri RL: CTRL supera nettamente algoritmi RL generici come DDPG e PPO, dimostrando che la struttura specifica dell'algoritmo (basata sulla teoria delle martingale e sul controllo rilassato) è superiore all'adattamento "ad hoc" di algoritmi standard.

5. Significato e Implicazioni

• Paradigma Decisionale: Il paper dimostra che l'approccio "impara la politica senza imparare il modello" è superiore all'approccio tradizionale "stima il modello poi ottimizza" in ambienti dinamici e incerti. La superiorità non deriva dalla complessità dei dati (Big Data) ma da un diverso paradigma decisionale.
• Fondamento Teorico per la Finanza: Fornisce il primo quadro teorico rigoroso con garanzie di regret per l'RL in tempo continuo applicato alla finanza, colmando il divario tra la teoria dell'apprendimento automatico e la pratica della gestione patrimoniale.
• Robustezza Pratica: I risultati empirici suggeriscono che le strategie RL basate su principi matematici solidi possono essere implementate con successo nella pratica, offrendo una soluzione robusta al problema della stima dei rendimenti attesi, che ha limitato l'adozione pratica della teoria Mean-Variance per decenni.
• Limiti e Futuro: L'analisi del regret è stata condotta specificamente per l'ambiente Black-Scholes. Estendere queste garanzie a modelli più complessi (volatilità stocastica, salti) rimane una sfida aperta, ma il paper stabilisce un punto di riferimento fondamentale per la ricerca futura.

In sintesi, il paper presenta un avanzamento significativo sia teorico che pratico, dimostrando che l'RL continuo può fornire strategie di investimento dinamiche, robuste e teoricamente garantite, superando i limiti intrinseci dei metodi econometrici tradizionali.