Sintesi Tecnica: Controllo Robusto sotto Ambiguità Stazionaria

Definizione del Problema

Nei problemi di controllo stocastico, in particolare nella finanza (ad esempio, l'investimento ottimale e la copertura di derivati), le policy vengono spesso ottimizzate all'interno di simulatori. Questi simulatori si basano su parametri $x$ stimati da dati storici limitati, introducendo incertezza sui parametri (ambiguità). Un approccio comune per gestire questo aspetto è la Randomizzazione del Dominio (Domain Randomization), dove il parametro del simulatore $x$ è trattato come una variabile casuale estratta da una distribuzione $\nu$ all'inizio di ogni episodio di addestramento.

Tuttavia, questo approccio standard, denominato Modello a Latenza Statica (Static Latent Model - SLM), soffre di un difetto critico: l'ambiguità evanescente (vanishing ambiguity). Poiché il parametro $x$ è fisso per la durata di un episodio di addestramento, la policy osserva progressivamente l'output del sistema $Y$ e inferisce il valore di $x$ con precisione crescente. Di conseguenza, la credenza a posteriori della policy riguardo a $x$ si concentra nel tempo, causando la specializzazione della policy al regime specifico che ha inferito.

Questa specializzazione crea un gap sim-to-real nelle dinamiche di ambiguità. Nei sistemi reali come i mercati finanziari, i regimi latenti (ad esempio, volatilità o correlazione) cambiano o fluttuano spesso nel tempo. Una policy addestrata sotto ambiguità evanescente diventa eccessivamente sicura della propria stima del regime attuale e fallisce nell'adattarsi quando il regime cambia, portando a prestazioni scarse e a una perdita di robustezza.

Metodologia

Gli autori propongono un nuovo principio di modellazione chiamato Ambiguità Stazionaria per affrontare il decadimento della robustezza.

1. Definizione Formale

L'ambiguità stazionaria richiede che il simulatore induca un processo di filtro stazionario $\pi_t := P(X_t \in \cdot \mid Y_{\le t})$.

• In un regime stazionario, la quantità media di ambiguità riguardo allo stato latente $X_t$ (misurata dalla varianza condizionale) rimane costante nel tempo.
• Ciò impedisce il decadimento sistematico dell'incertezza che si verifica quando un parametro statico viene inferito da una storia di osservazioni accumulata.

2. Il Modello a Latenza con Refresh (Refresh Latent Model - RLM)

Per approssimare l'ambiguità stazionaria nella pratica, gli autori introducono il Modello a Latenza con Refresh (RLM).

• Invece di estrarre un parametro statico $X \sim \nu$ una sola volta per episodio, il parametro latente $X_t$ è modellato come un processo di Markov stazionario.
• Nello specifico, gli autori utilizzano un kernel di transizione in cui $X_t$ rimane uguale a $X_{t-1}$ con probabilità $1-\alpha$, oppure si "aggiorna" (refresh) con un nuovo valore estratto da $\nu$ con probabilità $\alpha$.
• Proprietà Chiave: Poiché il parametro latente salta occasionalmente a un nuovo valore, le osservazioni del passato remoto diventano meno informative riguardo allo stato attuale. Ciò impedisce al filtro di concentrarsi, mantenendo un livello non nullo di ambiguità durante tutto l'orizzonte di controllo.

3. Configurazione della Simulazione

Per garantire che la policy operi sotto ambiguità stazionaria sin dall'inizio del problema di controllo:

• Periodo di Warm-up: Il simulatore è inizializzato in un passato infinito (o un passato finito $H$ sufficientemente lungo) nella sua distribuzione stazionaria. La policy osserva questa storia prima di prendere la sua prima decisione di controllo.
• Inizializzazione: Gli autori sottolineano che l'inizializzazione deterministica degli stati latenti (ad esempio, impostando la varianza $V_0 = v_0$) viola l'ambiguità stazionaria, creando un aumento sistematico dell'ambiguità dopo $t=0$. Essi raccomandano di inizializzare gli stati latenti dalla distribuzione stazionaria o di utilizzare un'inizializzazione condizionale basata sulla storia osservata.

Contributi Chiave

1. Analisi dell'Ambiguità Evanescente: Il documento dimostra che le policy ottimizzate sotto randomizzazione statica (SLM) si specializzano progressivamente nel regime latente inferito. Nei compiti di investimento ottimale e copertura (hedging), ciò porta a una perdita di robustezza quando il regime sottostante cambia, poiché la policy non riesce ad adattarsi rapidamente alle nuove condizioni.
2. Principio di Ambiguità Stazionaria: Gli autori formalizzano il requisito per i simulatori di indurre un processo di filtro stazionario. Forniscono condizioni sufficienti (ad esempio, il processo congiunto $(X, Y)$ come processo di Markov stazionario) e una ricetta pratica (RLM) per ottenerlo.
3. Validazione Empirica nella Copertura (Hedging): Attraverso tre distinti problemi di copertura (Incertezza della volatilità in Black-Scholes, Incertezza della correlazione in Heston, e Incertezza della covarianza in modelli multi-asset), gli autori mostrano che le policy addestrate sotto RLM (ambiguità stazionaria) mantengono la robustezza nel tempo, mentre le policy SLM degradano.
4. Backtesting su Mercati Reali: In uno studio di caso su larga scala utilizzando i dati delle azioni S&P 100, le politiche addestrate con ambiguità stazionaria hanno superato quelle addestrate con randomizzazione statica e i benchmark standard di Black-Scholes, particolarmente durante i cambi di regime (grandi cambiamenti di volatilità).

Risultati

Esperimenti di Simulazione

• Problema di Investimento: Sotto randomizzazione statica, la strategia di investimento ottimale diventa deterministica e specializzata sul drift inferito. Quando il regime di drift cambia, la policy SLM si adatta lentamente, incorrendo in una perdita significativa di utilità. La policy RLM, addestrata con ambiguità stazionaria, mantiene una distribuzione di azioni che permette una più rapida adattabilità ai cambi di regime.
• Problemi di Copertura (BS-VOL, HESTON-CORR, BS-COV):
  • Robustezza Iniziale: Sia le policy SLM che le RLM superano le policy "plug-in" (addestrate su un singolo parametro fisso) quando valutate su una gamma di regimi fissi.
  • Robustezza Continua: Quando valutate su percorsi con cambi di regime (regime di pre-addestramento $\neq$ regime di trading), le policy SLM mostrano una grande dispersione nelle prestazioni a seconda del regime di pre-addestramento, indicando che si sono specializzate. Le policy RLM mostrano una dispersione minima, mantenendo prestazioni costanti indipendentemente dalla storia di pre-addestramento.
  • Comportamento del Filtro: Sondando lo stato interno delle policy di reti neurali, emerge che le policy SLM imparano a filtrare lo stato latente con alta fiducia (bassa varianza) nel tempo, mentre le policy RLM mantengono un livello di incertezza più elevato e stabile, permettendo loro di trattare le nuove osservazioni come potenziali prove di un cambio di regime.

Backtest su Mercati Reali

• Utilizzando i dati giornalieri dell'S&P 100, gli autori hanno testato retroattivamente le politiche di copertura per dieci diverse strutture di payoff. Il periodo di addestramento copre da gennaio 2006 a dicembre 2015, mentre il periodo di valutazione (backtest) va da gennaio 2016 a dicembre 2025.
• Prestazioni Complessive: Le policy RLM hanno generalmente ottenuto un rischio spettrale inferiore rispetto alle policy SLM e ai benchmark standard di Black-Scholes (BS-EWMA, BS-HIST).
• Cambi di Regime: Il divario di prestazione si è ampliato significativamente durante i periodi di elevati cambiamenti di volatilità. La policy SLM, essendosi specializzata sul regime di pre-addestramento, ha performato negativamente quando il regime di mercato è cambiato, mentre la policy RLM è rimasta robusta.

Significato e Rivendicazioni

Il documento sostiene che l'ambiguità stazionaria è un principio di modellazione critico per progettare simulatori per problemi di controllo guidati da processi stocastici esogeni con strutture latenti variabili.

• Preservazione della Robustezza: Il significato primario è che l'ambiguità stazionaria impedisce la "sovra-specializzazione" delle policy verso specifici regimi inferiti, garantendo che la robustezza sia mantenuta nel tempo anziché decadere.
• Guida Pratica alla Progettazione: Gli autori forniscono una "ricetta" concreta per la progettazione dei simulatori, consigliando ai professionisti di:
  1. Randomizzare i parametri utilizzando un processo di Markov stazionario (come l'RLM) invece di un prelievo statico.
  2. Inizializzare i simulatori nel loro regime stazionario (tramite warm-up o inizializzazione condizionale) invece di un'inizializzazione deterministica.
  3. Assicurarsi che la dinamica latente del simulatore permetta cambi di regime che la policy non può prevedere con certezza.
• Applicabilità: Sebbene gli esperimenti si concentrino sulla copertura finanziaria, gli autori sostengono che questo principio si applichi a qualsiasi problema di controllo sequenziale in cui le dinamiche latenti dell'ambiente siano incerte e destinate a cambiare (ad esempio, controllo dell'inventario, stoccaggio energetico), a patto che il controllore non possa influenzare lo stato latente attraverso le proprie azioni (assenza di esplorazione).

Il documento conclude che ignorare la dinamica dell'ambiguità (ovvero permettere che essa svanisca) crea un divario fondamentale tra simulazione e realtà, e che imporre l'ambiguità stazionaria è un passo necessario per implementare politiche di controllo robusto in ambienti dinamici e incerti.