Hybrid Hidden Markov Model for Modeling Equity Excess Growth Rate Dynamics: A Discrete-State Approach with Jump-Diffusion

Questo articolo propone un modello ibrido a stati nascosti che combina discretizzazione quantile, commutazione di regime e meccanismi di salto per generare serie temporali finanziarie sintetiche che superano i limiti degli approcci esistenti, preservando simultaneamente code pesanti, assenza di autocorrelazione lineare e persistente clustering di volatilità.

L'essenziale

Immagina di dover insegnare a un computer a "sognare" il mercato azionario. L'obiettivo è creare dati finti (ma realistici) che sembrino veri, per poter fare prove di stress: "Cosa succederebbe al mio portafoglio se ci fosse un'altra crisi come quella del 2008?".

Il problema è che il mercato reale è un animale strano e imprevedibile. Ha tre "abitudini" (chiamate stylized facts dagli esperti) che sono molto difficili da imitare:

1. Le code grasse: Succedono cose enormi (crolli o boom improvvisi) molto più spesso di quanto la matematica classica preveda.
2. Nessuna previsione facile: Se guardi i prezzi di oggi, non puoi prevedere facilmente quelli di domani (il mercato è efficiente).
3. L'effetto "mood": Quando il mercato è nervoso, lo rimane per un po'. Le giornate di caos tendono a raggrupparsi (volatilità che si accumula).

Il Problema: I Modelli Esistenti sono Come Strumenti Musicali Sbagliati

Gli autori del paper, Abdulrahman Alswaidan e Jeffrey Varner, dicono che i metodi attuali falliscono su almeno uno di questi punti:

• I modelli classici (GARCH): Sono bravi a imitare il "mood" nervoso (la volatilità che dura), ma falliscono nel rappresentare le grandi catastrofi improvvise. È come un musicista che suona bene le note lente, ma non sa mai fare un accordo stridente quando serve.
• Le Intelligenze Artificiali (Reti Neurali): Possono imparare a suonare molto bene le note, ma spesso dimenticano la struttura della canzone. Creano dati che sembrano casuali ma non hanno la giusta "durata" delle crisi.
• I Modelli Tradizionali (HMM): Sono come un metronomo che cambia ritmo. Funzionano bene, ma quando il ritmo cambia (diventa caotico), tornano alla normalità troppo velocemente. Nella realtà, quando il mercato va nel panico, il panico dura di più.

La Soluzione: L'Ibrido "Salta e Rimane"

Gli autori hanno creato un nuovo modello, un Modello a Markov Nascosto Ibrido con Salto-Diffusione. Ecco come funziona, usando un'analogia semplice:

Immagina il mercato come un viaggiatore che cammina su un sentiero.

1. Le Stanze (Stati Nascosti): Il sentiero è diviso in stanze. Alcune sono "calme" (mercato tranquillo), altre sono "tempestose" (crisi). Il viaggiatore passa da una stanza all'altra.
2. Il Problema del Viaggiatore: Nel modello vecchio, se il viaggiatore entrava nella stanza della "tempesta", usciva quasi subito perché il modello pensava che le tempeste durassero poco. Ma nella realtà, le tempeste durano giorni o settimane!
3. La Magia del "Salto" (Jump-Diffusion): Gli autori hanno aggiunto un meccanismo speciale. Immagina che ci sia un orologio a scatto (un processo di Poisson).
   • Di solito, il viaggiatore cambia stanza come al solito.
   • Ma ogni tanto, l'orologio scatta: il viaggiatore viene costretto a entrare nella stanza della tempesta (o del panico) e rimanerci per un po' di tempo (determinato da una distribuzione statistica), invece di uscire subito.
   • È come se, quando inizia una crisi, il mercato venisse "incollato" allo stato di panico per un periodo realistico, prima di potersi calmare di nuovo.

Come l'Hanno Costruito (Senza Complicazioni)

Invece di usare algoritmi matematici complessi e lenti che cercano di indovinare i parametri (come fa l'algoritmo EM classico), loro hanno fatto una cosa più semplice e diretta:

• Hanno guardato i dati reali degli ultimi 10 anni.
• Hanno diviso i giorni in "stanze" basandosi su quanto erano calmi o turbolenti (usando la distribuzione di Laplace, che è come una montagna appuntita perfetta per i piccoli movimenti quotidiani).
• Hanno contato semplicemente quante volte il mercato è passato da una stanza all'altra.
• Hanno aggiunto il "salto" per forzare la durata delle crisi.

È come se invece di studiare la teoria del volo per 10 anni, avessero guardato un aereo in volo e detto: "Ok, quando entra in una nuvola, ci sta per 10 minuti, non 10 secondi".

I Risultati: Il Miglior Compromesso

Hanno testato il loro modello su 1.000 simulazioni diverse. Ecco cosa è successo:

• Distribuzione: Il modello ha catturato perfettamente la forma dei dati (le code grasse, le grandi crisi) con un successo del 97%.
• Tempo: Ha anche catturato bene il fatto che le crisi durano (volatilità persistente), anche se non perfettamente come i modelli classici, ma molto meglio di quelli senza "salto".
• Il punto debole degli altri: I modelli classici (GARCH) avevano un successo del 5% nella distribuzione (fallivano miseramente nel rappresentare le crisi), mentre le reti neurali fallivano nel rappresentare la durata delle crisi.

Il loro modello è il miglior compromesso: non è il numero 1 in assoluto in ogni categoria, ma è l'unico che non fallisce disastrosamente in nessuna. È come un atleta che non è il più veloce né il più forte, ma è l'unico che non si ferisce mai e finisce sempre la gara.

Perché è Utile?

Questo modello permette di generare migliaia di scenari futuri per un intero portafoglio di azioni (hanno testato 424 azioni diverse) in modo veloce e sicuro.

• Per le banche: Possono dire "Ecco cosa succederebbe al nostro portafoglio se il mercato va nel panico per 3 settimane".
• Privacy: I dati generati sono finti, quindi non rivelano i dati reali dei clienti, ma mantengono la stessa "personalità" statistica.

In Sintesi

Gli autori hanno creato un "motore di realtà" per il mercato azionario che capisce che quando le cose vanno male, restano male per un po'. Hanno aggiunto un "freno di emergenza" matematico che impedisce al modello di uscire troppo presto dalle crisi, rendendo le simulazioni molto più realistiche e utili per proteggere i soldi delle persone.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper in italiano, strutturato secondo le sezioni richieste.

Titolo: Modello Markoviano Nascosto Ibrido per la Modellazione della Dinamica del Tasso di Crescita Eccedente delle Azioni: Un Approccio a Stati Discreti con Diffusione con Salto

1. Il Problema

La generazione di serie temporali finanziarie sintetiche che preservino fedelmente le proprietà statistiche dei dati di mercato reali è una sfida centrale nella finanza quantitativa, essenziale per lo stress testing, la validazione dei modelli di rischio e la progettazione di scenari. Tuttavia, i dati empirici sulle azioni presentano tre "fatti stilizzati" difficili da riprodurre simultaneamente:

1. Distribuzioni a code pesanti (leptocurtiche): Le rendite non seguono una distribuzione normale.
2. Autocorrelazione lineare trascurabile: Le rendite grezze mostrano poca prevedibilità lineare (ipotesi dei mercati efficienti).
3. Clusterizzazione della volatilità persistente: Grandi variazioni di prezzo tendono a essere seguite da altre grandi variazioni (effetto ARCH).

I modelli esistenti falliscono nel bilanciare questi aspetti:

• I modelli GARCH catturano bene la clusterizzazione della volatilità ma falliscono nei test di adattamento distribuzionale (code pesanti).
• I modelli Deep Learning (GAN, RNN) apprendono distribuzioni complesse ma spesso falliscono nel riprodurre strutture di dipendenza temporale come la clusterizzazione della volatilità.
• I modelli HMM (Hidden Markov Models) standard catturano i regimi di mercato ma tendono a uscire troppo rapidamente dagli stati di alta volatilità (code), fallendo nel riprodurre la persistenza temporale osservata empiricamente.

2. Metodologia

Gli autori propongono un Framework Ibrido HMM che combina la discretizzazione degli stati con un meccanismo di salto (jump-diffusion) per risolvere il compromesso tra fedeltà distribuzionale e struttura temporale.

• Discretizzazione degli Stati:

  • I tassi di crescita eccedente continui vengono mappati in stati discreti (regimi di mercato) utilizzando le quantili di una distribuzione di Laplace adattata. Questo approccio permette di assegnare direttamente ogni osservazione a uno stato senza l'uso iterativo dell'algoritmo Baum-Welch (EM), evitando sensibilità all'inizializzazione e riducendo i costi computazionali.
  • L'emissione all'interno di ogni stato è modellata da una distribuzione Student-t con $\nu=5$ gradi di libertà per catturare le code pesanti.

• Meccanismo di Diffusione con Salto (Jump-Duration):

  • Per correggere la rapida uscita dagli stati di coda (alta volatilità) tipica degli HMM standard, viene introdotto un meccanismo di "salto" guidato da un processo di Poisson.
  • Con una probabilità $\epsilon$, il modello entra in un "episodio di salto" della durata $K$, dove $K \sim \text{Poisson}(\lambda)$.
  • Durante questi $K$ passi, la catena è forzata a rimanere negli stati di coda (inferiori o superiori) invece di seguire la matrice di transizione standard. Questo forza la persistenza della volatilità.
  • I parametri $\epsilon$ (probabilità di salto) e $\lambda$ (durata media) sono ottimizzati tramite una ricerca a griglia multi-obiettivo per minimizzare l'errore nell'autocorrelazione (ACF) delle rendite assolute e la discrepanza nella curtosi.

• Estensione Multi-Attivo:

  • Per scalare a un universo di 424 asset, il modello univariato (SPY) viene esteso utilizzando un Modello a Indice Singolo (SIM). Le rendite degli asset individuali sono generate combinando il percorso sintetico dell'indice di mercato (SPY) con shock idiosincratici, preservando la struttura di correlazione trasversale.

3. Contributi Chiave

1. Framework Ibrido Ibrido: Integrazione di un HMM a stati discreti (basato su quantili Laplace) con un meccanismo di durata dei salti Poissoniano per forzare la persistenza degli stati di coda.
2. Stima Diretta (Frequentista): Sostituzione dell'algoritmo EM di Baum-Welch con il conteggio diretto delle transizioni tra stati quantili. Questo rende il modello scalabile, privo di sensibilità all'inizializzazione e computazionalmente efficiente.
3. Bilanciamento delle Metriche di Qualità: Il modello occupa il "fronte di Pareto" tra fedeltà distribuzionale e struttura temporale, evitando i fallimenti estremi degli altri modelli (es. GARCH che fallisce nella distribuzione, HMM standard che fallisce nella persistenza).
4. Pipeline Scalabile: Dimostrazione della generazione di percorsi sintetici correlati per 424 asset utilizzando un motore univariato e un modello fattoriale lineare.

4. Risultati

Il modello è stato valutato su 10 anni di dati SPY (2014-2024) per l'addestramento e su tutto il 2025 per il test fuori campione (out-of-sample), generando 1.000 percorsi sintetici.

• Fedeltà Distribuzionale:

  • Il modello ibrido (HMM-WJ) ha ottenuto tassi di superamento (pass rates) dei test Kolmogorov-Smirnov (KS) e Anderson-Darling (AD) superiori al 97% in-sample e al 94% out-of-sample.
  • Ha mantenuto una distanza di Wasserstein-1 e Hellinger molto basse, indicando una corrispondenza eccellente con le code della distribuzione empirica.
  • Confronto: L'HMM senza salti ha ottenuto tassi di superamento leggermente più alti (99.7% KS), ma il modello ibrido sacrifica marginalmente la distribuzione per guadagnare struttura temporale.

• Fedeltà Temporale (Clusterizzazione della Volatilità):

  • L'HMM standard (senza salti) ha fallito nel riprodurre la clusterizzazione (ACF-MAE simile a un processo i.i.d.).
  • Il modello ibrido ha ridotto significativamente l'errore ACF (ACF-MAE = 0.052), avvicinandosi ai modelli GARCH (0.031) ma mantenendo la fedeltà distribuzionale.
  • Circa il 24% dei percorsi sintetici conteneva episodi di salto, sufficienti a spostare l'ACF dell'insieme verso il profilo empirico.

• Confronto con altri modelli:

  • GARCH(1,1): Migliore per la volatilità (ACF-MAE 0.031) ma pessimo per la distribuzione (tasso KS del 5.5% in-sample, crollo della curtosi fuori campione).
  • GRU (Deep Learning): Buona struttura temporale ma collasso della varianza e fallimento catastrofico nella distribuzione (tasso KS < 1%).
  • HMM Ibrido: L'unico modello a non fallire severamente in nessuna delle due dimensioni critiche, offrendo il profilo di qualità più bilanciato.

• Estensione Multi-Attivo:

  • Applicando il modello a 424 asset tramite SIM, si è ottenuta una distribuzione di tassi di superamento KS con mediana del 66.7% in-sample e 91.8% out-of-sample, confermando la scalabilità e la preservazione della correlazione trasversale.

5. Significato e Implicazioni

• Validazione dei Modelli di Rischio: Il framework fornisce dati sintetici ad alta fedeltà per lo stress testing di portafogli, permettendo di testare scenari di mercato plausibili ma non ancora osservati, superando i limiti delle librerie storiche.
• Interpretabilità: A differenza delle "scatole nere" del deep learning, la struttura a stati discreti (es. "crollo", "toro", "neutrale") è interpretabile e collegabile a narrative economiche.
• Efficienza Computazionale: L'eliminazione dell'algoritmo EM rende il modello adatto a pipeline di grandi dimensioni che richiedono la rigenerazione frequente di scenari (es. giornaliera/settimanale).
• Privacy: La natura generativa del modello offre una protezione implicita della privacy, poiché i percorsi sintetici non sono copie perturbate dei dati storici ma campioni da una distribuzione appresa.

In sintesi, questo lavoro dimostra che un approccio ibrido, che combina la semplicità computazionale degli HMM discreti con un meccanismo di salto mirato, può superare i limiti dei modelli parametrici tradizionali e delle reti neurali profonde nella generazione di dati finanziari realistici.