Riepilogo Tecnico: Apprendimento di Dinamiche di Markov Non Omogenee nel Tempo nelle Serie Temporali Finanziarie tramite Parametrizzazione Neurale

1. Enunciato del Problema

Il documento affronta la sfida di modellare sistemi stocastici non stazionari, in particolare le serie temporali finanziarie, dove i modelli di Markov classici e gli approcci moderni di deep learning soffrono ciascuno di limitazioni significative.

• La Barriera della Sparsità: La modellazione di Markov classica si basa sul conteggio empirico delle transizioni tra stati discreti. Per catturare le sfumature dei rendimenti finanziari a coda pesante, è necessaria una discretizzazione fine (un grande numero di bin, $n$). Tuttavia, il numero di transizioni possibili scala quadraticamente ($n^2$). In dataset finanziari finiti e rumorosi, ciò porta a una grave sparsità dei dati, dove la stragrande maggioranza delle celle di transizione non viene osservata (ad esempio, il 99,9% delle celle ha meno di 5 osservazioni per $n=55$). Ciò fa sì che gli stimatori empirici collassino in operatori degeneri pieni di zeri e rumore ad alta varianza, rendendoli inutili per l'analisi strutturale.
• Il Divario dell'Interpretabilità: Sebbene i modelli sequenziali neurali possano gestire dipendenze complesse, operano tipicamente tramite rappresentazioni latenti opache, impedendo l'applicazione di diagnosi classiche basate sulla teoria degli operatori (ad esempio, mappe di calore delle transizioni, eterogeneità delle righe, coerenza di Chapman–Kolmogorov).

Gli autori propongono una via di mezzo: un framework che sfrutta la flessibilità delle reti neurali per parametrizzare operatori di transizione di Markov espliciti e variabili nel tempo, superando così la sparsità del conteggio empirico mantenendo al contempo la trasparenza matematica.

2. Metodologia

Il contributo centrale è una parametrizzazione neurale di operatori di Markov non omogenei nel tempo.

2.1 Formulazione del Framework

Il sistema è modellato come una catena di Markov non omogenea nel tempo condizionata dalle caratteristiche.

• Spazio degli Stati: I rendimenti sono discretizzati in uno spazio degli stati finito $S = \{s_1, \dots, s_n\}$ tramite binning per quantili.
• Condizionamento delle Caratteristiche: Le probabilità di transizione dipendono da covariate osservabili $F_t$ (indicatori macroeconomici, fondamentali aziendali) e dallo stato corrente $X_t$.
• Costruzione dell'Operatore: Invece di contare le transizioni, una rete neurale $f^{(h)}_\theta$ apprende la mappatura da $(X_t, F_t)$ a una distribuzione di probabilità sul prossimo stato.
  $$\hat{A}^{(h)}_t(i, \cdot) = f^{(h)}_\theta(s_i, F_t)$$
  Per costruire la matrice di transizione completa $\hat{A}^{(h)}_t$ al tempo $t$, la rete viene valutata per ogni possibile stato $s_i \in S$ sotto lo stesso snapshot di caratteristiche $F_t$. Ciò garantisce che l'output sia un operatore stocastico valido e liscio anche per transizioni non osservate.

2.2 Architettura del Modello e Addestramento

• Architettura: Un Perceptron Multistrato (MLP) prende in ingresso la concatenazione di una codifica one-hot dello stato e il vettore delle caratteristiche. Produce una distribuzione di probabilità tramite un layer softmax.
• Obiettivo di Addestramento: I modelli sono addestrati utilizzando l'ottimizzazione Adam per minimizzare la verosimiglianza negativa. Per gestire il rumore nei rendimenti discretizzati, viene facoltativamente impiegato un obiettivo a target smussato, che assegna massa parziale ai bin adiacenti.
• Baseline:
  • Ablazione Senza Stato: Un modello condizionato solo dalle caratteristiche $F_t$ (rimuovendo $X_t$), producendo operatori invarianti per riga.
  • Contatori Empirici: Stimatori classici (marginali, condizionati, con smoothing backoff) per dimostrare il fallimento del conteggio ad alta risoluzione.

2.3 Strumenti Diagnostici

Poiché l'output è una matrice di operatore esplicita, il framework abilita diagnostiche specifiche:

• Eterogeneità delle Righe: Misura la distanza della variazione totale tra le righe per quantificare la dipendenza dallo stato.
• Entropia delle Righe: Misura la dispersione/incertezza della distribuzione di transizione.
• Coerenza di Chapman–Kolmogorov (CK): Confronta l'operatore a $h$ passi stimato direttamente con la composizione di $h$ operatori a un passo. Ciò funge da diagnostica localizzata per identificare finestre temporali in cui l'assunzione di Markov del primo ordine si rompe.

3. Risultati Chiave

Gli esperimenti si concentrano su un'unica azione (JPM) con $n=55$ bin e vari orizzonti di previsione.

3.1 Fallimento del Conteggio Empirico

Alla risoluzione target ($n=55$), le matrici di transizione empiriche sono efficacemente vuote. Oltre il 57% delle celle è completamente non osservato e il 99,9% contiene meno di 5 osservazioni. Ciò conferma che la tabulazione non può supportare un'analisi a livello di operatore a questa granularità.

3.2 Validità Strutturale e Dipendenza dallo Stato

• Condizionamento dello Stato: Il modello condizionato allo stato produce operatori con una struttura non banale, raggiungendo un'eterogeneità media delle righe di $\bar{\rho} = 0.0073$. Al contrario, l'ablazione senza stato collassa esattamente a $\rho = 0.0000$ (righe identiche), confermando che lo stato discretizzato $X_t$ trasporta informazioni di transizione uniche.
• Volatilità e Omogeneizzazione: Una scoperta controintuitiva è che i regimi ad alta volatilità omogeneizzano le dinamiche di transizione invece di diversificarle.
  • L'entropia delle righe è fortemente e negativamente correlata alla varianza realizzata ($r = -0.62, p \approx 10^{-251}$).
  • Durante i periodi di stress (top 20% della varianza realizzata), le righe di transizione collassano verso una distribuzione simile e concentrata. Durante i periodi tranquilli, le righe sono più diversificate.

3.3 Diagnostiche Chapman–Kolmogorov

La diagnostica CK rivela che l'assunzione di Markov del primo ordine non è violata uniformemente, ma fallisce in finestre temporali specifiche.

• Il modello condizionato allo stato mostra una discrepanza CK più elevata (divergenza KL media 0,140 contro 0,022 per la baseline) perché apprende dinamiche genuine dipendenti dallo stato che un semplice prodotto di operatori a un passo non può ricostruire perfettamente.
• Le violazioni CK si concentrano in finestre specifiche (ad esempio, $t \in [2120, 2200]$), correlando con periodi di dinamiche concentrate a bassa entropia. Ciò permette al modello di individuare dove le assunzioni di "memoria" si rompono.

3.4 Prestazioni Predittive

Il documento riporta guadagni predittivi modesti, coerenti con l'efficienza di forma debole dei dati giornalieri su singoli asset e con i limiti delle caratteristiche a bassa frequenza.

• All'orizzonte $h=10$, il modello condizionato allo stato ottiene un $\Delta$NLL di $+0.025$ rispetto a una baseline marginale (IC 95%: $[-0.020, +0.028]$).
• Orizzonti più brevi mostrano prestazioni vicine o inferiori alla baseline marginale.
• La calibrazione è ragionevole, con il modello condizionato allo stato che raggiunge un Errore di Calibrazione Atteso (ECE) di 0,079 per i rendimenti negativi.

4. Significato e Affermazioni

Il documento afferma che il suo significato principale non risiede nel raggiungere una precisione predittiva all'avanguardia, ma nel ripristinare l'interpretabilità strutturale alla modellazione complessa delle serie temporali.

• Colmare il Divario: Dimostra che le reti neurali possono essere vincolate a produrre forme strutturali matematicamente coerenti (operatori stocastici espliciti), rendendo possibile un'analisi operatoriale classica rigorosa per dati non stazionari ad alta risoluzione.
• Capacità Diagnostica: Esponendo l'operatore di transizione, il framework abilita l'uso di strumenti classici (mappe di calore, metriche di eterogeneità, controlli CK) che sono impossibili con modelli sequenziali black-box.
• Intuizione sulle Dinamiche di Mercato: Il framework rivela comportamenti strutturali specifici, come l'omogeneizzazione delle dinamiche di transizione durante l'alta volatilità e il collasso localizzato delle assunzioni di Markov, fornendo un "microscopio trasparente e calibrato" per studiare i regimi di mercato.

Gli autori rimangono modesti riguardo all'utilità predittiva immediata, notando che l'impostazione attuale su singolo asset e granularità giornaliera limita il rapporto segnale-rumore. Suggeriscono che il passaggio a universi multi-asset ad alta frequenza sia il percorso necessario per realizzare miglioramenti predittivi sostanziali, mantenendo al contempo questi benefici di interpretabilità.