Sintesi Tecnica: Computazione di Stati Latenti Emergenti sotto Volatilità Stocastica

Definizione del Problema

La ricerca sull'interpretabilità meccanicistica si è concentrata prevalentemente su modelli linguistici e compiti sintetici deterministici dove le computazioni target sono pienamente osservabili. Esiste una lacuna significativa nella comprensione di come i modelli di sequenza neurali rappresentino internamente la dinamica latente stocastica in ambienti rumorosi e parzialmente osservabili.

Questo articolo affronta tale lacuna utilizzando i modelli di Volatilità Stocastica (SV) come benchmark controllato. Nei modelli SV, i rendimenti sono osservazioni rumorose di uno stato di log-volatilità latente non osservato ($h_t$). A differenza dei modelli ARCH/GARCH, dove la volatilità è una funzione deterministica dei rendimenti passati, i modelli SV richiedono che il modello esegua un filtraggio implicito per inferire gli stati nascosti dai dati rumorosi. La sfida consiste nel determinare se piccole reti neurali addestrate esclusivamente per prevedere i rendimenti al quadrato futuri ($r^2_{t+1}$) recuperino rappresentazioni interne del vero stato di volatilità latente ($h_{t+1}$) e come queste rappresentazioni emergano attraverso l'architettura della rete.

Metodologia

Configurazione Sperimentale

• Generazione dei Dati: Gli autori utilizzano un processo di Volatilità Stocastica Multivariata (MSV) controllato con $N=6$ asset. I rendimenti ($r_t$) sono generati come osservazioni rumorose di uno stato di log-volatilità latente ($h_t$) che segue un modello spazio-stato lineare con spillover tra gli asset.
• Task: I modelli sono addestrati per prevedere il rendimento al quadrato del passo successivo ($y = r^2_{T+1}$) dato un storico di $T=21$ rendimenti passati. Lo stato latente reale $h_{T+1}$ è noto al ricercatore ma nascosto al modello.
• Architetture:
  • Transformer: Un encoder compatto con un livello e una testa di attenzione. Gli asset sono trattati come token con serie storiche di rendimenti come feature. L'architettura include embedding lineare, normalizzazione $\ell_2$, embedding posizionali, self-attention e una rete feed-forward (FFN) con attivazione GELU.
  • Baseline MLP: Un MLP a tre strati che elabora la storia di ogni asset indipendentemente, isolando l'effetto delle interazioni cross-asset basate sull'attenzione.
• Obiettivi di Addestramento: Vengono confrontate due funzioni di perdita:
  1. MSE: Errore Quadratico Medio sui rendimenti al quadrato (un proxy rumoroso della varianza condizionale).
  2. NLL: Log-Verosimiglianza Negativa Gaussiana, che è teoricamente allineata con la stima della varianza condizionale.

Tecniche di Analisi

• Linear Probing: Vengono applicati probe di regressione Ridge alle rappresentazioni nascoste intermedie ($z_i$) per misurare la decodificabilità lineare dello stato latente $h_{i, T+1}$.
• Analisi per Stadi: Gli autori tracciano la decodificabilità ($R^2$) ad ogni stadio architettonico (embedding, normalizzazione, attenzione, FFN, output) per identificare dove emerge l'informazione latente.
• Interventi Causali:
  • Sostituzione della testa di output: Sostituire la testa di output appresa con un readout allineato al probe per testare se il degrado della previsione derivi da un fallimento della rappresentazione o da un disallineamento del readout.
  • Ablazione dell'Attivazione: Perturbare componenti specifiche (ad es. post-normalizzazione $\ell_2$) per misurare gli effetti a valle sulla decodificabilità e sull'errore di previsione.

Risultati Chiave

1. Decomposizione in Due Stadi Robusta

In entrambi i Transformer e gli MLP, e indipendentemente dalla funzione di perdita o dall'attivazione, i modelli mostrano una coerente computazione in due stadi:

1. Inferenza Latente: Le rappresentazioni nascoste codificano una quantità sostanziale di informazione sul successivo stato di volatilità latente ($h_{T+1}$). I probe lineari raggiungono un $R^2$ elevato (spesso >0.85) attraverso le architetture.
2. Mappatura della Previsione: La testa di output mappa questa rappresentazione sulle previsioni dei rendimenti al quadrato.

• Osservazione: Sotto l'addestramento MSE, la testa di output appresa mostra spesso un allineamento ($R^2$) significativamente inferiore rispetto al probe, anche quando lo stato nascosto è altamente decodificabile. Ciò suggerisce che gli errori di previsione sotto MSE derivano spesso da un disallineamento del readout piuttosto che da un fallimento nella codifica dello stato latente.

2. Emergenza per Stadi nei Transformer

Il punto in cui emerge la decodificabilità dello stato latente dipende criticamente dal periodo di volatilità ($\omega$):

• Regimi a Ciclo Lungo ($\omega \ge 365$): La decodificabilità emerge immediatamente dopo la normalizzazione $\ell_2$ dell'embedding lineare. La rappresentazione diventa ampiamente decodificabile prima dell'elaborazione tramite attenzione o FFN.
• Regimi Intermedi ($\omega \in \{30, 90\}$): La decodificabilità richiede un ulteriore raffinamento da parte del FFN dopo l'attenzione.
• Controllo a Ciclo Breve ($\omega = 21$): La decodificabilità è vicina allo zero finché non vengono aggiunti gli embedding posizionali, dopodiché balza a $\approx 1.0$. Ciò suggerisce che il modello si affida alla memorizzazione della periodicità piuttosto che al filtraggio dinamico in questo specifico regime.
• Confronto: L'MLP mostra un'emergenza della decodificabilità meno modulare e più diffusa attraverso i livelli, mancando delle transizioni nette per stadio osservate nei Transformer.

3. Filtri Latenti Espliciti nei Regimi a Ciclo Lungo

Nei regimi a ciclo lungo, la computazione del Transformer si semplifica in un filtro esplicito:
$$\hat{h}_{i, t+1} \approx \text{RidgeProbe}\left( \frac{x_i W_{in}^\top}{\|x_i W_{in}^\top\|_2} \right)$$
Ciò indica che la maggior parte dell'informazione latente viene estratta da una proiezione lineare appresa seguita da una normalizzazione $\ell_2$. L'ablazione causale conferma che la rappresentazione post-norma $\ell_2$ è lo stadio più precoce in cui il segnale latente diventa causalmente rilevante per la successiva previsione; perturbare questo stadio causa il maggior collasso nella decodificabilità.

Significato e Rivendicazioni

L'articolo sostiene che i modelli di volatilità stocastica forniscano un benchmark utile per l'interpretabilità meccanicistica sotto dinamiche latenti rumorose e osservabilità parziale.

• Colmare le Lacune: A differenza dei compiti giocattolo deterministici, i modelli SV richiedono l'inferenza di uno stato implicito, pur mantenendo la verità fondamentale disponibile per la valutazione. Ciò consente uno studio controllato di come i modelli rappresentino, trasformino e utilizzino la struttura stocastica latente.
• Insight Meccanicistico: Lo studio rivela che anche piccoli e compatti Transformer possono apprendere a eseguire un filtraggio implicito che rispecchia le pipeline econometriche classiche (inferenza seguita dalla previsione).
• Interpretabilità dei Modelli Finanziari: Le scoperte suggeriscono che i compiti di previsione delle serie temporali finanziarie possono servire da ponte tra l'interpretabilità meccanicistica, la modellazione delle serie temporali e l'inferenza dello spazio-stato, offrendo un contesto per studiare come le reti neurali gestiscano l'incertezza irreducibile.

Gli autori mantengono la modestia riguardo alle loro rivendicazioni, notando che i loro risultati si basano su dati sintetici con stati latenti noti e architetture piccole. Non pretendono che questi meccanismi scalino direttamente ai modelli finanziari reali su larga scala o che forniscano un account completo a livello di circuito di tutte le computazioni SV, ma identificano specifici, interpretabili meccanismi emergenti in contesti controllati.