🤖 machine learning

Latent-Regime Bias Auditing for Volatility Forecasting

Questo articolo introduce un framework di audit model-agnostic che valuta le previsioni di volatilità attraverso regimi di mercato latenti per rivelare che i modelli con una accuratezza aggregata competitiva possono comunque soffrire di significativi bias condizionali e sottostime delle code, raccomandando così valutazioni della affidabilità specifiche per regime rispetto alle metriche di errore medie.

Autori originali: Arthur Chagas, Pedro Bento, Yan Aquino, Arthur Buzelin, Wagner Meira Jr., Cristiano Arbex Valle

Pubblicato 2026-08-04

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Arthur Chagas, Pedro Bento, Yan Aquino, Arthur Buzelin, Wagner Meira Jr., Cristiano Arbex Valle

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un meteorologo. Per anni, sei stato giudicato su un semplice numero: la tua accuratezza media. Se indovini la temperatura il 90% delle volte durante tutto l'anno, sei un eroe. Ma ecco il trucco: cosa succede se il tuo 10% di errori avviene sempre quando sta per arrivare un uragano? Potresti essere "accurato in media", ma sei inutile proprio quando le persone hanno più bisogno di te. Questo è il problema centrale in un campo chiamato previsione della volatilità. In finanza, "volatilità" è solo un termine elegante per indicare quanto i prezzi oscillano. Quando i mercati sono calmi, i prezzi si muovono appena; quando sono sotto stress, oscillano selvaggiamente. Gli investitori e i gestori del rischio devono prevedere queste oscillazioni per proteggere i loro soldi. Tradizionalmente, si sono limitati a guardare l'"errore medio" dei loro modelli di previsione. Ma proprio come il meteorologo, un modello può sembrare ottimo sulla carta pur fallendo clamorosamente durante i momenti più pericolosi.

Questo articolo, intitolato "Latent-Regime Bias Auditing for Volatility Forecasting", agisce come un detective per questi modelli di previsione finanziaria. Gli autori, un team della Federazione dell'Università di Minas Gerais in Brasile, sostengono che dobbiamo smettere di controllare solo il voto finale e iniziare a guardare quando e perché un modello sbaglia. Hanno costruito un nuovo sistema di "audit" per vedere se un modello rimane affidabile quando il mercato è calmo rispetto a quando è in preda al panico.

Il kit degli attrezzi del detective: Trovare regimi nascosti

Per capire come funziona, immagina di dover smistare una massa enorme di foto di persone diverse. Se le lanci tutte in un unico grande secchio e cerchi di trovare dei pattern, potresti confonderti perché alcuni sono alti, altri bassi, o alcuni indossano cappelli. In finanza, diversi asset (come il Bitcoin, l'oro o i fondi azionari) hanno le proprie "personalità" uniche. Il Bitcoin potrebbe oscillare selvaggiamente mentre l'oro rimane relativamente stabile. Se li mescoli tutti insieme, la tua analisi diventa disordinata.

Il primo trucco degli autori è stato insegnare a un computer a ignorare chi è l'asset e concentrarsi solo su come si sta comportando. Hanno usato una tecnica ingegnosa chiamata "apprendimento avversario" (adversarial learning). Immagina questo come un gioco di nascondino tra due programmi informatici. Un programma cerca di indovinare quale asset è nella foto (il "cercatore"), mentre l'altro cerca di sfuocare la foto in modo che il cercatore non possa distinguerlo (l' "evasore"). Addestrando l'evasore a vincere, il computer impara a spogliare l'asset della sua identità specifica per conservarne solo il puro "umore" del mercato.

Una volta rimosse le identità, hanno raggruppato i giorni di mercato in tre "regimi" o umori: Calma, Intermedio e Stress. Queste non sono regole universali per tutto il mondo; sono relative a ogni singolo asset. Per il Bitcoin, un giorno di "Stress" potrebbe essere un calo del 10%, mentre per un fondo d'oro stabile, un giorno di "Stress" potrebbe essere un calo dell'1%. La chiave è che il computer ha imparato a riconoscere questi umori basandosi su come il mercato si sentiva in quel momento, non solo guardando un calendario.

L'Audit: Chi fallisce quando?

Con questi gruppi di umore definiti, gli autori hanno messo alla prova decine di diversi modelli di previsione. Hanno esaminato di tutto, dalle semplici formule matematiche (come i modelli "HAR" usati dagli economisti per decenni) a sistemi di IA complessi e sofisticati come i Transformer e le Reti Neurali.

Ecco la grande rivelazione: i modelli che sembravano migliori in media erano spesso i peggiori nel gestire lo stress.

L'articolo ha scoperto che molti modelli, inclusi alcuni dei più popolari e complessi modelli di IA, presentavano un difetto nascosto. Erano bravissimi a prevedere i giorni normali, ma sistematicamente sottostimavano (indovinavano troppo in basso) la volatilità durante i regimi di "Stress". È come un'app meteo che dice "soleggiato" ogni giorno, ma quando arriva una tempesta, continua a dire "soleggiato" perché sta cercando di avere ragione in media.

Gli autori hanno introdotto un nuovo modo per misurare questo fenomeno chiamato $RBA_{stable}^{m}$ . Pensa a questo come a un "punteggio di affidabilità". Un punteggio alto significa che il modello sta nascondendo un grande bias. Hanno scoperto che i modelli con ottimi punteggi medi (basso RMSE) avevano spesso punteggi di affidabilità terribili. Ad esempio, un modello potrebbe avere un errore medio di 0,026, il che sembra ottimo, ma quando il mercato è in preda al panico, potrebbe essere fuori bersaglio di un margine enorme, lasciando gli investitori esposti a perdite massicce.

Il Verdetto: La complessità non è una cura universale

Uno dei risultati più interessanti è che rendere i modelli più complessi non ha risolto il problema. Gli autori hanno testato modelli "Transformer" avanzati (lo stesso tipo di IA dietro molti chatbot moderni) e hanno scoperto che non performavano meglio dei modelli più semplici e datati quando si trattava di prevedere le oscillazioni estreme del mercato. In realtà, alcuni dei sofisticati modelli di IA erano persino peggiori dei modelli classici nel gestire i rischi di coda (gli eventi rari ed estremi).

L'articolo suggerisce che il mondo finanziario si è concentrato troppo sulla "accuratezza media". Se sei un gestore del rischio, non ti interessa la media; ti interessa lo scenario peggiore. Gli autori dimostrano che, utilizzando il loro nuovo framework di audit, possiamo vedere che un modello può essere "accurato" complessivamente ma "inaffidabile" esattamente quando ne abbiamo più bisogno.

Perché questo è importante

Non si tratta solo di matematica; si tratta di sicurezza. Se una banca usa un modello per decidere quanto denaro tenere in riserva, e quel modello sottostima il rischio durante un crollo del mercato, la banca potrebbe rimanere senza soldi. Gli autori non stanno dicendo che i loro nuovi modelli sono perfetti o che hanno risolto il problema della previsione del futuro. Stanno invece offrendo un nuovo strumento per auditare gli strumenti che già possediamo.

Concludono che dobbiamo smettere di chiederci: "Quale modello è il più intelligente in media?" e iniziare a chiederci: "Quale modello rimane affidabile quando il mercato è spaventato?". La loro ricerca suggerisce che la risposta potrebbe non essere l'IA più complessa, ma piuttosto un modello che comprendiamo abbastanza bene da sapere esattamente dove sono i suoi punti ciechi. Spostando il focus dall' "errore medio" alla "affidabilità condizionale", possiamo costruire un sistema finanziario più sicuro, non solo più intelligente.

Riepilogo Tecnico: Audit del Bias nei Regimi Latenti per la Previsione della Volatilità

1. Definizione del Problema

Le previsioni della volatilità sono critiche per la gestione del rischio, la copertura (hedging) e l'allocazione del portafoglio, particolarmente durante i periodi di instabilità del mercato. Tuttavia, le pratiche di valutazione standard si affidano pesantemente a metriche di accuratezza aggregate come l'Errore Quadratico Medio (RMSE) e l'Errore Assoluto Medio (MAE). Gli autori sostengono che queste metriche comprimano la distribuzione temporale e condizionale degli errori, rischiando di mascherare fallimenti sistematici che si verificano in specifici stati di mercato economicamente significativi. Un modello può esibire un errore medio basso pur essendo condizionatamente inaffidabile — nello specifico, sottostimando sistematicamente la volatilità durante i regimi di stress, che è l'errore più costoso per la gestione del rischio. Il documento pone la questione della previsione della volatilità come un problema di affidabilità condizionale, chiedendosi non solo se un modello sia accurato in media, ma dove e quando i suoi errori diventino distorti o instabili.

2. Metodologia

Il documento propone un framework di audit model-agnostic progettato per rilevare bias nascosti specifici per regime senza alterare i modelli di previsione stessi. La metodologia procede attraverso le seguenti fasi:

A. Apprendimento di Rappresentazioni Relative all'Asset

Per valutare le previsioni su diversi asset (criptovalute ed ETF) senza che i risultati siano dominati da persistenti scale specifiche dell'asset, il framework apprende rappresentazioni di serie temporali di finestre di stato del mercato:

Normalizzazione: Le caratteristiche (rendimenti, volatilità basata sul range, volatilità implicita, volume, drawdown, ecc.) sono normalizzate all'interno di ogni asset utilizzando statistiche robuste (mediana e IQR) derivate dal periodo di addestramento.
Embedding: Un encoder contrastivo (stile TS2Vec) apprende embedding di finestra ( $z_{i,t}$ ) per allineare viste temporalmente sovrapposte.
Invarianza Avversaria: Per evitare che gli embedding codifichino l'identità statica dell'asset (il che confonderebbe il rilevamento del regime), viene impiegato un classificatore di asset avversario con inversione del gradiente. L'encoder è addestrato per rendere difficile la predizione dell'asset, preservando così l'informazione dinamica dello stato del mercato e sopprimendo la struttura identificativa dell'asset.

B. Costruzione di Regimi Allineati

Invece di trattare i regimi come stati di mercato universali, il framework costruisce partizioni di audit relative all'asset:

Clustering: Il clustering K-means viene applicato agli embedding di addestramento per ogni asset individualmente per identificare $K$ stati latenti.
Allineamento: Poiché le etichette dei cluster sono arbitrarie tra gli asset, esse vengono allineate tramite uno score di stress del periodo di addestramento. Questo score combina volatilità realizzata, drawdown, rendimenti assoluti e variabili proxy di stress.
Etichettatura: I cluster sono ordinati per il loro score di stress medio e etichettati come Calmo (Calm), Intermedio (Intermediate) e Stress. Ciò garantisce che lo "Stress" in un asset corrisponda a un livello di stress comparabile in un altro, creando uno spazio di audit unificato.

C. Metriche di Audit

Il framework valuta i previsori ( $M$ ) utilizzando diverse metriche oltre il classico RMSE/MAE:

Bias Condizionale al Regime: La media dell'errore con segno all'interno di ciascun regime allineato.
Statistiche del Bias Nascosto:
- $RBA^{stable}_m$ : Quantifica quanto il bias aggregato sottostimi il più grande bias di regime relativo all'asset.
- $RCRG^{norm}_m$ : Normalizza il divario tra il bias aggregato e quello del caso peggiore rispetto all'RMSE.
Coda e Perdita Economica:
- Sottostima della Coda (Tail Underprediction): Il tasso di sottostima nel decile superiore dei risultati di volatilità realizzata.
- Perdita Asimmetrica: Una funzione di perdita quadratica asimmetrica ( $\ell_\lambda$ ) che penalizza la sottostima ( $e < 0$ ) più pesantemente della sovrastima, riflettendo il costo economico della sottostima del rischio.
Inferenza Statistica: Vengono utilizzati intervalli di confidenza block-bootstrap per determinare se i bias specifici del regime siano statisticamente significativi.

3. Contributi Principali

Il documento delinea cinque contributi primari:

Inquadramento del Problema: Riformulare la previsione della volatilità come un problema di audit dell'affidabilità condizionale e relativa all'asset, piuttosto che come un puro compito di ottimizzazione dell'accuratezza.
Strumenti Diagnostici: Introdurre diagnostiche model-agnostic per il bias di regime nascosto, la sottostima della coda e la perdita economica sensibile alla sottostima.
Costruzione del Regime: Sviluppare un metodo per costruire regimi relativi all'asset utilizzando embedding di serie temporali normalizzati, invarianza dell'asset avversaria e allineamento tramite score di stress economico.
Audit Completo: Applicare il framework a un ampio set di modelli, inclusi baselines storici, specifiche HAR/IV, modelli lineari, modelli basati su alberi, reti ricorrenti (LSTM/GRU) e architetture stile Transformer (iTransformer, PatchTST).
Evidenza Empirica: Dimostrare che le classifiche basate sull'accuratezza aggregata (RMSE) spesso divergono dalle classifiche basate sulla affidabilità condizionale e sulla perdita economica, indicando che i modelli "accurati" possono comunque essere condizionatamente inaffidabili.

4. Risultati Sperimentali

Il framework è stato applicato alle previsioni della volatilità realizzata giornaliera per BTC, ETH, SPY, QQQ, IWM, GLD e USO nel periodo 2021–2026.

Validità del Regime (RQ1): I regimi allineati (Calmo, Intermedio, Stress) sono stati dimostrati essere economicamente significativi. I regimi di stress hanno esibito volatilità realizzata/implicita più elevata, drawdown maggiori e una maggiore concentrazione di eventi di coda rispetto ai periodi calmi.
Bias Nascosto (RQ2): È stato riscontrato che le metriche aggregate mascherano significativi bias specifici per regime. Ad esempio, diversi modelli con RMSE aggregato competitivo hanno mostrato sottostime o sovrastime statisticamente significative in specifici regimi (ad esempio, i modelli LSTM e GRU hanno mostrato una sottostima significativa nei regimi di stress intermedio).
Classifiche Divergenti (RQ3 & RQ4):
- Affidabilità vs. Accuratezza: Modelli che classificano alti per RMSE (ad esempio, i modelli ricorrenti) hanno spesso subito un calo nel ranking quando valutati da metriche di affidabilità condizionale ( $RBA^{stable}$ ). Al contrario, alcuni modelli lineari e nativi della finanza (ad esempio, HAR-RV) hanno migliorato le loro classifiche di affidabilità.
- Perdita Economica: Le classifiche si sono spostate ulteriormente utilizzando una perdita asimmetrica pesata sulla coda. I modelli stile Transformer (PatchTST, iTransformer), pur essendo competitivi in alcune metriche aggregate, hanno performato scarsamente sotto i criteri di perdita economica, mostrando una minore reattività agli estremi di volatilità e una maggiore sottostima della coda.
Robustezza (RQ5): I risultati sono rimasti validi attraverso diversi orizzonti di previsione e varianti di costruzione del regime (embedding semplici vs. avversari), confermando che i gap di affidabilità condizionale osservati non sono artefatti di una singola scelta di clustering.

5. Significato e Rivendicazioni

Il documento sostiene che il suo framework sposta il paradigma di valutazione dal chiedere "quale modello è più accurato in media?" al "identificare i regimi di mercato in cui le previsioni apparentemente accurate falliscono condizionalmente".

Limitazioni: Gli autori sono modesti riguardo all'ambito, notando che i regimi sono partizioni di audit dipendenti dal campione piuttosto che stati di mercato universali. L'analisi è limitata a target di volatilità realizzata giornaliera e a un particolare panel cross-asset.
Insight Centrale: Il significato primario è la dimostrazione che la complessità architettonica non garantisce l'affidabilità condizionale. Un modello può essere altamente accurato in media pur essendo pericolosamente inaffidabile negli specifici stati di stress dove la gestione del rischio è più critica.
Implicazione: Il documento suggerisce che la valutazione della previsione della volatilità debba andare oltre le metriche di errore aggregate per includere diagnostiche condizionali al regime, al fine di garantire che le previsioni siano affidabili dove contano di più. Non propone un nuovo modello di previsione, ma fornisce uno strumento diagnostico per sottoporre ad audit i modelli esistenti.