Comparative e-backtests for general risk measures

Questo articolo propone un quadro non parametrico sequenziale basato su e-valori per condurre backtest comparativi di misure di rischio elicibili, offrendo inferenze valide in ogni momento e robuste rispetto alla dipendenza e alla specificazione errata del modello.

L'essenziale

Immagina di essere il capitano di una nave mercantile che attraversa l'oceano. Il tuo compito è prevedere le tempeste (i rischi finanziari) per proteggere il carico. Ogni giorno, il tuo equipaggio (la banca) ti dà una previsione: "Domani ci sarà un'onda alta di 3 metri".

Per anni, i regolatori (i controllori della nave) hanno solo chiesto: "La tua previsione era vicina alla realtà?" Se la risposta era sì, tutto bene. Se no, ti rimproveravano.

Ma c'è un problema: nessuno sa qual è la previsione perfetta. A volte il mare è imprevedibile. Quindi, la domanda reale non è "Sei perfetto?", ma "Sei migliore del nostro standard di riferimento?". È come dire: "La tua bussola è migliore di quella che usiamo noi come modello base?".

Questo è il cuore del nuovo metodo presentato in questo documento scientifico. Gli autori (Jiao, Wang e Zhao) hanno inventato un modo nuovo, intelligente e molto flessibile per fare questo confronto. Ecco come funziona, spiegato con parole semplici e metafore.

1. Il Vecchio Metodo vs. Il Nuovo Metodo (E-Value)

Il vecchio metodo (i test P-value):
Immagina di dover giudicare un giocatore di calcio. Il vecchio metodo ti dice: "Aspetta la fine della partita. Se il giocatore ha segnato meno di 3 gol, lo squalifichiamo". È rigido. Se la partita dura 90 minuti e il giocatore sbaglia all'89°, il test non può fermarsi prima. Inoltre, se il meteo cambia improvvisamente (i dati non seguono le regole), il vecchio metodo si confonde e sbaglia.

Il nuovo metodo (E-Value ed E-Process):
Gli autori usano una moneta magica chiamata E-Value.
Immagina di scommettere sulla qualità della previsione della tua banca contro quella di un modello "standard" (il benchmark).

• Ogni giorno, guardi le previsioni e i risultati reali.
• Se la previsione della banca è migliore, la tua "moneta" cresce di valore.
• Se è peggiore, la moneta si sgonfia.

La cosa magica è che questa moneta funziona in tempo reale. Non devi aspettare la fine della partita. Puoi guardare la moneta ogni giorno. Se il valore sale troppo in fretta, sai subito che la banca sta battendo il modello standard. Se scende, sai che sta perdendo.

2. La "Moneta" è Robusta (Resistente agli errori)

Nel mondo finanziario, le cose vanno a scoppio (crisi, pandemie) e i dati non sono mai perfetti.
Il vecchio metodo è come un vetro: se cade, si rompe.
Il nuovo metodo è come un pallone da beach volley: puoi colpirlo, può deformarsi, ma non si rompe. Anche se i dati sono "sporchi" o seguono schemi strani (dipendenze temporali), la moneta E-Value continua a funzionare correttamente. Non serve sapere esattamente come funziona il meteo per sapere chi sta vincendo la scommessa.

3. La "Zona Gialla" e la Nuova Regola (Dominanza Debole)

Fino a poco tempo fa, il confronto era bianco o nero: o passi o non passi.
Gli autori introducono una terza zona, la "Zona Gialla".

Immagina una gara di corsa tra due atleti (la banca e il modello standard).

• Zona Verde: La banca vince chiaramente.
• Zona Rossa: La banca perde chiaramente.
• Zona Gialla: È un pareggio tecnico! Entrambi hanno fatto errori, o la gara è stata molto combattuta.

In passato, la zona gialla era un vicolo cieco: "Non sappiamo chi ha vinto, fermiamo tutto".
Con il nuovo metodo, anche nella zona gialla possiamo guardare la velocità e la forza della moneta.

• Chi ha fatto crescere la moneta più velocemente?
• Chi ha raggiunto il picco più alto?

Questa è la "Dominanza Debole". Anche se nessuno vince in modo netto, possiamo dire: "La banca ha vinto per un soffio perché la sua moneta è cresciuta più in fretta durante la crisi". Questo dà informazioni molto più ricche ai regolatori.

4. Il "Reset" durante le Tempeste

Le navi a volte incontrano uragani improvvisi (come la crisi del 2008 o il COVID-19). In questi momenti, le regole del gioco cambiano.
Il nuovo metodo permette di fare un "Reset".
Immagina di lanciare la moneta a terra e riprenderla da capo quando inizia una nuova tempesta. Questo permette di dire: "Prima della crisi, la banca era migliore. Durante la crisi, il modello standard era migliore. Dopo la crisi, la banca è tornata a vincere".
È come guardare un film e fare pausa per analizzare scene specifiche, invece di guardare solo il finale.

In Sintesi: Perché è importante?

Questo articolo non è solo matematica complessa; è un nuovo strumento di navigazione.

1. È in tempo reale: Non devi aspettare la fine dell'anno per sapere se un modello è buono.
2. È onesto: Se entrambi i modelli falliscono (zona gialla), il metodo ti dice comunque chi ha sofferto meno o chi ha reagito meglio.
3. È resistente: Funziona anche quando i mercati sono caotici e imprevedibili.

In pratica, gli autori hanno creato un "termometro intelligente" che non si rompe se fa troppo caldo o troppo freddo, e che ti dice esattamente quale medico (modello di rischio) sta curando meglio il paziente (la banca) in ogni singolo momento della malattia (la crisi finanziaria).

Sommario tecnico

Ecco una sintesi tecnica dettagliata del documento "Comparative e-backtests for general risk measures" di Jiao, Wang e Zhao, redatta in italiano.

Titolo: Backtest Comparativi e-Valori per Misure di Rischio Generali

1. Il Problema

La validazione dei modelli di rischio finanziario (come Value-at-Risk - VaR e Expected Shortfall - ES) è un compito centrale nella regolamentazione finanziaria. Tradizionalmente, i "backtest standard" valutano se un modello di previsione sia statisticamente coerente con le perdite osservate. Tuttavia, nella pratica regolamentare, è spesso necessario valutare le prestazioni di un modello interno rispetto a un modello di riferimento (benchmark) prescritto dal regolatore, piuttosto che valutarlo in isolamento.

I metodi esistenti presentano diverse limitazioni:

• Dipendenza e Misspecificazione: Molti test tradizionali (basati su p-value) assumono indipendenza dei dati o distribuzioni specifiche, rendendoli fragili di fronte a dipendenze temporali forti o misspecificazione del modello.
• Natura Sequenziale: I dati finanziari arrivano in sequenza; i test devono essere validi in qualsiasi momento ("anytime-valid") man mano che nuovi dati diventano disponibili, senza richiedere ipotesi asintotiche.
• Confronto Asimmetrico: A differenza della selezione di modelli statistici (che cerca il "migliore" tra molti), il backtest comparativo regolamentare è asimmetrico: l'obiettivo è determinare se il modello interno è abbastanza buono rispetto al benchmark, non necessariamente il migliore in assoluto.
• Limiti dell'Elitabilità: Misure come l'Expected Shortfall (ES) non sono elicitarie da sole, rendendo difficile la costruzione di funzioni di punteggio coerenti per i test tradizionali.

2. Metodologia Proposta

Gli autori sviluppano un framework non parametrico e sequenziale basato sui concetti di e-valori (e-values) e e-processi (e-processes). Questo approccio permette di condurre inferenze valide in qualsiasi momento, indipendentemente dalla distribuzione sottostante dei dati.

Componenti Chiave:

• E-Valori ed E-Processi: Un e-valore è una variabile casuale non negativa il cui valore atteso è $\le 1$ sotto l'ipotesi nulla. Un e-processo è una successione di tali variabili che forma una super-martingala. Se l'e-processo supera una soglia $1/\alpha$, l'ipotesi nulla viene rifiutata con un controllo rigoroso dell'errore di Tipo I.
• Elicitabilità e Identificabilità: Il metodo si basa su funzioni di punteggio (scoring functions) coerenti per misure di rischio elicitarie (come media, varianza, VaR, ES, expectiles) e funzioni di identificazione per misure identificabili.
• Test di Dominanza Condizionale:
  • $H^-_0$: Il modello interno domina condizionalmente il modello standard (è migliore o uguale).
  • $H^+_0$: Il modello standard domina condizionalmente il modello interno.
  • Vengono costruiti due e-processi distinti ($M^-_t$ e $M^+_t$) per testare queste ipotesi simultaneamente.
• Approccio a Tre Zone Modificato:
  Invece di un semplice rifiuto/non rifiuto, gli autori introducono un approccio a tre zone (Rosso, Verde, Giallo) basato sui risultati dei due test:
  1. Rosso: $H^-$ rifiutata, $H^+$ non rifiutata $\rightarrow$ Il modello interno fallisce.
  2. Verde: $H^+$ rifiutata, $H^-$ non rifiutata $\rightarrow$ Il modello interno supera il benchmark.
  3. Giallo: Entrambi rifiutati o nessuno rifiutato. In questo caso ambiguo, viene introdotta la nozione di dominanza debole (weak dominance):
     • Dominanza in Magnitudine: Confronto dei valori finali degli e-processi (chi accumula più evidenza contro l'ipotesi nulla).
     • Dominanza in Velocità: Confronto dei tempi di arresto (chi supera la soglia prima).
       Questo permette di trarre conclusioni informative anche quando entrambi i test standard falliscono.

3. Contributi Principali

1. Framework Sequenziale Model-Free: Sviluppo di un metodo di backtest comparativo valido per misure di rischio elicitarie generali, robusto alla dipendenza temporale e alla misspecificazione del modello.
2. Costruzione di E-Processi per Test Standard e Comparativi: Caratterizzazione teorica degli e-valori per misure identificabili (Teorema 1) e costruzione degli e-processi per backtest standard (Teorema 2) e comparativi (Teorema 3).
3. Nuova Nozione di Dominanza Debole: Proposta di un metodo per risolvere i casi ambigui (zona gialla) confrontando magnitudine e velocità degli e-processi, fornendo conclusioni più informative rispetto ai metodi basati su p-value.
4. Controllo degli Errori e Consistenza: Dimostrazione del controllo dell'errore di Tipo I (disuguaglianza di Ville) e della consistenza asintotica del test (Teorema 6) sotto ipotesi di indipendenza e distribuzione identica (i.i.d.), con strategie di scommessa (betting processes) ottimali basate sul metodo GREL (Growth-rate for Empirical Losses).
5. Applicabilità Pratica: Il metodo è applicabile a una vasta gamma di misure di rischio, inclusi media, varianza, VaR, ES e expectiles.

4. Risultati

Gli autori hanno validato il metodo attraverso studi di simulazione e analisi su dati reali:

• Simulazioni i.i.d. e Serie Temporali:

  • I test mostrano un controllo rigoroso dell'errore di Tipo I, spesso inferiore al livello teorico garantito.
  • In scenari di serie temporali (AR(1)-GARCH con innovazioni skew-t), il metodo riesce a distinguere chiaramente tra modelli parametrici, semi-parametrici (EVT) e non parametrici (FHS). Ad esempio, i modelli parametrici basati su distribuzione normale falliscono quando i dati reali sono skew-t, mentre i modelli adattivi (FHS/EVT) vengono correttamente identificati come superiori.
  • Il metodo dimostra una maggiore capacità discriminatoria rispetto ai test p-value tradizionali, specialmente a livelli di confidenza elevati (es. 99%), fornendo conclusioni conclusive anche in zone ambigue grazie alla dominanza debole.

• Cambiamenti Strutturali:

  • Il framework permette di "riavviare" l'e-processo in punti di cambiamento strutturale (es. crisi finanziarie). Le simulazioni mostrano che il metodo si adatta dinamicamente, identificando quale modello performa meglio prima e dopo un cambiamento di regime (es. aumento della volatilità o cambiamento nella skewness).

• Analisi su Dati Reali (NASDAQ):

  • Applicando il metodo agli indici NASDAQ (2003-2025), gli autori osservano che le prestazioni relative dei modelli cambiano drasticamente durante eventi di stress (Crisi 2008, Pandemia COVID-19).
  • Il metodo fornisce indicazioni in tempo reale: ad esempio, un modello parametrico potrebbe dominare in periodi stabili, mentre un modello non parametrico diventa superiore durante le crisi.
  • Anche quando entrambi i modelli vengono "rifiutati" rispetto al benchmark, l'analisi della magnitudine e della velocità degli e-processi rivela quale dei due è meno peggio o più adatto al contesto attuale.

5. Significato e Implicazioni

Questo lavoro rappresenta un avanzamento significativo nella regolamentazione finanziaria e nella gestione del rischio:

• Validità "Anytime": Permette ai regolatori e alle banche di monitorare i modelli in tempo reale senza dover fissare una dimensione del campione a priori, riducendo il rischio di falsi positivi dovuti a multiple testing.
• Robustezza: Elimina la necessità di assumere distribuzioni specifiche per i dati di perdita, rendendo il test applicabile in scenari di mercato reali complessi e dipendenti.
• Decisioni Informate: L'approccio a tre zone con dominanza debole trasforma i risultati ambigui (spesso scartati nei test tradizionali) in informazioni utili per la decisione regolamentare.
• Flessibilità Operativa: La capacità di riavviare i test in caso di cambiamenti strutturali offre uno strumento dinamico per la validazione dei modelli interni in un ambiente economico in continua evoluzione.

In sintesi, gli autori propongono un metodo superiore ai test basati su p-value per la validazione comparativa dei modelli di rischio, offrendo maggiore potenza statistica, robustezza e adattabilità alle condizioni di mercato reali.