📊 statistics

Bayesian Modelling of Nonstationary Extreme Values Using a Nonparametric Hawkes Process

Questo articolo propone un modello di processo di Hawkes non parametrico bayesiano accoppiato a una Distribuzione Generalizzata di Pareto gerarchica per prevedere efficacemente eventi estremi non stazionari catturando modelli di raggruppamento auto-eccitanti e magnitudini variabili tra i cluster, dimostrando prestazioni predittive superiori sia su dati simulati che su dati reali.

Autori originali: Gordon J. Ross, Dean Markwick

Pubblicato 2026-05-06

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Gordon J. Ross, Dean Markwick

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di prevedere quando arriverà la prossima "grande tempesta". Nel mondo dei dati, queste tempeste sono eventi estremi: un crollo improvviso del mercato azionario, un terremoto massiccio o un picco nelle vittime del terrorismo.

Per lungo tempo, gli statistici hanno cercato di prevedere queste tempeste utilizzando un regolamento molto rigido. Assumevano che le tempeste si verificassero a un ritmo costante e prevedibile (come la pioggia in un acquazzone regolare) e che ogni tempesta avesse più o meno la stessa grandezza. Ma, come sottolineano gli autori di questo articolo, la vita reale non funziona così. Le tempeste spesso arrivano in gruppi (un'improvvisa raffica di pioggia intensa seguita da una siccità) e la grandezza delle tempeste può cambiare a seconda della stagione o della situazione attuale.

Questo articolo introduce un nuovo, più intelligente modo per modellare questi eventi caotici. Pensalo come un aggiornamento da una semplice banderuola a un sofisticato radar meteorologico in grado di auto-apprendere.

Ecco come funziona il loro nuovo sistema, scomposto in concetti semplici:

1. La sveglia "auto-eccitante" (Il Processo di Hawkes)

I modelli tradizionali trattano gli eventi come indipendenti. Se il mercato azionario scende oggi, un modello tradizionale potrebbe pensare: "Ok, è finita. La probabilità di un calo domani è semplicemente la probabilità media".

Gli autori utilizzano qualcosa chiamato Processo di Hawkes. Immagina una stanza piena di persone. Se una persona starnutisce, potrebbe far starnutire anche gli altri. Se una seconda persona starnutisce, potrebbe innescare un'intera reazione a catena.

La metafora: Pensa a un terremoto. Quando il terreno trema (un evento), rende il terreno instabile, aumentando la probabilità che una scossa di assestamento (un altro evento) si verifichi poco dopo.
L'innovazione: Gli autori hanno realizzato che gli eventi estremi spesso si comportano come questa reazione a catena degli starnuti. Hanno costruito un modello in cui un evento estremo "eccita" il sistema, rendendo più probabile che un altro evento estremo si verifichi immediatamente dopo. Questo spiega perché i giorni negativi in borsa spesso arrivano in gruppi.

2. Il grilletto che cambia forma (Il Kernel Non Parametrico)

Nel vecchio modello dello "starnuto", dovevi indovinare come lo starnuto si diffonde. Dura 5 minuti? 1 ora? Dovevi scegliere una forma fissa (come una curva a campana) e sperare che fosse corretta. Se sceglievi la forma sbagliata, le tue previsioni sarebbero state errate.

Gli autori dicono: "Perché indovinare? Lasciamo che siano i dati a dirci la forma".

La metafora: Invece di forzare lo starnuto a adattarsi a uno stampino preconfezionato, utilizzano un approccio di argilla modellabile (chiamato Processo di Dirichlet). Lasciano che siano i dati a scolpire la forma della "eccitazione" stessa.
Il risultato: Se i dati mostrano che gli eventi si raggruppano strettamente per poche ore e poi svaniscono, il modello impara quella forma. Se si raggruppano per giorni, il modello impara anche quello. È abbastanza flessibile da gestire pattern strani e imprevedibili senza che l'utente debba indovinare le regole in anticipo.

3. Le dimensioni delle tempeste "basate sulla squadra" (Marche GPD Gerarchiche)

Una volta che il modello sa quando è probabile che arrivi una tempesta, deve indovinare quanto grande sarà.

Il problema: In passato, gli statistici assumevano che ogni tempesta, sia che si verificasse in un anno calmo o in un anno caotico, fosse estratta dallo stesso "sacco di dimensioni".
L'innovazione: Gli autori hanno realizzato che le tempeste in un "gruppo" (una settimana caotica) potrebbero essere più grandi delle tempeste in una settimana "calma". Tuttavia, alcuni gruppi sono così piccoli da non avere abbastanza dati per indovinare la dimensione con precisione da soli.
La metafora: Immagina una lega sportiva. Se hai una squadra con soli 3 giocatori, non puoi davvero dire quanto siano bravi. Ma se guardi tutte le squadre della lega, puoi ottenere un'idea generale del livello di abilità.
- Gli autori utilizzano un modello gerarchico. Lasciano che ogni "gruppo" di eventi abbia la propria dimensione media (scala), ma costringono tutti questi gruppi a condividere una comune "forma della coda" (quanto estreme possono diventare le scenari peggiori).
- Questo permette al modello di dire: "Questo specifico gruppo di eventi è solitamente più grande della media", pur attingendo forza dall'intero set di dati per assicurarsi che la previsione per l'evento peggioro possibile sia accurata.

4. Mettere tutto insieme: La macchina di previsione

Gli autori hanno combinato queste tre idee in un unico modello "Bayesiano". Lo hanno testato su quattro set di dati reali molto diversi:

Mercato azionario (S&P 500): Alla ricerca di crolli massicci di valore.
Volatilità di mercato (VIX): Alla ricerca di picchi di paura.
Velocità del vento: Alla ricerca di raffiche di forza uragano.
Terrorismo: Alla ricerca di giorni con alti numeri di vittime.

I risultati:
Quando hanno testato il loro nuovo modello di "argilla flessibile" contro i vecchi modelli di "stampino rigido", il nuovo modello ha vinto ogni volta.

Era migliore nel prevedere quando sarebbe arrivato il prossimo evento estremo perché capiva che gli eventi arrivano in gruppi.
Era migliore nel prevedere quanto grandi sarebbero stati quegli eventi perché capiva che la dimensione dell'evento dipende dal "gruppo" o dal periodo temporale a cui appartiene.

Riassunto

L'articolo sostiene che per prevedere eventi rari e pericolosi, dobbiamo smettere di fingere che il mondo sia calmo e prevedibile. Invece, abbiamo bisogno di un modello che capisca:

Gli eventi innescano altri eventi (raggruppamento).
Le regole di innesco cambiano (forme flessibili).
La dimensione dell'evento dipende dal caos attuale (dimensioni gerarchiche).

Utilizzando questo approccio, gli autori hanno creato uno strumento significativamente migliore nel prevedere la prossima "grande tempesta" in finanza, natura e sicurezza, senza dover fare assunzioni rigide e spesso errate su come funziona il mondo.

Riepilogo Tecnico: Modellazione Bayesiana di Valori Estremi Non Stazionari Utilizzando un Processo di Hawkes Non Parametrico

Enunciato del Problema
Una gestione efficace del rischio richiede la stima della probabilità che si verifichino eventi di grandi dimensioni entro un arco temporale specifico. Gli approcci tradizionali si basano spesso sulla Teoria dei Valori Estremi (EVT), in particolare sul metodo dei Picchi-Sopra-Soglia (POT), che modella le eccedenze oltre una soglia $u$ utilizzando una Distribuzione Pareto Generalizzata (GPD). Tuttavia, i metodi POT standard assumono la stazionarietà: ovvero che i tempi di eccedenza seguano un processo di Poisson omogeneo e che le grandezze delle eccedenze siano estrazioni indipendenti e identicamente distribuite (i.i.d.) da una singola GPD.

I dati del mondo reale, come gli indici dei mercati finanziari (ad esempio S&P 500, VIX), violano spesso queste ipotesi. Gli eventi estremi mostrano frequentemente aggregazione (non stazionarietà temporale) e cambiamenti strutturali nella grandezza (non stazionarietà del marchio). Ad esempio, periodi di alta volatilità possono registrare sia una frequenza maggiore di crolli estremi sia grandezze maggiori di tali crolli. I modelli bayesiani non parametrici esistenti si concentrano spesso sullo smoothing retrospettivo dei dati storici piuttosto che sulla modellazione esplicita dell'intensità condizionata necessaria per la previsione futura. Inoltre, le estensioni parametriche per la non stazionarietà richiedono spesso ipotesi forti sulla forma funzionale dei parametri variabili nel tempo, rischiando un sovradattamento o un sottodattamento.

Metodologia
Gli autori propongono un modello POT di Hawkes con marchi bayesiano che affronta la non stazionarietà sia nel dominio del tempo che in quello del marchio attraverso una struttura gerarchica.

Processo di Hawkes Non Parametrico per i Tempi di Eccedenza:
- Invece di un processo di Poisson omogeneo, i tempi di occorrenza delle eccedenze sono modellati utilizzando un processo di Hawkes auto-eccitante. Ciò consente all'intensità condizionata $\lambda(t | H_t)$ di aumentare dopo un evento, catturando naturalmente l'aggregazione temporale.
- L'intensità di Hawkes è definita come $\lambda(t | H_t) = \mu + \sum_{t_i < t} \kappa h(t - t_i)$ , dove $\mu$ è l'intensità di fondo, $\kappa$ è il rapporto di ramificazione e $h(\cdot)$ è il kernel di attivazione.
- Crucialmente, il kernel di attivazione $h(\cdot)$ è modellato non parametricamente utilizzando una miscela di Processo di Dirichlet (DP). Nello specifico, $h(t)$ è rappresentata come una miscela infinita di distribuzioni Lognormali, dove la distribuzione di miscelazione $G$ segue un prior Processo di Dirichlet. Ciò consente al modello di apprendere direttamente dai dati pattern di eccitazione complessi (ad esempio, code pesanti, multimodalità) senza imporre una forma parametrica fissa.
GPD Gerarchica per le Grandezze delle Eccedenze:
- Le grandezze delle eccedenze ( $y_i$ ) sono modellate utilizzando la Distribuzione Pareto Generalizzata (GPD).
- Per gestire la non stazionarietà nelle grandezze, gli autori sfruttano la struttura di ramificazione latente del processo di Hawkes. Gli eventi sono raggruppati in cluster basati sugli intervalli di tempo tra gli eventi di fondo (esogeni).
- Un modello gerarchico viene applicato al parametro di scala $\sigma_k$ della GPD per ogni cluster $k$ : $\log \sigma_k = \log \sigma_0 + \tau_\sigma z_k$ , dove $z_k \sim N(0, 1)$ .
- Il parametro di forma $\xi$ è condiviso globalmente tra tutti i cluster. Questo approccio di "pooling parziale" consente al modello di mutuare forza tra i cluster, permettendo una stima accurata del parametro di scala anche in cluster con poche osservazioni, mantenendo al contempo una stima globale stabile per la forma della coda.
Inferenza Posteriore:
- È stato sviluppato un algoritmo Markov Chain Monte Carlo (MCMC) per campionare dalla distribuzione congiunta a posteriori.
- L'algoritmo utilizza una fattorizzazione modulare: i parametri del processo di Hawkes (inclusi le variabili di ramificazione latente $B$ ) vengono aggiornati in base ai tempi di eccedenza, e i parametri del marchio GPD vengono aggiornati condizionatamente alla struttura di clustering corrente.
- Il kernel non parametrico $h(\cdot)$ viene aggiornato utilizzando un campionatore del Processo del Ristorante Cinese combinato con una correzione Metropolis–Hastings per il termine di hazard integrato.
- I parametri GPD vengono aggiornati utilizzando Hamiltonian Monte Carlo (tramite Stan).

Contributi Chiave
Il lavoro apporta tre contributi principali:

Focus Predittivo: Sviluppa un modello POT di Hawkes con marchi specificamente progettato per la previsione di future eccedenze di soglia, distinguendosi dai precedenti modelli di processi puntuali bayesiani non parametrici che si limitavano principalmente a smoothing dei dati storici.
Eccitazione Non Parametrica: Introduce un prior di miscela Processo di Dirichlet per il kernel di attivazione di Hawkes, consentendo al pattern di eccitazione temporale di essere appreso in modo flessibile dai dati piuttosto che assumere una forma parametrica specifica (ad esempio, esponenziale).
Modellazione Gerarchica dei Marchi: Collega la struttura di ramificazione latente del processo di Hawkes a un modello gerarchico di marchi GPD. Ciò consente alla scala delle grandezze delle eccedenze di variare tra i regimi indotti da Hawkes, condividendo informazioni tra i cluster ed evitando l'instabilità derivante dall'adattamento di GPD separate a cluster piccoli.

Risultati
Il modello è stato valutato attraverso uno studio di simulazione e applicato a quattro dataset del mondo reale: rendimenti logaritmici giornalieri dell'S&P 500, valori di chiusura del VIX, velocità del vento di Bradfield e il database RAND-MIPT Terrorism.

Studio di Simulazione: In un disegno controllato $2 \times 2$ (variando il tipo di kernel e la distribuzione del marchio), i risultati hanno confermato che:
- Quando i dati erano generati con un kernel non esponenziale, il modello DP-Hawkes ha superato il modello parametrico Exponential-Hawkes.
- Quando i dati presentavano variazione specifica del marchio per cluster, il modello GPD gerarchico ha superato il modello GPD i.i.d.
- Quando il meccanismo di generazione dei dati non richiedeva la flessibilità aggiuntiva (ad esempio, kernel esponenziale vero), i modelli flessibili hanno sostenuto una scarsa penalità predittiva, dimostrando robustezza.
Applicazioni su Dati Reali:
- In tutti e quattro i dataset, il modello completo (kernel DP-Hawkes + marchi GPD gerarchici) ha ottenuto i migliori punteggi logaritmici predittivi su dati tenuti da parte (held-out).
- Il kernel non parametrico ha migliorato la previsione dei tempi di eccedenza, mentre il modello di marchi gerarchico ha migliorato la previsione delle grandezze di eccedenza.
- Il miglioramento è stato più sostanziale per i dati finanziari e sulle velocità del vento, con guadagni minori ma positivi per i dati sul terrorismo.
- I controlli predittivi posteriori hanno mostrato che gli intervalli predittivi del modello per le massime eccedenze future erano coerenti con i dati osservati, con il dataset sul terrorismo che mostrava una coda più pesante ( $\xi$ positivo) come previsto.

Significato e Affermazioni
Gli autori affermano che il loro quadro teorico rilassa con successo le ipotesi di stazionarietà rigida della standard EVT, fornendo uno strumento più realistico per la previsione di eventi estremi non stazionari. Il significato risiede nella dimostrazione che l'aggregazione indotta da Hawkes è utile non solo per prevedere il tempismo degli estremi, ma anche per modellare i cambiamenti nelle loro grandezze.

Combinando processi puntuali auto-eccitanti con modelli di valori estremi gerarchici, il lavoro suggerisce un approccio promettente per le previsioni in cui sia il tasso di occorrenza sia la gravità degli eventi variano nel tempo. Gli autori notano modestamente che, sebbene la specifica della forma condivisa sia un compromesso tra modelli completamente stazionari e completamente locali, bilancia efficacemente la necessità di catturare le variazioni locali di grandezza con la stabilità richiesta per l'inferenza sulla forma della coda in cluster piccoli. Il lavoro non afferma di risolvere tutti i problemi di non stazionarietà, ma offre un'alternativa flessibile e guidata dai dati ai framework di regressione parametrica per i parametri di valore estremo variabili nel tempo.