📊 statistics

Bayesian Modelling of Nonstationary Extreme Values Using a Nonparametric Hawkes Process

Dit artikel stelt een Bayesiaanse niet-parametrische Hawkes-procesmodel voor dat gekoppeld is aan een hiërarchische Generalised Pareto-verdeling om niet-stationaire extreme gebeurtenissen effectief te voorspellen door zelfopwekkende clusteringpatronen en variërende magnitudes tussen clusters te vangen, wat een superieure voorspellende prestatie aantoont op zowel gesimuleerde als real-world data.

Oorspronkelijke auteurs: Gordon J. Ross, Dean Markwick

Gepubliceerd 2026-05-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Gordon J. Ross, Dean Markwick

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te voorspellen wanneer de volgende "grote storm" zal toeslaan. In de wereld van data zijn deze stormen extreme gebeurtenissen: een plotselinge crash op de aandelenmarkt, een enorme aardbeving of een piek in het aantal terroristische slachtoffers.

Lange tijd probeerden statistici deze stormen te voorspellen met behulp van een zeer starre regelbundel. Ze gingen ervan uit dat stormen in een constant, voorspelbaar tempo voorkomen (zoals regen in een aanhoudende motregen) en dat elke storm ongeveer even groot is. Maar zoals de auteurs van dit artikel aangeven, werkt het echte leven niet zo. Stormen komen vaak in clusters (een plotselinge uitbarsting van zware regen gevolgd door een droogte), en de grootte van de stormen kan veranderen afhankelijk van het seizoen of de huidige situatie.

Dit artikel introduceert een nieuwe, slimmere manier om deze chaotische gebeurtenissen te modelleren. Denk hierbij aan een upgrade van een simpele windvaan naar een geavanceerde, zelflerende weerradar.

Hieronder wordt uitgelegd hoe hun nieuwe systeem werkt, opgesplitst in eenvoudige concepten:

1. De "Zelfopwekkende" Wekker (Het Hawkes-proces)

Traditionele modellen behandelen gebeurtenissen als onafhankelijk. Als de aandelenmarkt vandaag daalt, zou een traditioneel model denken: "Oké, dat is gebeurd. De kans op een daling morgen is gewoon de gemiddelde kans."

De auteurs gebruiken iets dat een Hawkes-proces wordt genoemd. Stel je een kamer vol mensen voor. Als één persoon niest, kan dat anderen ook doen niezen. Als een tweede persoon niest, kan dat een hele kettingreactie veroorzaken.

De Metafoor: Denk aan een aardbeving. Wanneer de grond schudt (een gebeurtenis), wordt de grond instabiel, waardoor de kans op een naschok (een andere gebeurtenis) kort erna toeneemt.
De Innovatie: De auteurs realiseerden zich dat extreme gebeurtenissen zich vaak gedragen als deze nies-kettingreactie. Ze bouwden een model waarin één extreme gebeurtenis het systeem "opwekt", waardoor het waarschijnlijker wordt dat er direct na een andere extreme gebeurtenis plaatsvindt. Dit verklaart waarom slechte dagen op de aandelenmarkt vaak in clusters voorkomen.

2. De Vormveranderende Trigger (De Niet-parametrische Kern)

In het oude "nies"-model moest je raden hoe de nies verspreidt. Duurt het 5 minuten? 1 uur? Je moest een vaste vorm kiezen (zoals een klokkromme) en hopen dat deze juist was. Als je de verkeerde vorm koos, zouden je voorspellingen verkeerd zijn.

De auteurs zeggen: "Waarom raden? Laat de data ons de vorm vertellen."

De Metafoor: In plaats van de nies te dwingen in een vooraf gemaakte koekjesvorm te passen, gebruiken ze een vormbaar klei-benadering (een Dirichlet-proces). Ze laten de data de vorm van de "opwinding" zelf vormgeven.
Het Resultaat: Als de data laat zien dat gebeurtenissen gedurende een paar uur strak geclusterd zijn en vervolgens afnemen, leert het model die vorm. Als ze dagenlang geclusterd zijn, leert het model dat ook. Het is flexibel genoeg om vreemde, onvoorspelbare patronen aan te kunnen zonder dat de gebruiker van tevoren de regels hoeft te raden.

3. De "Team-gebaseerde" Stormgroottes (Hiërarchische GPD-marks)

Zodra het model weet wanneer een storm waarschijnlijk zal plaatsvinden, moet het raden hoe groot deze zal zijn.

Het Probleem: In de oude tijden gingen statistici ervan uit dat elke storm, of deze nu plaatsvond in een rustig jaar of een chaotisch jaar, uit dezelfde "zak met maten" werd getrokken.
De Innovatie: De auteurs realiseerden zich dat stormen in een "cluster" (een chaotische week) groter kunnen zijn dan stormen in een "rustige" week. Echter, sommige clusters zijn zo klein dat ze niet genoeg data hebben om de grootte op zichzelf nauwkeurig te raden.
De Metafoor: Stel je een sportcompetitie voor. Als je een team hebt met slechts 3 spelers, kun je niet echt zeggen hoe goed ze zijn. Maar als je naar alle teams in de competitie kijkt, kun je een algemeen idee krijgen van het vaardigheidsniveau.
- De auteurs gebruiken een hiërarchisch model. Ze laten elke "cluster" van gebeurtenissen zijn eigen gemiddelde grootte (schaal) hebben, maar ze dwingen al deze clusters om een gemeenschappelijke "staartvorm" te delen (hoe extreem de worst-case scenario's kunnen worden).
- Hierdoor kan het model zeggen: "Deze specifieke cluster van gebeurtenissen is meestal groter dan gemiddeld", terwijl het toch kracht leent uit de hele dataset om ervoor te zorgen dat de voorspelling voor het slechtst mogelijke scenario accuraat is.

4. Alles Samenvoegen: De Voorspellingsmachine

De auteurs hebben deze drie ideeën gecombineerd in één enkel "Bayesiaans" model. Ze testten dit op vier zeer verschillende real-world datasets:

Aandelenmarkt (S&P 500): Op zoek naar enorme waardeverliezen.
Marktvolatiliteit (VIX): Op zoek naar pieken in angst.
Windstoten: Op zoek naar orkaankrachtige windstoten.
Terrorisme: Op zoek naar dagen met hoge slachtofferaantallen.

De Resultaten:
Toen ze hun nieuwe "flexibele klei"-model testten tegen de oude "starre koekjesvorm"-modellen, won het nieuwe model elke keer.

Het was beter in het voorspellen wanneer de volgende extreme gebeurtenis zou plaatsvinden, omdat het begreep dat gebeurtenissen in clusters voorkomen.
Het was beter in het voorspellen hoe groot die gebeurtenissen zouden zijn, omdat het begreep dat de grootte van de gebeurtenis afhangt van welke "cluster" of tijdsperiode deze toebehoort.

Samenvatting

Het artikel betoogt dat we, om zeldzame, gevaarlijke gebeurtenissen te voorspellen, moeten stoppen met doen alsof de wereld kalm en voorspelbaar is. In plaats daarvan hebben we een model nodig dat begrijpt:

Gebeurtenissen triggeren andere gebeurtenissen (clustering).
De regels van het triggeren veranderen (flexibele vormen).
De grootte van de gebeurtenis hangt af van het huidige chaos (hiërarchische maten).

Door deze aanpak te gebruiken, hebben de auteurs een tool gecreëerd die aanzienlijk beter is in het voorspellen van de volgende "grote storm" in financiën, natuur en veiligheid, zonder dat er rigide, vaak onjuiste, aannames nodig zijn over hoe de wereld werkt.

Technische Samenvatting: Bayesiaanse Modellering van Niet-stationaire Extremen met Behulp van een Niet-parametrisch Hawkes-proces

Probleemstelling
Effectief risicomanagement vereist het schatten van de waarschijnlijkheid dat grote gebeurtenissen binnen een specifiek tijdsbestek optreden. Traditionele benaderingen vertrouwen vaak op de Extreme Waarden Theorie (EVT), specifiek de Peaks-Over-Threshold (POT) methode, die overschrijdingen boven een drempelwaarde $u$ modelleert met behulp van een Generalised Pareto Distribution (GPD). Standaard POT-methoden gaan echter uit van stationariteit: dat overschrijdingstijdstippen een homogene Poisson-proces volgen en dat de grootte van overschrijdingen onafhankelijke en identiek verdeelde (i.i.d.) trekkingen zijn uit één enkele GPD.

Realistische data, zoals financiële marktindices (bijv. S&P 500, VIX), schenden deze aannames vaak. Extreme gebeurtenissen vertonen frequent clustering (temporale niet-stationariteit) en structurele veranderingen in grootte (niet-stationariteit van markeringen). Bijvoorbeeld, periodes van hoge volatiliteit kunnen zowel een hogere frequentie van extreme dalingen als grotere magnitudes van die dalingen vertonen. Bestaande niet-parametrische Bayesiaanse modellen richten zich vaak op retrospectieve gladmaking van historische data in plaats van expliciete modellering van de conditionele intensiteit die nodig is voor toekomstige voorspelling. Bovendien vereisen parametrische extensies voor niet-stationariteit vaak sterke aannames over de functionele vorm van tijdsvariërende parameters, wat het risico op over- of onder-fitting met zich meebrengt.

Methodologie
De auteurs stellen een Bayesiaans gemerkt Hawkes POT-model voor dat niet-stationariteit in zowel het tijdsdomein als het markdomein aanpakt via een hiërarchische structuur.

Niet-parametrisch Hawkes-proces voor Overschrijdingstijdstippen:
- In plaats van een homogene Poisson-proces worden de tijdstippen van overschrijdingen gemodelleerd met behulp van een zelf-activerend Hawkes-proces. Dit staat toe dat de conditionele intensiteit $\lambda(t | H_t)$ toeneemt na een gebeurtenis, wat temporale clustering op natuurlijke wijze vastlegt.
- De Hawkes-intensiteit wordt gedefinieerd als $\lambda(t | H_t) = \mu + \sum_{t_i < t} \kappa h(t - t_i)$ , waarbij $\mu$ de achtergrondintensiteit is, $\kappa$ de vertakkingsratio is, en $h(\cdot)$ de triggerkern is.
- Cruciaal wordt de triggerkern $h(\cdot)$ niet-parametrisch gemodelleerd met behulp van een Dirichlet-proces (DP) mengsel. Specifiek wordt $h(t)$ weergegeven als een oneindig mengsel van Lognormale verdelingen, waarbij de mengverdeling $G$ een Dirichlet-proces prior volgt. Dit stelt het model in staat complexe excitatiepatronen (bijv. zware staarten, multimodaliteit) direct uit de data te leren zonder een vaste parametrische vorm op te leggen.
Hiërarchische GPD voor Overschrijdingsmagnitudes:
- De magnitudes van overschrijdingen ( $y_i$ ) worden gemodelleerd met behulp van de Generalised Pareto Distribution (GPD).
- Om niet-stationariteit in magnitudes aan te pakken, maken de auteurs gebruik van de latente vertakkingsstructuur van het Hawkes-proces. Gebeurtenissen worden gegroepeerd in clusters op basis van de tijdsintervallen tussen achtergrond (exogene) gebeurtenissen.
- Een hiërarchisch model wordt toegepast op de GPD-schaalparameter $\sigma_k$ voor elke cluster $k$ : $\log \sigma_k = \log \sigma_0 + \tau_\sigma z_k$ , waarbij $z_k \sim N(0, 1)$ .
- De vormparameter $\xi$ wordt globaal gedeeld over alle clusters. Deze "partial pooling"-benadering stelt het model in staat kracht te lenen over clusters heen, waardoor een accurate schatting van de schaalparameter mogelijk is zelfs in clusters met weinig observaties, terwijl een stabiele globale schatting voor de staartvorm behouden blijft.
Posterieure Inferentie:
- Er is een Markov Chain Monte Carlo (MCMC) algoritme ontwikkeld om te bemonsteren uit de gezamenlijke posterieure verdeling.
- Het algoritme maakt gebruik van een modulaire factorisatie: de Hawkes-procesparameters (inclusief de latente vertakkingsvariabelen $B$ ) worden bijgewerkt op basis van overschrijdingstijdstippen, en de GPD-markparameters worden bijgewerkt conditioneel op de huidige clusterstructuur.
- De niet-parametrische kern $h(\cdot)$ wordt bijgewerkt met behulp van een Chinese Restaurant Process-sampler gecombineerd met een Metropolis–Hastings correctie voor de geïntegreerde hazard-term.
- De GPD-parameters worden bijgewerkt met behulp van Hamiltonian Monte Carlo (via Stan).

Belangrijkste Bijdragen
Het artikel levert drie primaire bijdragen:

Voorspellende Focus: Het ontwikkelt een gemerkt Hawkes POT-model dat specifiek is ontworpen voor het voorspellen van toekomstige drempeloverschrijdingen, wat het onderscheidt van eerdere niet-parametrische Bayesiaanse puntprocessmodellen die voornamelijk historische data gladmaken.
Niet-parametrische Excitatie: Het introduceert een Dirichlet-proces mengsel prior voor de Hawkes triggerkern, waardoor het temporale excitatiepatroon flexibel uit de data kan worden geleerd in plaats van een specifieke parametrische vorm (bijv. exponentieel) aan te nemen.
Hiërarchische Mark-modellering: Het koppelt de latente vertakkingsstructuur van het Hawkes-proces aan een hiërarchisch GPD-markmodel. Dit stelt de schaal van overschrijdingsmagnitudes in staat te variëren over Hawkes-geïnduceerde regimes, terwijl informatie wordt gedeeld over clusters, waardoor de instabiliteit van het apart fitten van GPD's aan kleine clusters wordt vermeden.

Resultaten
Het model werd geëvalueerd via een simulatiestudie en toegepast op vier realistische datasets: dagelijkse log-rendementen van de S&P 500, sluitingswaarden van de VIX, Bradfield-windsnelheden en de RAND-MIPT Terrorismedatabase.

Simulatiestudie: In een gecontroleerd $2 \times 2$ ontwerp (variërend in kerntype en markverdeling) bevestigden de resultaten dat:
- Wanneer data werden gegenereerd met een niet-exponentiële kern, het DP-Hawkes-model beter presteerde dan het parametrische Exponentieel-Hawkes-model.
- Wanneer data cluster-specifieke markvariatie vertoonden, het hiërarchische GPD-model beter presteerde dan het i.i.d. GPD-model.
- Wanneer het data-genererende mechanisme de extra flexibiliteit niet vereiste (bijv. ware exponentiële kern), leden de flexibele modellen weinig voorspellende straf, wat robuustheid aantoont.
Toepassingen op Realistische Data:
- Over alle vier datasets heen behaalde het volledige model (DP-Hawkes-kern + Hiërarchische GPD-marks) de beste gehouden-out voorspellende log-scores.
- De niet-parametrische kern verbeterde de voorspelling van overschrijdingstijdstippen, terwijl het hiërarchische markmodel de voorspelling van overschrijdingsmagnitudes verbeterde.
- De verbetering was het meest aanzienlijk voor financiële en windsnelheidsdata, met kleinere maar positieve winsten voor terrorismedata.
- Posteriere voorspellende checks toonden aan dat de voorspellende intervallen van het model voor maximale toekomstige excessen consistent waren met de geobserveerde data, waarbij de terrorismedataset, zoals verwacht, een zwaardere staart (positieve $\xi$ ) vertoonde.

Betekenis en Claims
De auteurs claimen dat hun raamwerk succesvol de strikte stationariteitsaannames van standaard EVT versoepelt, waardoor een realistischer hulpmiddel ontstaat voor het voorspellen van niet-stationaire extreme gebeurtenissen. De betekenis ligt in de demonstratie dat Hawkes-geïnduceerde clustering niet alleen nuttig is voor het voorspellen van het tijdstip van extremen, maar ook voor het modelleren van veranderingen in hun magnitudes.

Door zelf-activerende puntprocessen te combineren met hiërarchische extreme waardenmodellen, suggereert het artikel een veelbelovende aanpak voor voorspelling waarbij zowel de frequentie van voorkomen als de ernst van gebeurtenissen in de tijd variëren. De auteurs merken bescheiden op dat hoewel de gedeelde-vorm specificatie een compromis is tussen volledig stationaire en volledig lokale modellen, het effectief het evenwicht bewaart tussen de noodzaak om lokale magnitudewisselingen vast te leggen en de stabiliteit die vereist is voor staartvorm-inferentie in kleine clusters. Het werk claimt niet alle niet-stationariteitsproblemen op te lossen, maar biedt een flexibele, datagedreven alternatief voor parametrische regressieramen voor tijdsvariërende extreme waardenparameters.