Conditional Extremes with Graphical Models

Stel je voor dat je het weer probeert te voorspellen, maar niet alleen voor morgen. Je wilt de kans weten op een "perfecte storm" waarbij alles tegelijk misgaat: een enorme overstroming, een hittegolf en een orkaan die tegelijkertijd hetzelfde gebied treffen. Dit is de wereld van de extreme waarde statistiek, een tak van de wetenschap die zich wijdt aan het begrijpen van de zeldzame, wilde gebeurtenissen die de meeste schade veroorzaken. Om dit te doen, kijken statistici naar hoe verschillende zaken—zoals waterstanden, windsnelheden of temperaturen—zich gedragen wanneer ze extreem groot worden. Soms, wanneer één ding gek wordt, volgt een ander direct; dit wordt asymptotische afhankelijkheid genoemd. Op andere tijden kunnen ze beide hoog zijn, maar misschien niet precies op hetzelfde moment, of ze zijn totaal ongerelateerd; dit is asymptotische onafhankelijkheid. Het lastige deel is dat echte wereldgegevens rommelig zijn. Soms zijn variabelen verbonden, soms niet, en uitzoeken hoe ze precies met elkaar verbonden zijn wanneer zaken extreem worden, is als het proberen op te lossen van een gigantische, verschuivende puzzel terwijl de stukjes in brand staan. Als je de puzzel fout oplost, denk je misschien dat een ramp onmogelijk is terwijl deze eigenlijk waarschijnlijk is, of andersom.

Dit is precies het probleem dat Aiden Farrell, Emma Eastoe en Clement Lee aanpakken in hun nieuwe paper. Ze werken aan een betere manier om die puzzel op te lossen voor hoogdimensionele data (data met heel veel variabelen). Eerdere methoden waren ofwel te traag om te berekenen, of dwongen een "one-size-fits-all" aanname af die niet paste bij de realiteit. De auteurs stellen een nieuw, flexibel model voor genaamd het Structured Conditional Multivariate Extreme Value Model (SCMEVM). Denk aan een slimme detective die niet alleen raadt hoe variabelen verbonden zijn, maar daadwerkelijk de kaart van hun relaties leert kennen. Door gebruik te maken van een slimme wiskundige truc met "grafische modellen" (die lijken op stroomdiagrammen die laten zien wie met wie praat) en een nieuw type waarschijnlijkheidsverdeling, hebben ze een instrument gecreëerd dat snel, nauwkeurig en in staat is om de rommelige mix van verbonden en onverbonden variabelen die in de natuur voorkomen, aan te kunnen. Hun simulaties en praktijktests op rivierdata suggereren dat deze nieuwe aanpak een significante stap voorwaarts is in het voorspellen van gezamenlijke rampen, wat een betrouwbaarder vangnet biedt voor risicobeoordeling.

Het Verhaal van de Rivier en de Regen

Stel je voor dat je bij een rivier staat en ziet hoe het water stijgt. Je hebt sensoren op 31 verschillende plekken langs de rivier en haar zijrivieren. Wanneer een enorme storm toeslaat, wil je weten: als het water bij Station A op recordniveau staat, wat is dan de kans dat het water bij Station B ook op recordniveau staat?

Lama tijd hadden statistici twee manieren om dit te beantwoorden. De eerste manier ging ervan uit dat als één station overstroomde, iedereen tegelijk zou overstromen. Het was alsoal aannemen dat als één persoon in een menigte niest, de hele menigte op exact hetzelfde moment niest. Dit wordt asasymptotische afhankelijkheid genoemd. Dit is een nuttige aanname voor sommige zaken, maar in de echte wereld is het vaak onjuist. Soms overstromen twee rivieren wel, maar niet op hetzelfde moment, of liggen ze zo ver uit elkaar dat de overstroming van de een weinig zegt over de ander. Dit is asymptotische onafhankelijkheid.

De tweede manier om dit te modelleren was het Conditional Multivariate Extreme Value Model (CMEVM). Dit was een slim idee: in plaats van te raden hoe alles verbonden is, zei het: "Laten we één station kiezen, zeg Station A, en vragen: Als Station A enorm groot is, wat gebeurt er dan met de anderen?" Het werkte goed voor kleine groepen stations, maar wanneer je probeerde dit toe te passen op 31 stations (of zelfs honderden), liep het tegen een muur aan. Het vertrouwde op een "zoeketabel" van historische gegevens om voorspellingen te doen. In de statistiek staat dit bekend als de vloek van de dimensionaliteit. Stel je voor dat je een zwembad probeert te vullen met een theelepel; naarmate het zwembad groter wordt (meer variabelen), wordt de lepel (je data) nutteloos. De voorspellingen werden onbetrouwbaar en de computer deed er eeuwen over om de getallen te verwerken.

Het Nieuwe Detective-instrument

De auteurs van dit paper besloten dit op te lossen door een betere "theelepel" te bouwen. Ze vervingen de zoetetabel door een volledig parametrisch model, wat een chique manier is om te zeggen dat ze een wiskundige formule hebben gebouwd die het gedrag van het water beschrijft zonder dat ze elke enkele historische overstroming uit het hoofd hoeven te leren.

Ze introduceerden een nieuwe ingrediënt genaamd de Multivariate Asymmetric Generalised Gaussian (MVAGG) distributie. Om dit te begrijpen, stel je de vorm van een heuvel voor. Een standaard klokcurve is perfect symmetrisch. Maar echte overstromingen zijn niet altijd symmetrisch; soms stijgt het water langzaam en stort het snel weer omlaag, of andersom. De MVAGG is een flexibele heuvelvorm die asymmetrisch kan zijn om de echte data perfect te matchen.

Maar er was nog een probleem: zelfs met een betere formule betekende het proberen te berekenen hoe 31 stations met elkaar interageren nog steeds het berekenen van miljoenen verbindingen. Het was nog steeds te zwaar voor een computer. Daarom voegden de auteurs een grafisch model toe.

Beschouw het riviernetwerk als een stamboom. Station A stroomt in Station B, dat stroomt in Station C. Als Station A overstroomt, is het zeer waarschijnlijk dat Station B ook zal overstromen. Maar als Station A op een totaal andere tak van de rivier zit, heeft het mogelijk helemaal geen invloed op Station C. De auteurs gebruikten deze logica om een ijle grafiek (sparse graph) te creëren. In plaats van ervan uit te gaan dat elk station met elk ander station communiceert, lieten ze de data beslissen welke stations "vrienden" (verbonden) zijn en welke vreemden. Dit is als het licht uitdoen in een grote kamer en alleen de lampen aan te laten voor de mensen die daadwerkelijk met elkaar praten. Deze "ijlheid" (sparsity) verminderde het aantal benodigde berekeningen drastisch, waardoor het model snel genoeg werd om op een standaard laptop te draaien.

De Riviertest

Om te zien of hun nieuwe detective-instrument werkte, namen de auteurs het mee naar de bovenloop van de Donau in Europa. Ze hadden 50 jaar aan dagelijkse waterafvoergegevens van 31 meetstations.

Ze vergeleken hun nieuwe SCMEVM met de oude "stamboom"-modellen en het populaire Engelke en Hitz-model (dat ervan uitgaat dat alles verbonden is). Dit is wat ze vonden:

1. De oude modellen misten de plank: De modellen die ervan uitgingen dat alles verbonden was (asymptotische afhankelijkheid), hadden de neiging om het risico voor stations die ver uit elkaar lagen te overschatten. Ze dachten dat als één station overstroomde, het verre station ook zou overstromen, wat niet altijd waar was.
2. Het nieuwe model begreep de nuance: Het nieuwe model van de auteurs identificeerde correct dat sommige stations nauw verbonden waren (stroomgebonden) terwijl andere slechts losjes gerelateerd of onafhankelijk waren. Het dwong geen verbinding af waar die niet was.
3. Snelheid en Nauwkeurigheid: Het nieuwe model was niet alleen nauwkeuriger, maar ook veel sneller. In hun tests toonden ze aan dat naarmate het aantal stations groeide, de nieuwe methode efficiënt bleef, terwijl de oude methoden tot stilstand kwamen.

Interessant genoeg, toen ze naar de data keken, ontdekten ze dat de eenvoudige "stroomverbinding"-kaart (de boom) niet het hele verhaal was. Sommige stations die niet direct door waterstroom verbonden waren, waren nog steeds verbonden, waarschijnlijk omdat ze geografisch dicht bij elkaar lagen of vergelijkbare weerpatronen deelden. Toen de auteurs hun model lieten leren van de verbindingen uit de data in plaats van de rivierkaart op te leggen, werden de voorspellingen zelfs nog beter.

Wat dit Betekent

Het paper beweert niet dat het elk probleem in de weervoorspelling heeft opgelost. Het zegt niet dat we nu de exacte datum van de volgende overstroming kunnen voorspellen. In plaats daarvan suggereert het dat voor hoogdimensionele data—zoals het monitoren van een heel riviernetwerk, het verkeer in een stad of een financiële markt—deze nieuwe aanpak een veel betrouwbaardere manier biedt om te begrijpen hoe extreme gebeurtenissen samen kunnen plaatsvinden.

Door een flexibele wiskundige vorm (de MVAGG) te combineren met een slimme manier om verbindingen te vinden (het grafische model), hebben de auteurs een instrument gecreëerd dat zowel snel als aanpasbaar is. Het respecteert het feit dat de natuur rommelig is: soms zijn dingen verbonden, soms niet, en soms zijn ze verbonden op manieren die we niet hadden verwacht. Voor wetenschappers die ons proberen te beschermen tegen natuurrampen, is het hebben van een model dat deze complexiteit kan aanpakken zonder de computer te laten vastlopen, een grote zaak. Het betekent dat we betere veiligheidsnetten voor de toekomst kunnen bouwen, gebaseerd op een helderder beeld van hoe de wereld zich gedraagt wanneer het misgaat.