EarthquakeNPP: A Benchmark for Earthquake Forecasting with Neural Point Processes

Dit paper introduceert EarthquakeNPP, een verbeterde benchmark voor aardbevingvoorspelling die aantoont dat de geteste neurale puntprocessen (NPPs) momenteel niet beter presteren dan de klassieke ETAS-modellen.

De kern

Aarde, Aftershocks en AI: Waarom de slimste computers nog niet kunnen voorspellen wanneer de aarde trilt

Stel je voor dat je een enorme, complexe puzzel probeert op te lossen, maar de stukjes bewegen voortdurend van plek. Dat is wat seismologen doen: ze proberen te voorspellen wanneer en waar de aarde gaat schudden.

In dit artikel, getiteld "EarthquakeNPP", kijken onderzoekers van de Universiteit van Bristol naar een nieuwe, hype technologie: Neurale Puntenprocessen (NPP's). Dit zijn geavanceerde kunstmatige intelligentie-modellen die beloofd hebben om de oude, bewezen methoden te verslaan. Maar wat ze ontdekten, is een beetje als een teleurstellende verrassing op een verjaardag: de nieuwe gasten (de AI) waren niet beter dan de oude, betrouwbare gastheer (de klassieke wiskunde).

Hier is de uitleg in simpele taal, met wat creatieve vergelijkingen.

1. Het Probleem: De Oude Man versus de Nieuwe Ster

Sinds decennia gebruiken wetenschappers een model genaamd ETAS.

• De Analogie: Denk aan ETAS als een zeer ervaren, oudere leraar die al 50 jaar aardbevingen bestudeert. Hij kent de regels uit zijn hoofd: "Als er een grote aardbeving is, volgen er vaak kleinere na (nabewegingen), en hoe groter de eerste, hoe meer de volgende." Hij werkt met vaste, logische formules.
• De Nieuwe Kandidaten: De machine learning-wereld bracht Neurale Puntenprocessen (NPP's) naar voren.
• De Analogie: Dit zijn als jonge, getalenteerde studenten die een supercomputer gebruiken. Ze hebben geen vaste regels nodig; ze "leren" zelf patronen uit enorme hoeveelheden data. Ze zouden flexibel moeten zijn en complexe dingen moeten kunnen zien die de oude leraar mist.

2. De Valsche Spelregels (Waarom de vorige tests niet klopten)

Voor dit onderzoek keken de auteurs naar eerdere tests. Ze ontdekten dat die tests "valsspelen" waren.

• Het Leugenachtige Verleden: In de oude tests werd de data zo verdeeld dat het model soms "in de toekomst" keek.
  • Vergelijking: Stel je voor dat je een examen doet, maar je mag eerst naar het antwoord kijken en dan pas de vragen beantwoorden. Dat noemen ze data-lek. De AI leek slim, maar hij was gewoon aan het klooien.
• Het Verborgen Grootste Gebeuren: De oude tests haalden de grootste aardbeving (de Tohoku-aardbeving in Japan, 2011) uit de dataset omdat ze te "luid" waren.
  • Vergelijking: Het is alsof je een piloot test voor vliegen in storm, maar je haalt alle stormen uit de simulator. Dan lijkt de piloot perfect, maar in het echt faalt hij. Omdat de grootste schokken juist het belangrijkst zijn om te voorspellen (omdat ze het meest gevaarlijk zijn), was de oude test nutteloos voor echte seismologen.

3. De Oplossing: EarthquakeNPP (De Eerlijke Test)

De auteurs bouwden een nieuwe, eerlijke testomgeving genaamd EarthquakeNPP.

• Ze gebruikten echte data uit Californië (van 1971 tot 2021).
• Ze zorgden dat de data compleet was, inclusief de enorme schokken.
• Ze deelden de tijd in een logische volgorde: eerst leren, dan testen (geen terugkijken naar de toekomst).
• Ze vergelijkingen de nieuwe AI-modellen direct met de oude, betrouwbare "leraar" (ETAS).

4. Het Resultaat: De AI Verliest (Voor Nu)

Toen ze de vijf nieuwste AI-modellen tegen ETAS lieten strijden, gebeurde er iets verrassends: Geen enkele AI wist ETAS te verslaan.

• Waarom faalt de AI?
  • Het Gewicht van de Grote Schok: De oude leraar (ETAS) heeft een speciale regel: "Hoe groter de aardbeving, hoe meer kracht hij heeft om nieuwe schokken te veroorzaken." De AI-modellen hadden deze specifieke regel niet ingebouwd. Ze zagen de grote schok als gewoon een groot puntje, maar begrepen niet dat die puntjes een enorme "explosie" van nieuwe schokken teweegbrengt.
  • Het Geheugen: De AI-modellen kijken vaak alleen naar de laatste 20 aardbevingen (omdat hun geheugen te kort is). De oude leraar kijkt naar alle geschiedenis. Soms is een aardbeving van 30 jaar geleden nog steeds relevant voor wat er nu gebeurt. De AI vergeet het verleden te snel.
  • De "Swarm" (Zwerm): Interessant genoeg waren de AI-modellen soms beter in het voorspellen van tijden zonder grote schokken, of bij "zwermen" van kleine aardbevingen. Ze zijn goed in het zien van complexe, willekeurige patronen, maar faalt bij de grote, duidelijke regels.

5. Wat betekent dit voor ons?

De conclusie is niet dat AI slecht is, maar dat het nog niet klaar is voor de echte wereld.

• Als je een AI wilt gebruiken om te zeggen: "Morgen is er kans op een grote aardbeving," dan is de oude, simpele wiskundige formule (ETAS) momenteel nog steeds de beste keuze.
• De AI-modellen zijn als een beginnende chef-kok die fantastische salades maakt (kleine, complexe patronen), maar nog niet weet hoe je een grote, zware maaltijd (een enorme aardbeving) moet bereiden.

6. De Toekomst: Samenwerking

Het goede nieuws is dat ze nu een eerlijk speelveld hebben gecreëerd (EarthquakeNPP).

• Dit is als een nieuwe, eerlijke sportcompetitie waar iedereen volgens dezelfde regels speelt.
• De onderzoekers nodigen de AI-ontwikkelaars uit om hun modellen te verbeteren. Ze geven tips: "Voeg de regel over de grootte van de schok toe," en "Maak het geheugen langer."
• Als de AI-modellen ooit ETAS verslaan, kunnen ze echt helpen bij het redden van levens door betere waarschuwingen te geven.

Kortom: De nieuwe technologie is veelbelovend, maar voor het voorspellen van aardbevingen is de "oude, betrouwbare methode" nog steeds de koning. De AI moet nog leren hoe je omgaat met de echte, grote krachten van de natuur.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "EarthquakeNPP: A Benchmark for Earthquake Forecasting with Neural Point Processes", geschreven in het Nederlands.

Titel: EarthquakeNPP: Een Benchmark voor Aardbevingvoorspelling met Neuronale Puntprocessen

Publicatie: Transactions on Machine Learning Research (03/2026)
Auteurs: Samuel Stockman, Daniel Lawson, Maximilian Werner (Universiteit van Bristol, UK)

---

1. Het Probleem

Aardbevingvoorspelling is een kritisch domein waar klassieke statistische modellen, met name het ETAS-model (Epidemic-Type Aftershock Sequence), decennialang de standaard zijn geweest. Hoewel de machine learning-gemeenschap recente vooruitgang heeft geboekt met Neuronale Puntprocessen (NPPs) die beloven flexibeler te zijn dan parametrische modellen, ontbreekt er een robuust en actueel benchmarkkader om deze modellen te evalueren.

De bestaande benchmarks voor NPPs in de aardbevingwetenschap hebben drie fundamentele tekortkomingen:

1. Datalekken (Data Leakage): Het gebruik van niet-chronologische train-test splitsen (bijv. wisselende blokken in plaats van tijdreeksen), wat leidt tot kunstmatig opgeblazen prestaties omdat het model informatie uit de toekomst "lekt".
2. Ontbrekende kritieke data: De huidige benchmarks sluiten de grootste aardbevingreeksen uit (zoals de Tohoku-aardbeving van 2011 in Japan), waardoor ze irrelevant zijn voor seismologen die juist deze schadelijke gebeurtenissen willen voorspellen.
3. Gebrek aan vergelijking: NPPs worden zelden vergeleken met de huidige state-of-the-art modellen die door seismologische instanties worden gebruikt (zoals ETAS), wat de praktische relevantie beperkt.

2. Methodologie

De auteurs introduceren EarthquakeNPP, een gestandaardiseerd benchmarkplatform dat bestaande openbare bronnen curateert en harmoniseert.

• Datasets: Het platform omvat aardbevingscatalogi uit Californië (1971–2021) van verschillende bronnen (USGS ComCat, SCEDC, White et al., QTM). Deze datasets variëren in grootte, magnitude-drempels (van Mw 0.6 tot Mw 3.0) en regio's (bijv. San Jacinto Fault Zone, Salton Sea).
• Preprocessing: De data wordt zorgvuldig verwerkt om catalogus-onvolledigheid (catalog incompleteness) aan te pakken. Dit impliceert het toepassen van een magnitude-drempel ($M_c$) boven de detectie-grens van het seismische netwerk om bias te voorkomen.
• Benchmark Modellen: Vijf geavanceerde NPP-architecturen worden getest tegen de gouden standaard:
  1. NSTPP (Neural Spatio-Temporal Point Process)
  2. DeepSTPP (Deep Spatio-Temporal Point Process)
  3. AutoSTPP (Automatic Integration for Spatiotemporal Neural Point Processes)
  4. DSTPP (Spatio-temporal Diffusion Point Process)
  5. SMASH (Score Matching-based Pseudolikelihood Estimation)
  6. Basislijn: Het ETAS-model (geïmplementeerd via de etas Python-pakket) en een homogene Poisson-proces.
• Evaluatieprotocollen:
  • Log-Likelihood: De standaard ML-metriek voor tijds- en ruimtelijke waarschijnlijkheid.
  • CSEP Consistency Tests: Een generatieve evaluatieframework van de Collaboratory for the Study of Earthquake Predictability. Dit vereist het simuleren van 10.000 herhalingen van aardbevingsequenties om de voorspellingen te vergelijken met waargenomen data op basis van tijds-, ruimtelijke, waarschijnlijkheids- en magnitude-statistieken.

3. Belangrijkste Bijdragen

1. EarthquakeNPP Platform: Een open-source repository (GitHub) met gestandaardiseerde datasets, preprocessing-scripts en evaluatieprotocollen die specifiek zijn ontworpen voor de seismologische gemeenschap.
2. Correctie van Bestaande Benchmarks: De auteurs tonen aan dat de eerdere benchmarks (zoals die van Chen et al., 2021) door datalekken en het uitsluiten van grote aardbevingen leiden tot een verkeerde inschatting van modelprestaties. Ze kwantificeren deze inflatie (bijv. een drastische daling in informatiewinst wanneer de Tohoku-aardbeving wordt toegevoegd en de splitsing chronologisch wordt gemaakt).
3. Comparatieve Analyse: De eerste uitgebreide vergelijking van moderne NPPs met operationele ETAS-modellen op realistische, operationele datasets.
4. Inzicht in Architecturale Tekortkomingen: Identificatie van specifieke redenen waarom NPPs momenteel falen in vergelijking met ETAS, met name het gebrek aan expliciete magnitude-afhankelijkheid en beperkt geheugen voor lange-termijn geschiedenis.

4. Resultaten

De experimentele resultaten tonen een duidelijk beeld:

• Prestatie van NPPs vs. ETAS: Geen van de vijf geteste NPP-modellen presteert consistent beter dan het ETAS-model.
  • Tijds-likelihood: ETAS behaalt over het algemeen de hoogste scores, vooral tijdens grote aardbevingsequenties (mainshock-aftershock reeksen). NPPs doen het redelijk tijdens rustige "achtergrond"-periodes, maar zakken in tijdens hoge activiteit.
  • Ruimtelijke likelihood: ETAS overtreft alle NPPs significant in het voorspellen van de locatie van gebeurtenissen, vooral in gebieden met sterke clustering rond breuklijnen.
• CSEP Tests: In de generatieve consistentietests (die simulaties vereisen) presteert ETAS het best.
  • SMASH toont gematigde prestaties maar is zeer variabel (piekerend).
  • DSTPP (diffusiemodel) ondervoorspelt systematisch de aardbevingsactiviteit en faalt vaak in de tests, vooral op datasets met complexe achtergrondseismiciteit.
  • NSTPP, DeepSTPP en AutoSTPP konden niet worden geëvalueerd met CSEP-tests omdat ze niet expliciet generatief zijn ontworpen en het simuleren van lange sequenties computatief onhaalbaar is (te traag).
• Oorzaken van falen:
  • Magnitude-afhankelijkheid: ETAS gebruikt expliciet de magnitude van eerdere aardbevingen om de kans op nakomelingen te schalen (grotere aardbevingen = meer nakomelingen). Geen van de NPPs implementeert dit expliciet.
  • Geheugenbeperking: NPPs gebruiken vaak een "sliding window" (bijv. de laatste 20 gebeurtenissen) vanwege rekentijd, terwijl ETAS de volledige geschiedenis integreert. Dit maakt NPPs blind voor langdurige, verre gebeurtenissen die toch invloed hebben.
  • Training vs. Evaluatie: Er is een mismatch tussen het trainen op de volgende gebeurtenis en het evalueren op lange-termijn simulaties.

5. Betekenis en Conclusie

De studie concludeert dat huidige NPP-implementaties nog niet geschikt zijn voor praktische aardbevingvoorspelling in operationele settings. Hoewel ze flexibel zijn, missen ze de fysisch onderbouwde structuur (zoals magnitude-schaling en lange-termijn geheugen) die ETAS succesvol maakt.

De auteurs formuleren vier actiepunten voor toekomstig onderzoek:

1. Expliciete magnitude-afhankelijkheid coderen: NPPs moeten mechanismen hebben om de impact van grote aardbevingen op nakomelingen te modelleren.
2. Schalbaar lang-termijn geheugen: Ontwikkeling van architecturen (bijv. met sparse attention of hiërarchische encoding) die de volledige geschiedenis kunnen verwerken zonder kwadratische complexiteit.
3. Aligneren van training en evaluatie: Generatieve modellen moeten worden getraind met doelen die gericht zijn op lange-termijn trajecten, niet alleen op de volgende gebeurtenis.
4. Hybride architecturen: Het combineren van neurale netwerken met empirisch onderbouwde schaalwetten (zoals de Gutenberg-Richter wet) in plaats van volledig parametrische modellen te vervangen.

EarthquakeNPP dient als een cruciaal platform om de samenwerking tussen machine learning en seismologie te bevorderen, zodat toekomstige modellen direct relevant kunnen zijn voor overheidsinstanties zoals de USGS en operationele voorspellingssystemen.