EarthquakeNPP: A Benchmark for Earthquake Forecasting with Neural Point Processes

Die Studie stellt mit EarthquakeNPP ein neues Benchmark-System für die Erdbebenprognose vor, das aufbereiteten Daten und etablierte seismologische Modelle wie ETAS nutzt, und zeigt, dass die getesteten neuronalen Punktprozesse (NPPs) die Leistung des klassischen ETAS-Modells in aktuellen Anwendungen noch nicht übertreffen.

Das Wesentliche

Hier ist eine einfache, bildhafte Erklärung der Forschungsergebnisse, als würde man sie einem Freund beim Kaffee erzählen:

🌍 Das große Erdbeben-Raten-Spiel: Warum KI (noch) nicht besser ist als die alten Profis

Stellen Sie sich vor, Sie wollen vorhersagen, wann und wo das nächste Erdbeben passiert. Das ist wie ein extrem schwieriges Würfelspiel, bei dem die Würfel nicht fair sind und sich ständig ändern.

Seit Jahrzehnten nutzen Geowissenschaftler eine bewährte Methode, die wir „ETAS" nennen. Man kann sich ETAS wie einen alten, erfahrenen Seismologen vorstellen. Dieser Mann hat jahrzehntelang Daten gesammelt. Er kennt die Regeln: Wenn ein großes Beben kommt, folgen viele kleine Nachbeben. Wenn das Hauptbeben stark ist, sind die Nachbeben weiter verbreitet. Er nutzt einfache, aber bewährte mathematische Formeln, die auf physikalischen Gesetzen basieren.

In den letzten Jahren haben Computerwissenschaftler neue, hochmoderne Künstliche Intelligenzen (KI) entwickelt, sogenannte „Neurale Punktprozesse" (NPP). Diese sind wie geniale, aber junge Mathematik-Genies. Sie können riesige Datenmengen verarbeiten, lernen komplexe Muster und sind sehr flexibel. Die Hoffnung war: „Vielleicht können diese neuen Genies den alten Experten übertreffen, weil sie smarter sind."

🧪 Der große Test: EarthquakeNPP

Die Autoren dieses Papiers (Samuel, Daniel und Maximilian von der Universität Bristol) haben gesagt: „Halt! Bevor wir den neuen KI-Modellen vertrauen, müssen wir sie fair testen."

Das Problem war bisher: Die alten Tests für diese KIs waren wie ein gefälschter Wettkampf.

1. Der „Leck"-Effekt: In alten Tests durften die KIs in die Zukunft schauen (Datenleck), was ihnen einen unfairen Vorteil gab.
2. Das fehlende Monster: Die wichtigsten Daten, nämlich die riesigen Erdbeben-Ketten (wie das Tohoku-Erdbeben in Japan), wurden aus den Trainingsdaten entfernt. Das ist, als würde man einen Boxer trainieren, indem man ihm nur leichte Gegner zeigt, aber den Weltmeister aus dem Ring wirft.
3. Der falsche Vergleich: Man verglich die KIs oft nur mit anderen KIs, nicht mit dem alten ETAS-Experten.

Die Autoren haben also EarthquakeNPP gebaut. Das ist eine neue, faire Arena. Sie haben echte Daten aus Kalifornien (von 1971 bis 2021) genommen, alles bereinigt und die KIs gegen den alten ETAS-Experten antreten lassen.

🏆 Das Ergebnis: Der alte Experte gewinnt (noch)

Das Ergebnis war überraschend, aber wichtig: Keine der fünf getesteten KIs konnte den alten ETAS-Experten schlagen.

Hier ist, warum das passiert ist, mit ein paar Analogien:

1. Die Größe zählt (Die Magnitude):

   • ETAS weiß genau: Ein riesiges Beben (Magnitude 7+) verändert die Regeln komplett. Es löst eine Lawine von Nachbeben aus. Der Experte rechnet das in seine Formel ein.
   • Die KIs haben das oft nicht verstanden. Sie waren wie Schüler, die gelernt haben, wie man kleine Beben vorhersagt, aber wenn ein riesiges Monster auftritt, geraten sie in Panik oder ignorieren die Größe des Ereignisses. Sie haben keine „Magnitude-Brille" auf.

2. Die Erinnerung (Das Gedächtnis):

   • ETAS erinnert sich an alles. Wenn vor 20 Jahren ein großes Beben war, weiß er, dass das heute noch Nachwirkungen haben kann.
   • Die KIs haben oft ein kurzes Gedächtnis. Um Rechenzeit zu sparen, schauen sie sich nur die letzten 20 Beben an. Das ist wie ein Detektiv, der nur die letzten 20 Minuten eines Verbrechens betrachtet und die Tat vor einer Woche ignoriert. Bei Erdbeben reicht das nicht.

3. Die Simulation:

   • Um eine Vorhersage zu machen, muss man oft 10.000 Mal simulieren, was passieren könnte. ETAS kann das schnell und effizient.
   • Manche der neuen KIs brauchen für eine einzige Simulation so lange, dass sie für eine echte Vorwarnung (z. B. „Achtung, in 10 Minuten Beben!") viel zu langsam sind.

💡 Was bedeutet das für die Zukunft?

Das bedeutet nicht, dass KI bei Erdbeben nutzlos ist. Im Gegenteil!

• Die KIs waren in ruhigen Zeiten, in denen keine riesigen Beben stattfanden, manchmal sogar besser als ETAS. Sie können feine, komplexe Muster erkennen, die der alte Experte übersehen könnte.
• Das Problem ist nur: Wenn es wirklich gefährlich wird (große Beben), versagen die KIs noch.

Die Autoren geben vier Tipps für die Zukunft:

1. Lass die KIs die Größe lernen: Die KIs müssen lernen, dass große Beben anders funktionieren als kleine.
2. Mache sie langlebig: Die KIs brauchen ein besseres Gedächtnis, um auch alte Beben zu berücksichtigen.
3. Trainiere sie richtig: Man muss die KIs so trainieren, dass sie ganze Szenarien simulieren können, nicht nur das nächste einzelne Beben.
4. Mische die Welten: Vielleicht ist die beste Lösung eine „Hybrid-KI". Eine KI, die die Flexibilität der neuen Algorithmen mit den bewährten physikalischen Regeln von ETAS kombiniert.

🎯 Fazit

Die KI ist wie ein sehr talentierter, junger Sportler, der im Training oft glänzt. Aber wenn es um den echten Wettkampf mit den schweren Herausforderungen (den großen Erdbeben) geht, ist der erfahrene Trainer (ETAS) immer noch der Bessere.

Die Studie ist ein wichtiger Schritt, um sicherzustellen, dass wir in Zukunft KI-Systeme bauen, die nicht nur theoretisch cool sind, sondern im Ernstfall auch Leben retten können. Bis dahin bleiben wir bei den bewährten Methoden, nutzen aber die KI, um sie zu verbessern.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „EarthquakeNPP: A Benchmark for Earthquake Forecasting with Neural Point Processes" auf Deutsch:

Problemstellung

Seit Jahrzehnten werden klassische Punktprozess-Modelle, insbesondere das ETAS-Modell (Epidemic-Type Aftershock Sequence), von der seismologischen Gemeinschaft zur Vorhersage von Erdbebenzeitpunkten und -orten verwendet. Obwohl das ETAS-Modell in operativen Systemen (z. B. USGS) weit verbreitet ist, wird es als parametrisch und in seiner Flexibilität begrenzt angesehen.

In der Machine-Learning-Community wurden Neurale Punktprozesse (NPPs) entwickelt, die versprechen, durch neuronale Netze komplexe, nicht-lineare Abhängigkeiten zu lernen und das ETAS-Modell zu übertreffen. Allerdings fehlte bisher ein aussagekräftiger Benchmark, der den Anforderungen der Seismologie gerecht wird. Bestehende Benchmarks (z. B. basierend auf japanischen Daten) litten unter schwerwiegenden Mängeln:

1. Datenlecks: Nicht-chronologische Aufteilung von Trainings- und Testdaten (alternierende Fenster), was zu künstlich inflateden Leistungswerten führt.
2. Auslassung kritischer Daten: Das Fehlen der größten Erdbebensequenz der Region (z. B. das Tohoku-Erdbeben 2011), die für die Risikobewertung entscheidend ist.
3. Fehlender Vergleich: Keine Gegenüberstellung mit dem aktuellen State-of-the-Art (ETAS) oder räumlich-zeitlichen Hawkes-Prozessen.

Methodik: EarthquakeNPP Plattform

Die Autoren stellen EarthquakeNPP vor, eine standardisierte Benchmarking-Plattform, die bestehende öffentliche Ressourcen kuratiert und für die Erdbebenvorhersage aufbereitet.

• Datensätze: Die Plattform umfasst Erdbebenkataloge aus Kalifornien (1971–2021) mit verschiedenen Regionen und Größenordnungen (z. B. ComCat, SCEDC, White, QTM). Die Daten wurden sorgfältig vorverarbeitet, um die Vollständigkeit (Completeness Magnitude $M_c$) zu berücksichtigen und Datenlücken (z. B. durch unvollständige Erfassung kleiner Beben) zu adressieren.
• Benchmarks:
  • Referenzmodell: Eine operative Implementierung des ETAS-Modells (basierend auf dem etas Python-Paket), das als Goldstandard dient.
  • Getestete NPPs: Fünf verschiedene räumlich-zeitliche NPP-Architekturen wurden evaluiert:
    1. NSTPP (Chen et al., 2021)
    2. DeepSTPP (Zhou et al., 2022)
    3. AutoSTPP (Zhou & Yu, 2024)
    4. DSTPP (Yuan et al., 2023) – Generatives Modell (Diffusion)
    5. SMASH (Li et al., 2023) – Generatives Modell (Score Matching)
• Evaluierungsprotokolle:
  1. Log-Likelihood: Standardmetrik für Wahrscheinlichkeitsverteilungen (zeitlich und räumlich).
  2. CSEP-Konsistenztests: Ein von der Collaboratory for the Study of Earthquake Predictability entwickeltes Protokoll, das generative Modelle bewertet. Dabei werden 10.000 simulierte Sequenzen über einen 24-Stunden-Horizont generiert und mit beobachteten Daten verglichen (Tests für Anzahl, Raum, Likelihood und Magnitude).

Wichtige Ergebnisse

Die experimentellen Ergebnisse zeigen eindeutig, dass keines der fünf getesteten NPP-Modelle das ETAS-Modell in der Gesamtleistung übertreffen kann.

1. Log-Likelihood:
   • ETAS erzielt konsistent die höchsten Werte für die zeitliche Log-Likelihood, insbesondere während großer Erdbebenfolgen (Hauptbeben-Nachbeben-Sequenzen).
   • NPPs schneiden in „hintergrund"-Perioden (ohne große Beben) teilweise besser ab, da sie nicht-stationäre Hintergrundaktivitäten besser modellieren können.
   • Räumliche Likelihood: ETAS übertrifft alle NPPs deutlich. NPPs scheitern besonders in stark geklumpten Gebieten, während sie in komplexen, diffusen seismischen Zonen wettbewerbsfähiger sind.
2. CSEP-Konsistenztests:
   • ETAS zeigt die beste Kalibrierung und höchste Pass-Raten in allen Tests (Anzahl, Raum, Magnitude).
   • Generative NPPs (DSTPP, SMASH) scheitern oft an der Konsistenzprüfung. DSTPP neigt zu einer systematischen Unterbewertung der Seismizität, während SMASH stark schwankende, „spiky" Vorhersagen macht.
   • Modelle wie NSTPP, DeepSTPP und AutoSTPP konnten nicht im CSEP-Rahmen evaluiert werden, da ihre Sampling-Prozesse zu langsam sind (kein effizientes Generieren von 10.000 Sequenzen möglich).
3. Spezifische Schwächen der NPPs:
   • Fehlende Magnituden-Abhängigkeit: Kein NPP kodiert explizit, dass große Erdbeben die Wahrscheinlichkeit und räumliche Ausdehnung zukünftiger Beben exponentiell erhöhen (ein Kernfeature von ETAS).
   • Begrenztes Gedächtnis: Viele NPPs truncieren die Historie auf die letzten $k$ Ereignisse (z. B. 20) aufgrund von Rechenkosten, während ETAS die gesamte Historie integriert.
   • Inkompatibilität von Training und Evaluation: Generative Modelle werden oft auf das nächste Ereignis trainiert, müssen aber für CSEP ganze Sequenzen simulieren, was zu Diskrepanzen führt.

Hauptbeiträge

1. EarthquakeNPP Benchmark: Schaffung einer standardisierten, reproduzierbaren Plattform mit sauberen, seismologisch relevanten Datensätzen aus Kalifornien, die Datenlecks vermeidet und große Erdbeben einschließt.
2. Kritische Analyse bestehender Benchmarks: Nachweis, dass frühere Benchmarks (z. B. für Japan) durch Datenlecks und das Auslassen von Ausreißern irreführend waren.
3. Umfassende Evaluation: Der erste direkte Vergleich von fünf modernen NPP-Architekturen gegen den etablierten ETAS-Benchmark unter Verwendung sowohl von Likelihood-Metriken als auch von operativen CSEP-Tests.
4. Identifikation von Forschungsbedarf: Definition konkreter „Action Items" für die zukünftige Entwicklung von NPPs, um sie für die Erdbebenvorhersage nutzbar zu machen.

Bedeutung und Ausblick

Die Studie stellt eine wichtige Korrektur für die Machine-Learning-Community dar: Der aktuelle Stand der Technik bei Neuronalen Punktprozessen ist noch nicht reif für den praktischen Einsatz in der operativen Erdbebenvorhersage. Die Flexibilität von NPPs reicht nicht aus, um die physikalisch fundierten Skalierungsgesetze (insbesondere die Magnitudenabhängigkeit) von ETAS zu ersetzen.

Die Autoren schlagen vier konkrete Richtungen für zukünftige Arbeiten vor:

1. Explizite Magnituden-Abhängigkeit: Integration von Magnituden als Feature in die Architektur (z. B. hierarchische Encodings).
2. Skalierbare Langzeit-Gedächtnis-Mechanismen: Entwicklung von Methoden (z. B. Sparse Attention), die die gesamte Erdbebenhistorie effizient verarbeiten können.
3. Ausrichtung von Training und Evaluation: Trainingsziele müssen die Simulation ganzer Sequenzen (wie im CSEP-Test) widerspiegeln, nicht nur das nächste Ereignis.
4. Hybrid-Architekturen: Kombination der Flexibilität neuronaler Netze mit den empirisch fundierten Skalierungsgesetzen (Power-Laws) des ETAS-Modells.

EarthquakeNPP dient als offene Plattform (GitHub), um zukünftige Modelle zu testen und die Zusammenarbeit zwischen Seismologie und Machine Learning zu fördern, mit dem Ziel, Modelle zu entwickeln, die eines Tages in staatliche Warnsysteme integriert werden können.