EarthquakeNPP: A Benchmark for Earthquake Forecasting with Neural Point Processes

Ce papier présente EarthquakeNPP, une nouvelle plateforme de benchmarking qui corrige les failles des évaluations précédentes et démontre que, contrairement aux attentes, les processus ponctuels neuronaux actuels ne surpassent pas le modèle sismologique classique ETAS pour la prévision des tremblements de terre.

L'essentiel

🌍 Le Défi : Prévoir les Secousses comme un Météo

Imaginez que vous essayez de prédire la météo, mais au lieu de la pluie ou du soleil, vous devez prédire quand et où la Terre va trembler. C'est le défi de la sismologie.

Depuis des décennies, les scientifiques utilisent une "recette" classique, appelée le modèle ETAS. C'est un peu comme une vieille recette de cuisine éprouvée : elle dit que si un gros tremblement de terre (un séisme majeur) se produit, il va probablement déclencher une série de répliques plus petites, un peu comme des éclaboussures après un grand coup de marteau. Cette recette fonctionne bien, mais elle est rigide.

Récemment, l'intelligence artificielle (IA) a fait son entrée dans la cuisine avec des modèles ultra-sophistiqués appelés Processus Ponctuels Neuronaux (NPP). L'idée était : "Et si on laissait une IA apprendre toute seule les règles du jeu, sans recette préétablie ?" L'espoir était que l'IA soit plus flexible et plus précise que la vieille recette.

🔍 Le Problème : Une Cuisine Truquée

Le problème, c'est que jusqu'à présent, on testait ces nouvelles IA dans une cuisine truquée.

1. La recette manquait le plat principal : Les anciens tests omettaient les plus gros tremblements de terre (comme le séisme de 2011 au Japon), qui sont pourtant les plus importants à prévoir.
2. La triche : On donnait aux IA des indices sur le futur (comme leur montrer la réponse avant de leur poser la question), ce qui faussait les résultats.
3. Pas de comparaison honnête : On ne comparait pas les IA à la "vieille recette" (ETAS) dans des conditions réelles.

🛠️ La Solution : EarthquakeNPP, le Nouveau Terrain de Jeu

Les auteurs de cet article (de l'Université de Bristol) ont créé EarthquakeNPP. C'est un nouveau terrain de jeu standardisé, transparent et honnête pour tester les IA contre la recette classique.

Ils ont pris des données réelles de la Californie (de 1971 à 2021), nettoyé les données pour enlever les erreurs, et créé plusieurs scénarios :

• Des zones avec beaucoup de petits séismes.
• Des zones avec de gros séismes.
• Des zones avec des séismes très profonds.

Ils ont ensuite invité 5 IA différentes (les NPP) à jouer contre le modèle ETAS (la référence).

🏆 Le Résultat : La Vieille Recette Gagne (Pour l'instant)

Après avoir fait courir les IA sur ce nouveau terrain de jeu, le verdict est sans appel : Aucune des 5 IA n'a battu le modèle classique ETAS.

Voici pourquoi, avec des analogies :

1. L'IA oublie la force du coup : Les IA sont très douées pour voir des motifs complexes dans les petits tremblements de terre (comme des secousses de fond). Mais quand un gros séisme arrive, elles paniquent. Elles ne comprennent pas que la taille du séisme initial change tout. Le modèle ETAS, lui, sait que "plus le coup est fort, plus les éclaboussures sont grandes". Les IA n'ont pas encore intégré cette règle physique fondamentale.
2. La mémoire courte : Pour être rapides, les IA regardent seulement les derniers événements (comme si elles oubliaient ce qui s'est passé il y a 10 ans). Le modèle ETAS, lui, se souvient de toute l'histoire du tremblement de terre, ce qui est crucial pour prédire les répliques lointaines.
3. Le problème de la simulation : Pour être utiles en temps réel, les modèles doivent pouvoir simuler des milliers de futurs possibles. Certaines IA sont si complexes qu'elles mettent des jours à faire une seule simulation, alors que le modèle classique le fait en une seconde.

💡 Ce que cela signifie pour le futur

Ne vous inquiétez pas, ce n'est pas la fin de l'IA pour les séismes ! C'est plutôt un guide de réparation.

L'article dit : "Les IA sont prometteuses, mais elles sont encore des bébés qui apprennent à marcher. Elles sont trop rapides pour les petits pas, mais elles tombent quand il y a un gros obstacle."

Pour que l'IA devienne utile pour les agences gouvernementales (comme aux États-Unis ou en Europe), les chercheurs doivent maintenant :

• Enseigner la physique aux IA : Leur apprendre explicitement que la taille d'un séisme influence la taille des répliques.
• Donner une meilleure mémoire : Leur permettre de se souvenir de l'histoire complète, pas juste des 20 derniers événements.
• Rendre la simulation plus rapide : Pour qu'elles puissent être utilisées en temps réel lors d'une crise.

🎯 En résumé

EarthquakeNPP est comme un nouveau stade de sport officiel. On y a fait courir les nouveaux athlètes (les IA) contre le champion en titre (le modèle ETAS).
Résultat : Le champion a gagné. Mais le nouveau stade est excellent car il montre exactement où les nouveaux athlètes trébuchent. Maintenant, les ingénieurs savent exactement quoi améliorer pour que, dans quelques années, l'IA puisse enfin aider à sauver des vies en prévoyant les séismes avec une précision incroyable.

C'est une étape nécessaire : on ne peut pas construire un gratte-ciel (une IA parfaite) sans d'abord vérifier que les fondations (les données et les tests) sont solides.

Résumé technique

Voici un résumé technique détaillé de l'article "EarthquakeNPP: A Benchmark for Earthquake Forecasting with Neural Point Processes", publié dans Transactions on Machine Learning Research (mars 2026).

1. Problématique

La prévision opérationnelle des séismes repose depuis des décennies sur des modèles de processus ponctuels classiques, notamment le modèle ETAS (Epidemic-Type Aftershock Sequence). Bien que performant, ce modèle paramétrique à faible dimensionnalité est limité par sa structure rigide et son incapacité à capturer des dépendances non linéaires complexes.

Récemment, la communauté du Machine Learning a proposé des Processus Ponctuels Neuronaux (NPP) comme alternative plus flexible. Cependant, l'évaluation de ces modèles souffre de lacunes critiques :

• Benchmarks obsolètes : Les jeux de données précédents (notamment ceux utilisés pour les modèles NSTPP) contiennent des fuites de données (data leakage) dues à des splits train-test non chronologiques et excluent les plus grandes séquences sismiques (ex: séisme de Tohoku 2011), rendant les résultats non pertinents pour la sismologie opérationnelle.
• Comparaison insuffisante : Les NPP sont souvent comparés à des baselines faibles ou à d'autres NPP, sans confrontation directe avec l'état de l'art sismologique (ETAS).
• Absence de validation générative : Les évaluations se limitent souvent à la vraisemblance (log-likelihood) sans tester la capacité des modèles à simuler des séquences complètes, ce qui est crucial pour la prévision opérationnelle.

2. Méthodologie et Plateforme EarthquakeNPP

Les auteurs introduisent EarthquakeNPP, une plateforme de benchmarking complète conçue pour combler ces écarts.

A. Collecte et Prétraitement des Données

La plateforme utilise des catalogues sismiques publics couvrant diverses régions de la Californie de 1971 à 2021. Les jeux de données incluent :

• ComCat : Catalogue national des États-Unis (USGS).
• SCEDC : Réseau sismique du sud de la Californie.
• QTM & White : Catalogues haute résolution utilisant des techniques de détection modernes (template matching, réseaux denses) pour inclure des séismes de faible magnitude (jusqu'à Mw 0.6).
• Prétraitement rigoureux : Les données sont tronquées au-dessus d'une magnitude de complétude ($M_c$) spécifique à chaque région et période pour éviter les biais d'incomplétude des catalogues. La partition des données est strictement chronologique (Burn-in -> Entraînement -> Validation -> Test) pour simuler une prévision opérationnelle réelle.

B. Modèles Évalués

Cinq architectures de NPP spatio-temporels sont comparées au modèle de référence ETAS (implémenté via le package etas de Mizrahi et al.) :

1. NSTPP (Chen et al., 2021) : Basé sur des flows de normalisation continus (CNF).
2. DeepSTPP (Zhou et al., 2022) : Basé sur une fonction d'intensité conditionnelle non paramétrique.
3. AutoSTPP (Zhou & Yu, 2024) : Intégration automatique de l'intégrale de l'intensité.
4. DSTPP (Yuan et al., 2023) : Processus ponctuel par diffusion (modèle génératif sans fonction de vraisemblance explicite).
5. SMASH (Li et al., 2023) : Estimation de pseudo-vraisemblance par score matching.

C. Protocoles d'Évaluation

Deux cadres d'évaluation sont utilisés :

1. Métriques de Vraisemblance : Log-vraisemblance temporelle et spatiale sur les données de test.
2. Tests de Cohérence CSEP : Conformément aux protocoles du Collaboratory for the Study of Earthquake Predictability, les modèles génératifs (ETAS, DSTPP, SMASH) sont évalués en simulant 10 000 séquences de séismes sur des fenêtres de 24 heures. Les statistiques testent la cohérence des prévisions en termes de nombre d'événements, de localisation spatiale, de magnitude et de vraisemblance pseudo-log.

3. Résultats Principaux

Les expériences menées sur les différents jeux de données révèlent des résultats sans équivoque :

• Performance Globale : Aucun des cinq NPP testés ne surpasse le modèle ETAS de manière significative. Dans la plupart des cas, ETAS obtient les meilleurs scores de log-vraisemblance temporelle et spatiale.
• Échec lors des grands séismes : Les NPP montrent des performances médiocres lors des séquences de répliques majeures (ex: séismes de Ridgecrest 2019, El Mayor-Cucapah 2010). Contrairement à ETAS, qui utilise explicitement la magnitude pour moduler l'intensité des déclenchements futurs, les NPP peinent à capturer l'impact exponentiel des grands événements.
• Performance en période calme : Les NPP surpassent parfois ETAS durant les périodes de "fond" (background) sans grands séismes, grâce à leur capacité à modéliser la non-stationnarité des données, une propriété que le modèle ETAS standard (taux de fond constant) ne capture pas bien.
• Limites des modèles génératifs : Les modèles DSTPP et SMASH, bien qu'ayant des architectures génératives, échouent souvent aux tests de cohérence CSEP. DSTPP sous-estime systématiquement l'activité sismique, tandis que SMASH produit des prévisions trop variables ("spiky") avec de nombreuses erreurs de sur/sous-estimation.
• Efficacité computationnelle : Bien que certains NPP (DeepSTPP, AutoSTPP) soient plus rapides à l'entraînement que ETAS grâce à l'accélération GPU, leur capacité de simulation (inference) pour les prévisions opérationnelles est souvent limitée ou trop lente, contrairement à la simulation efficace de type "branching process" d'ETAS.

4. Contributions Clés

1. EarthquakeNPP : Une plateforme open-source standardisée fournissant des données, des protocoles de prétraitement et des scripts d'évaluation reproductibles, alignés sur les besoins de la communauté sismologique.
2. Correction des biais existants : Démystification des benchmarks précédents en montrant comment les fuites de données et l'exclusion des grands séismes ont artificiellement gonflé les performances des NPP.
3. Analyse comparative rigoureuse : Première comparaison à grande échelle entre les NPP modernes et l'état de l'art opérationnel (ETAS) utilisant des métriques reconnues par les sismologues (CSEP).
4. Identification des lacunes architecturales : Le papier identifie précisément pourquoi les NPP échouent actuellement (manque de dépendance explicite à la magnitude, mémoire à court terme tronquée, désalignement entre objectifs d'entraînement et évaluation opérationnelle).

5. Signification et Perspectives

Ce travail conclut que, malgré leur flexibilité théorique, les implémentations actuelles des NPP ne sont pas encore adaptées à la prévision opérationnelle des séismes. Le modèle ETAS, bien que paramétrique, reste supérieur car il intègre des lois d'échelle empiriques (comme la relation magnitude-fréquence) et une dépendance explicite à la magnitude des événements passés.

Les auteurs proposent quatre axes d'amélioration pour la recherche future :

1. Encodage explicite de la magnitude : Intégrer la magnitude comme variable conditionnelle directe dans les architectures neuronales.
2. Mémoire à long terme scalable : Développer des mécanismes (attention diluée, hiérarchique) permettant aux modèles de se souvenir de l'ensemble de l'histoire sismique, et non seulement des derniers événements.
3. Alignement entraînement-évaluation : Adapter les fonctions de perte des modèles génératifs pour optimiser directement la simulation de séquences complètes sur des horizons longs.
4. Architectures hybrides : Combiner la flexibilité des réseaux de neurones avec les lois physiques et statistiques éprouvées d'ETAS (ex: noyaux de déclenchement en loi de puissance appris).

En résumé, EarthquakeNPP établit un nouveau standard pour l'évaluation des modèles d'apprentissage automatique en sismologie, soulignant la nécessité d'une collaboration plus étroite entre les communautés du Machine Learning et de la sismologie pour développer des outils réellement utiles pour la réduction des risques sismiques.