Data-Driven Forecasting of three-Component Seismograms Using Transformer Architectures

Cet article présente SeismoGPT, un modèle autorégressif basé sur les transformeurs qui prévoit avec succès des formes d'ondes sismiques à trois composantes dans le domaine temporel en apprenant une continuation dynamique à contraintes physiques, atteignant une cohérence de phase et une précision spectrale élevées à travers divers scénarios synthétiques.

L'essentiel

Imaginez que vous écoutez une pièce de musique complexe, comme une symphonie, mais que vous n'en entendez que les premières minutes. Votre objectif est de deviner exactement comment le reste de la chanson sonnera, note par note, sans jamais avoir entendu l'enregistrement réel.

C'est essentiellement ce que l'article « Data-Driven Forecasting of three-Component Seismograms Using Transformer Architectures » tente de faire, mais avec des ondes sismiques au lieu de la musique. Les chercheurs ont construit une IA nommée SeismoGPT qui agit comme un improvisateur musical ayant étudié des millions de symphonies et capable de prédire les quelques minutes suivantes d'une chanson en entendant simplement le début.

Voici une décomposition de son fonctionnement et de leurs découvertes, en utilisant des analogies simples :

Le Problème : La Terre est un orchestre chaotique

Prédire comment les ondes de tremblement de terre voyagent à travers la Terre est incroyablement difficile. La Terre n'est pas une boule lisse et uniforme ; c'est un mélange désordonné et complexe de roches, de couches et de fissures. Lorsqu'un séisme se produit, les ondes rebondissent, se dispersent et changent de vitesse, un peu comme la lumière traversant un kaléidoscope.

Traditionnellement, les scientifiques tentent de prédire ces ondes à l'aide de supercalculateurs qui exécutent des équations physiques complexes. Mais cela revient à essayer de calculer la trajectoire de chaque goutte de pluie dans une tempête — cela prend trop de temps et de puissance de calcul pour être utile pour des alertes en temps réel.

La Solution : SeismoGPT (L'« oreille » qui apprend les motifs)

Au lieu d'essayer de résoudre les équations physiques à chaque fois, les chercheurs ont appris à une IA à apprendre les motifs directement à partir des données.

• L'Entraînement : Ils n'ont pas utilisé de données de séismes réels (qui sont désordonnées et bruitées). À la place, ils ont créé une immense bibliothèque de 3,9 millions de « faux » séismes à l'aide d'une simulation informatique. Ils savaient exactement comment ces ondes devraient se comporter car ils ont eux-mêmes construit la simulation.
• La Tâche : Ils ont montré à l'IA le début d'une onde de séisme fictive (commençant lors de l'arrivée de la première « onde P » et se poursuivant au-delà de l'« onde S »). Ensuite, ils ont demandé à l'IA de prédire à quoi ressembleraient les 2 à 4 minutes suivantes de l'onde.
• L'Architecture : L'IA est basée sur une architecture « Transformer » (le même type de cerveau derrière les modèles de langage avancés comme celui avec lequel vous discutez actuellement). Au lieu de lire des mots, elle lit des segments d'ondes sismiques. Elle regarde le passé pour deviner le futur, petit morceau par petit morceau.

À quel point cela a-t-il fonctionné ?

Les résultats ont été étonnamment bons, mais avec des règles spécifiques :

1. Le « Point Idéal » : Lorsque le séisme était fort et pas trop éloigné, l'IA était un prédicteur magistral. Elle a réussi à prédire le timing et la forme des ondes environ 93 % à 97 % du temps. Elle pouvait prédire avec précision la « coda » (la longue queue décroissante du séisme) qui cause le plus de dégâts aux bâtiments.
2. La Zone « Floue » : L'IA a eu des difficultés lorsque le séisme était faible (faible magnitude) ou très éloigné.
   • Analogie : Imaginez essayer d'entendre un murmure à travers un stade bondé et bruyant. Le signal est trop faible et se trouve déformé par la distance. Dans ces cas, la prédiction de l'IA commençait à « dériver ». Elle ne créait pas de sons impossibles ou aberrants ; elle se trompait simplement légèrement sur le timing, comme un musicien qui connaît la mélodie mais qui est décalé de quelques temps.
3. La Règle du « Contexte » : L'IA a besoin d'entendre une certaine quantité de l'onde avant de pouvoir prédire la suite. Les chercheurs ont constaté que l'IA avait besoin d'entendre au moins un « intervalle S-P » complet (le laps de temps entre la première secousse et la seconde, plus forte) plus un peu de la secousse qui suit. Si l'entrée était coupée prématurément, l'IA ne pouvait pas deviner le futur. Si on lui donnait un peu plus d'historique, les prédictions devenaient beaucoup plus stables.

Le Mode de « Défaillance »

Lorsque l'IA échouait, elle n'explosait pas et ne produisait pas de choses insensées. Elle ne prédisait pas une vague géante là où il devrait y avoir du silence. Au lieu de cela, elle produisait une onde qui semblait et sonnait réaliste, mais qui était désynchronisée de la réalité. C'était comme un chanteur qui connaît parfaitement la chanson, mais qui commence à chanter avec quelques secondes de retard.

Pourquoi cela importe (selon l'article)

L'article suggère qu'il s'agit d'une « preuve de concept ». Cela montre que l'IA peut apprendre les « règles » de mouvement des ondes sismiques sans avoir besoin de résoudre des équations physiques complexes à chaque fois.

Les auteurs mentionnent spécifiquement deux utilisations potentielles pour cette technologie :

1. Alerte Précoce des Séismes : Puisque l'IA peut prédire la partie destructrice de l'onde (les ondes de surface) en se basant sur les premières arrivées, elle pourrait aider à avertir les gens plus rapidement.
2. Observatoires d'Ondes Gravitationnelles : Ils mentionnent le Télescope Einstein, un futur observatoire qui écoute les ondulations de l'espace-temps. Ces observatoires sont sensibles aux minuscules vibrations causées par les séismes locaux (bruit Newtonien). Si l'IA peut prédire ces vibrations locales, l'observatoire pourrait les « soustraire » pour mieux entendre les signaux ténus provenant de l'espace.

L'Essentiel

Les chercheurs ont construit un « sismologue numérique » qui a appris à prédire les ondes sismiques en étudiant des millions d'exemples générés par ordinateur. Cela fonctionne très bien pour les séismes forts et proches, et devient un peu « désaccordé » pour les séismes faibles et lointains. C'est un nouvel outil prometteur qui utilise la reconnaissance de formes pour faire ce que les supercalculateurs font habituellement avec des mathématiques lourdes, permettant potentiellement de prédire les ondes sismiques plus rapidement et plus efficacement à l'avenir.

Résumé technique

Résumé technique : Prévision pilotée par les données de sismogrammes à trois composantes utilisant des architectures Transformer

Énoncé du problème
La prévision précise et en temps réel des champs d'ondes sismiques au-delà des données observées reste un défi majeur en raison de la nature non linéaire, dispersive et multi-échelle de la propagation des ondes sismiques dans les milieux hétérogènes. La modélisation numérique directe conventionnelle (par exemple, les méthodes de différences finies ou d'éléments spectraux) est extrêmement coûteuse en termes de calcul pour les simulations à haute fidélité aux fréquences réalistes, particulièrement lorsque les périodes sont courtes, les temps de propagation longs ou les domaines spatiaux étendus. Bien que l'apprentissage automatique ait fait progresser la détection d'événements sismiques et la sélection de phases, son application à la prévision de formes d'ondes continues et autorégressives — prédire l'évolution future d'un sismogramme sur la base d'observations passées — est restée limitée. Cette étude examine la faisabilité de l'utilisation de modèles de séquences pilotés par les données pour apprendre un opérateur d'évolution implicite pour les formes d'ondes sismiques sans intégrer explicitement les équations élastodynamiques directes.

Méthodologie
Les auteurs présentent SeismoGPT, une architecture transformer causale et autorégressive conçue pour prévoir directement les formes d'ondes sismiques à trois composantes (ZNE) dans le domaine temporel. L'approche traite la prévision comme un problème de continuation sous contraintes physiques.

• Génération de données : Pour établir une preuve de concept contrôlée, l'étude utilise un ensemble de données synthétiques d'environ 3,9 millions de sismogrammes à trois composantes. Celles-ci sont générées avec Instaseis en utilisant le modèle de la Terre ak135f_2s et les fonctions de Green d'AxiSEM. Le jeu de données couvre des profondeurs de source de 5 à 100 km, des distances épicentrales de 10 à 90° et des magnitudes de moment ($M_w$) allant de 3 à 7. Les mécanismes de source sont tirés de distributions ajustées à partir du catalogue Global CMT.
• Tokenisation : Pour gérer la complexité computationnelle des séquences longues, les formes d'ondes brutes sont partitionnées en « tokens » (patchs) de longueur fixe de 16 échantillons (environ 8,4 secondes au taux d'échantillonnage de 1,9 Hz). Cela réduit la longueur de la séquence tout en préservant la structure temporelle locale.
• Architecture : SeismoGPT emploie une pile de transformers de type encodeur uniquement.
  • Embedding de tokens : Une convolution 1×1 mélange les trois composantes, suivie d'un pooling de moyenne et du dernier échantillon pour créer des embeddings de dimension fixe.
  • Backbackbone : Une pile de 8 couches de transformer causales avec auto-attention multi-têtes et des plongements de position rotatifs (RoPE) modélise les dépendances temporelles à longue portée.
  • Tête de prédiction : Un réseau de propagation vers l'avant (feed-forward) à deux couches projette les représentations de tokens vers l'espace des formes d'ondes.
• Stratégie d'entraînement : Le modèle est entraîné par force de l'enseignant (teacher forcing) en utilisant une fonction de perte composite comprenant :
  • Une perte Log-cosh : pour la fidélité temporelle et la robustesse aux valeurs aberrantes.
  • Une perte STFT multi-résolution : pour préserver le contenu spectral à travers différentes échelles de fréquences.
  • Une perte de delta temporel : pour assurer des transitions fluides entre les limites de tokens.
  • Une perte de cohérence d'horizon croisé : pour maintenir la cohérence spectrale à travers plusieurs horizons de prédiction.
    Le modèle est optimisé avec AdamW et entraîné sur des données synthétiques avec des augmentations préservant la physique (inversions de polarité et permutations de canaux).

Protocole d'évaluation
La performance de prévision est évaluée sur un ensemble de test distinct en utilisant trois configurations définies par le ratio de contexte ($r$) et l'horizon de prédiction ($\Delta t_{fut}$) :

• Contexte : La fenêtre d'entrée commence à l'arrivée de l'onde P et s'étend jusqu'à $t_S + r \times (t_S - t_P)$.
• Horizon : Le modèle prédit la forme d'onde suivante pendant 120 s ou 240 s en mode entièrement autorégressif (sans accès à la vérité terrain).
• Métriques : La performance est mesurée par la corrélation croisée normalisée (NCC) pour la phase/forme, le rapport signal-résidu (SRR) pour la fidélité d'amplitude, et l'erreur log-L2 de la densité spectrale de puissance (PSD) pour la précision spectrale.

Résultats clés

• Performance globale : SeismoGPT atteint une médiane de NCC supérieure à 0,93 dans toutes les configurations d'évaluation. Les composantes horizontales (N, E) performent généralement légèrement mieux que la composante verticale (Z).
• Contexte vs Horizon :
  • Doubler l'horizon de prédiction de 120 s à 240 s (Configuration A à B) entraîne une dégradation modeste des performances (baisse d'environ 2 % de la médiane de NCC), attribuée à l'accumulation d'erreurs lors des déploiements (rollouts) autorégressifs.
  • Doubler la fenêtre de contexte de $1\times(t_S - t_P)$ à $2\times(t_S - t_P)$ (Configuration B à C) permet de récupérer une grande partie de cette performance perdue, démontrant qu'observer au moins un intervalle S–P de la forme d'onde post-S est nécessaire et approximativement suffisant pour une prévision stable.
• Modes de défaillance : La performance se dégrade principalement dans les régimes caractérisés par de grandes distances épicentrales ($\Delta \gtrsim 50^\circ$), de faibles magnitudes ($M_w \lesssim 4,5$) et des profondeurs de source peu élevées. Dans ces cas, les champs d'ondes sont faiblement cohérents et hautement dispersifs. Lorsque des échecs surviennent, le modèle produit typiquement des formes d'ondes physiquement plausibles qui souffrent d'une dérive de phase graduelle plutôt que de génération de signaux non physiques ou de divergence d'amplitude.
• Succès représentatif : Pour les événements médians, le modèle prédit avec succès les arrivées futures jusqu'à 600 secondes, préservant la cohérence de phase et la distribution de l'énergie spectrale.

Signification et revendications
L'article affirme que SeismoGPT démontre le potentiel des approches de type « modèle de fondation » pour la prévision de séries temporelles pilotée par la physique. Les principales contributions sont :

1. Démontrer la faisabilité : Montrer que les modèles de séquences basés sur les transformers peuvent apprendre une continuation dynamique stable des formes d'ondes sismiques directement à partir des données, sans intégration numérique explicite des équations élastodynamiques.
2. Base de référence contrôlée : Fournir une preuve de concept rigoureuse et contrôlée utilisant des données synthétiques pour isoler les effets de la longueur du contexte et de l'horizon de prédiction, établissant ainsi une base avant l'extension aux données réelles.
3. Potentiel d'application : Souligner l'utilité potentielle de la méthode pour l'alerte précoce sismique et l'atténuation des risques. Plus précisément, les auteurs notent sa pertinence pour les observatoires d'ondes gravitationnelles de nouvelle génération comme l'Einstein Telescope (ET), où la prévision de l'évolution à court terme du champ d'ondes sismiques ambiantes pourrait éclairer l'atténuation active du bruit newtonien.

Les auteurs restent modestes quant à un déploiement immédiat dans le monde réel, notant que l'implémentation actuelle utilise un modèle relativement petit (26M de paramètres) et des données synthétiques. Ils identifient la nécessité de travaux futurs pour traiter les complexités du monde réel, notamment l'hétérogénéité 3D de la Terre, les taux d'échantillonnage haute fréquence et le bruit environnemental omniprésent.