Data-Driven Forecasting of three-Component Seismograms Using Transformer Architectures

Dit artikel introduceert SeismoGPT, een op de transformer gebaseerd autoregressief model dat succesvol driedimensionale seismische waveforms in het tijdsdomein voorspelt door fysiek beperkte dynamische voortzetting te leren, waarbij een hoge fasecoherentie en spectrale nauwkeurigheid bereikt wordt over diverse synthetische scenario's.

De kern

Stel je voor dat je luistert naar een complex muziekstuk, zoals een symfonie, maar je krijgt slechts de eerste paar minuten te horen. Je doel is om precies te raden hoe de rest van het nummer zal klinken, noot voor noot, zonder ooit de werkelijke opname te hebben gehoord.

Dit is in essentie wat het artikel "Data-Driven Forecasting of three-Component Seismograms Using Transformer Architectures" probeert te doen, maar dan met aardbevinggolven in plaats van muziek. De onderzoekers hebben een AI gebouwd genaamd SeismoGPT die fungeert als een muzikale improvisator die miljoenen symfonieën heeft bestudeerd en nu de volgende paar minuten van een nummer kan voorspellen door alleen het begin te horen.

Hier is een overzicht van hoe het werkt en wat ze hebben ontdekt, met behulp van eenvoudige analogieën:

Het Probleem: De Aarde is een Chaotisch Orkest

Het voorspellen van hoe aardbevinggolven door de aarde reizen, is ongelooflijk moeilijk. De aarde is geen gladde, uniforme bol; het is een rommelige, chaotische mix van gesteente, lagen en scheuren. Wanneer een aardbeving plaatsvindt, weerkaatsen, verstrooien en veranderen de golven van snelheid, net zoals licht dat door een caleidoscoop schijnt.

Traditioneel proberen wetenschappers deze golven te voorspellen met supercomputers die complexe natuurkundige vergelijkingen uitvoeren. Maar dit is als proberen de baan van elke individuele regendruppel tijdens een storm te berekenen — het kost te veel tijd en rekenkracht om nuttig te zijn voor realtime waarschuwingen.

De Oplossing: SeismoGPT (Het "Oor" dat Patronen Leert)

In plaats van telkens de natuurkundige vergelijkingen vanaf nul op te lossen, hebben de onderzoekers een AI geleerd om de patronen direct uit data te leren.

• De Training: Ze gebruikten geen echte aardbevingdata (die rommelig en ruisachtig is). In plaats daarvan creëerden ze een enorme bibliotheek van 3,9 miljoen "nep" aardbevingen met behulp van een computersimulatie. Ze wisten precies hoe deze golven zich zouden moeten gedragen, omdat ze de simulatie zelf hadden gebouwd.
• De Taak: Ze lieten de AI het begin van een nep-aardbevinggolf zien (beginnend wanneer de eerste "P-golf" arriveert en doorlopend voorbij de "S-golf"). Daarna vroegen ze de AI om te voorspellen hoe de volgende 2 tot 4 minuten van de golf eruit zouden zien.
• De Architectuur: De AI is gebouwd op een "Transformer"-architectuur (hetzelfde type brein achter geavanceerde taalmodellen zoals degene waarmee je nu praat). In plaats van woorden te lezen, leest het blokken seismische golven. Het kijkt naar het verleden om de toekomst te raden, stukje voor stukje.

Hoe Goed Ging het?

De resultaten waren verrassend goed, maar met specifieke regels:

1. De "Sweet Spot": Wanneer de aardbeving sterk was en niet te ver weg, was de AI een meester in voorspellen. Hij kreeg de timing en de vorm van de golven ongeveer 93% tot 97% van de tijd goed. De AI kon de "coda" (de lange, uitstervende staart van de aardbeving) accuraat voorspellen die de meeste schade aan gebouwen veroorzaakt.
2. De "Wazige" Zone: De AI had moeite wanneer de aardbeving zwak was (kleine magnitude) of zeer ver weg.
   • Analogie: Stel je voor dat je een fluistering probeert te horen vanuit een drukke, lawaaierige stadionzaal. Het signaal is te zwak en wordt door de afstand vervormd. In deze gevallen begon de voorspelling van de AI te "driften". Het maakte geen gekke, onmogelijke geluiden; het kreeg alleen de timing iets fout, zoals een muzikant die de melodie kent maar een paar tellen uit de maat loopt.
3. De "Context"-regel: De AI moet een bepaalde hoeveelheid van de golf horen voordat hij de rest kan voorspellen. De onderzoekers ontdekten dat de AI ten minste één volledig "S-P interval" nodig had (de tijdsafstand tussen de eerste schok en de tweede, sterkere schok) plus een beetje van de trilling die daarop volgde. Als ze de input te kort afkepen, kon de AI de toekomst niet raden. Als ze het hem met wat meer geschiedenis gaven, werden de voorspellingen veel stabieler.

De "Foutmodus"

Wanneer de AI faalde, explodeerde hij niet of produceerde hij onzin. Hij voorspelde geen gigantische golf waar stilte zou moeten zijn. In plaats daarvan produceerde hij een golf die er realistisch uitzag en klonk, maar die uit de pas liep met de werkelijkheid. Het was als een zanger die het lied perfect kent, maar een paar seconden te laat begint te zingen.

Waarom Dit Belangrijk Is (Volgens het Artikel)

Het artikel suggereert dat dit een "proof of concept" is. Het toont aan dat AI de "regels" van hoe aardbevinggolven bewegen kan leren zonder telkens complexe natuurkundige vergelijkingen te hoeven oplossen.

De auteurs noemen specifelijk twee potentiële toepassingen voor deze technologie:

1. Aardbeving-vroegtijdige waarschuwing: Omdat de AI het schadelijke deel van de golf (de oppervlaktegolven) kan voorspellen op basis van de vroege aankomsten, kan het mensen sneller waarschuwen.
2. Gravitatiegolf-observatoria: Ze noemen de Einstein Telescope, een toekomstige observatieplaats die luistert naar rimpelingen in de ruimtetijd. Deze observatoria zijn gevoelig voor de minuscule trillingen die worden veroorzaakt door lokale aardbevingen (Newtoniaanse ruis). Als de AI deze lokale trillingen kan voorspellen, kan het observatorium deze "aftrekken" om de zwakke signalen uit de ruimte beter te kunnen horen.

De Kernboodschap

De onderzoekers hebben een digitale "seismoloog" gebouwd die leerde om aardbevinggolven te voorspellen door miljoenen computergegenereerde voorbeelden te bestuderen. Het werkt erg goed voor sterke, nabijgelegen bevingen en raakt een beetje "uit de toon" bij zwakke, verre bevingen. Het is een veelbelovend nieuw hulpmiddel dat patroonherkenning gebruikt om te doen wat supercomputers normaal gesproken met zware wiskunde doen, wat ons in de toekomst mogelijk helpt om seismische golven sneller en efficiënter te voorspellen.

Technische samenvatting

Technische Samenvatting: Datagestuurde Voorspelling van Drie-componenten Seismogrammen met Transformer-architecturen

Probleemstelling
Nauwkeurige, real-time voorspelling van seismische golfvelden buiten de geobserveerde data blijft een aanzienlijke uitdaging vanwege de niet-lineaire, dispersieve en multi-schaal aard van seismische golfvoortplanting in heterogene media. Conventionele numerieke voorwaartse modellering (bijv. eindverschil- of spectrale elementenmethoden) is computationeel te kostbaar voor hoogwaardige simulaties bij realistische frequenties, met name wanneer korte perioden, lange voortplantingstijden of grote ruimtelijke domeinen betrokken zijn. Hoewel machine learning de vooruitgang in seismische gebeurtenisdetectie en fase-picking heeft bevorderd, is de toepassing ervan op continue, autoregressieve golfvormvoorspelling — het voorspellen van de toekomstige evolutie van een seismogram op basis van het verleden — beperkt gebleven. Deze studie onderzoekt de haalbaarheid van het gebruik van datagestuurde sequentiemodellen om een impliciete evolutie-operator voor seismische golfvormen te leren zonder expliciet de onderliggende elastodynamische vergelijkingen te integreren.

Methodologie
De auteurs introduceren SeismoGPT, een causale, autoregressieve transformer-architectuur die ontworpen is om drie-componenten (ZNE) seismische golfvormen direct in het tijdsdomein te voorspellen. De aanpak behandelt voorspelling als een fysisch beperkt continuatieprobleem.

• Datageneratie: Om een gecontroleerd bewijs van concept (proof-of-concept) te vestigen, maakt de studie gebruik van een synthetische dataset van ongeveer 3,9 miljoen drie-componenten seismogrammen. Deze zijn gegenereerd met Instaseis met het ak135f_2s aardmodel en AxiSEM Green's functies. De dataset dekt brondieptes van 5–100 km, epicentrale afstanden van 10–90°, en momentmagnitudes ($M_w$) van 3 tot 7. Bronmechanismen zijn getrokken uit distributies die zijn aangepast aan de Global CMT-catalogus.
• Tokenisatie: Om de computationele complexiteit van lange sequenties te beheersen, worden ruwe golfvormen opgedeeld in vaste lengte "tokens" (patches) van 16 samples (ca. 8,4 seconden bij de 1,9 Hz bemonsteringssnelheid). Dit vermindert de sequentielengte terwijl de lokale temporele structuur behouden blijft.
• Architectuur: SeismoGPT maakt gebruik van een encoder-only transformer-stack.
  • Token Embedding: Een 1×1 convolutie mengt de drie componenten, gevolgd door mean- en last-sample pooling om vaste dimensies embeddings te creëren.
  • Backbone: Een stack van 8 causale transformer-lagen met multi-head self-attention en Rotary Positional Embeddings (RoPE) modelleert langetermijn-temporele afhankelijkheden.
  • Prediction Head: Een twee-laags feed-forward netwerk brengt de token-representaties terug naar de golfvormruimte.
• Trainingsstrategie: Het model wordt getraind met teacher forcing met een samengestelde loss-functie bestaande uit:
  • Log-cosh loss: Voor tijd-domein getrouwheid en robuustheid tegen uitschieters.
  • Multi-resolutie STFT loss: Om spectrale inhoud over verschillende frequentieschalen te behouden.
  • Temporele delta loss: Om vloeiende overgangen tussen token-grenzen te waarborgen.
  • Cross-horizon coherentie loss: Om spectrale consistentie over meerdere voorspellingshorizonten te handhaven.
    Het model wordt geoptimaliseerd met AdamW en getraind op synthetische data met physics-preserving augmentaties (polariteitsomkeringen en kanaalwisselingen).

Evaluatieprotocol
De voorspellingsprestaties worden geëvalueerd op een hold-out testset met behulp van drie configuraties gedefinieerd door de contextratio ($r$) en de voorspellingshorizon ($\Delta t_{fut}$):

• Context: Het invoervenster begint bij de P-golf aankomst en strekt zich uit tot $t_S + r \times (t_S - t_P)$.
• Horizon: Het model voorspelt de daaropvolgende golfvorm voor 120 s of 240 s in volledig autoregressieve modus (zonder toegang tot de grondwaarheid).
• Metrieken: Prestaties worden gemeten met genormaliseerde cross-correlatie (NCC) voor fase/vorm, signaal-naar-residuele ratio (SRR) voor amplitude-getrouwheid, en PSD log-L2 fout voor spectrale nauwkeurigheid.

Belangrijkste Resultaten

• Algemene Prestaties: SeismoGPT bereikt een mediane NCC boven de 0,93 in alle evaluatieconfiguraties. De horizontale componenten (N, E) presteren over het algemeen iets beter dan de verticale component (Z).
• Context vs. Horizon:
  • Het verdubbelen van de voorspellingshorizon van 120 s naar 240 s (Configuratie A naar B) resulteert in een bescheiden degradatie van de prestaties (ongeveer 2% daling in mediane NCC), toegeschreven aan foutaccumulatie in autoregressieve rollouts.
  • Het verdubbelen van het contextvenster van $1\times(t_S - t_P)$ naar $2\times(t_S - t_P)$ (Configuratie B naar C) herstelt veel van deze verloren prestaties, wat aantoont dat het observeren van ten minste één S–P interval van de post-S golfvorm noodzakelijk is en ongeveer voldoende is voor stabiele voorspelling.
• Foutmodi: Prestaties verslechteren primair in regimes die worden gekenmerkt door grote epicentrale afstanden ($\Delta \gtrsim 50^\circ$), lage magnitudes ($M_w \lesssim 4,5$), en ondiepe brondieptes. In deze gevallen zijn de golfvelden zwak coherent en sterk dispersief. Wanneer er fouten optreden, produceert het model doorgaans fysiek plausibele golfvormen die lijden onder geleidelijke faseverschuiving (phase drift) in plaats van onfysische signaalgeneratie of amplitude-divergentie.
• Representatief Succes: Voor mediane gebeurtenissen voorspelt het model succesvol toekomstige aankomsten voor tot 600 seconden, waarbij de fasecoherentie en de spectrale energieverdeling behouden blijven.

Betekenis en Claims
Het artikel claimt dat SeismoGPT de potentie demonstreert van foundation-model benaderingen voor fysica-gestuurde tijdreeksvoorspelling. De belangrijkste bijdragen zijn:

1. Demonstreren van Haalbaarheid: Het aantonen dat transformer-gebaseerde sequentiemodellen stabiele dynamische continuatie van seismische golfvormen kunnen leren direct uit data, zonder expliciete numerieke integratie van elastodynamische vergelijkingen.
2. Gecontroleerde Baseline: Het bieden van een rigoureus, gecontroleerd bewijs van concept met behulp van synthetische data om de effecten van contextlengte en voorspellingshorizon te isoleren, waarmee een baseline wordt vastgesteld voordat het naar real-world data wordt uitgebreid.
3. Toepassingspotentieel: Het benadrukken van de potentiële bruikbaarheid van de methode voor seismische vroege waarschuwing en gevarenbestrijding. Specifiek merkt de auteur de relevantie op voor volgende generaties zwaartekrachtgolf-observatoria zoals de Einstein Telescope (ET), waarbij het voorspellen van de kortetermijn evolutie van het omgevingsseismische golfveld de actieve mitigatie van Newtonian noise kan informeren.

De auteurs blijven bescheiden over directe inzetbaarheid in de echte wereld, waarbij zij opmerken dat de huidige implementatie een relatief klein model (26M parameters) en synthetische data gebruikt. Zij identificeren toekomstig werk als noodzakelijk om de complexiteit van de echte wereld aan te pakken, inclusief 3D aard-heterogeniteit, hoge frequentie bemonsteringssnelheden en alomtegenwoordige omgevingsruis.