Data-Driven Forecasting of three-Component Seismograms Using Transformer Architectures

Este artículo presenta SeismoGPT, un modelo autorregresivo basado en transformadores que pronostica con éxito formas de onda sísmicas de tres componentes en el dominio del tiempo mediante el aprendizaje de la continuación dinámica físicamente restringida, logrando una alta coherencia de fase y precisión espectral a través de diversos escenarios sintéticos.

Lo esencial

Imagina que estás escuchando una pieza musical compleja, como una sinfonía, pero solo puedes escuchar los primeros minutos. Tu objetivo es adivinar exactamente cómo sonará el resto de la canción, nota por nota, sin haber escuchado nunca la grabación real.

Esto es esencialmente lo que el artículo "Data-Driven Forecasting of three-Component Seismograms Using Transformer Architectures" intenta hacer, pero con ondas sísmicas en lugar de música. Los investigadores han construido una IA llamada SeismoGPT que actúa como un improvisador musical que ha estudiado millones de sinfonías y ahora puede predecir los próximos minutos de una canción con solo escuchar el principio.

Aquí tienes un desglose de cómo funciona y qué descubrieron, utilizando analogías sencillas:

El Problema: La Tierra es una Orquesta Caótica

Predecir cómo viajan las ondas de un terremoto a través de la Tierra es increíblemente difícil. La Tierra no es una bola lisa y uniforme; es una mezcla desordenada y revuelta de rocas, capas y grietas. Cuando ocurre un terremoto, las ondas rebotan, se dispersan y cambian de velocidad, de forma muy similar a la luz que brilla a través de un caleidoscopio.

Tradicionalmente, los científicos intentan predecir estas ondas utilizando supercomputadoras que ejecutan complejas ecuaciones de física. Pero esto es como intentar calcular la trayectoria de cada una de las gotas de lluvia en una tormenta: requiere demasiado tiempo y potencia de cálculo para ser útil para avisos en tiempo real.

La Solución: SeismoGPT (El "Oído" que Aprende Patrones)

En lugar de intentar resolver las ecuaciones de física desde cero cada vez, los investigadores enseñaron a una IA a aprender los patrones directamente de los datos.

• El Entrenamiento: No utilizaron datos de terremotos reales (que son ruidosos y caóticos). En su lugar, crearon una enorme biblioteca de 3,9 millones de "terremotos falsos" utilizando una simulación por computadora. Sabían exactamente cómo deberían comportarse estas ondas porque ellos mismos construyeron la simulación.
• La Tarea: Le mostraron a la IA el principio de una onda de terremoto falsa (comenzando cuando llega la primera "onda P" y continuando más allá de la "onda S"). Luego, le pidieron a la IA que predijera cómo se verían los siguientes 2 a 4 minutos de la onda.
• La Arquitectura: La IA está construida sobre una arquitectura "Transformer" (el mismo tipo de cerebro detrás de los modelos de lenguaje avanzados como el que estás usando ahora). En lugar de leer palabras, lee fragmentos de ondas sísmicas. Observa el pasado para adivinar el futuro, pieza por pieza.

¿Qué tan bien funcionó?

Los resultados fueron sorprendentemente buenos, pero con ciertas reglas específicas:

1. El "Punto Dulce": Cuando el terremoto era fuerte y no estaba demasiado lejos, la IA era una maestra de la predicción. Acertaba la sincronización y la forma de las ondas aproximadamente entre el 93% y el 97% de las veces. Podía predecir con precisión la "coda" (la cola larga y desvaneciente del terremoto) que causa la mayor parte de los daños a los edificios.
2. La Zona "Borrosa": La IA tuvo dificultades cuando el terremoto era débil (magnitud pequeña) o estaba muy lejos.
   • Analogía: Imagina intentar escuchar un susurro desde el otro lado de un estadio lleno de gente y con mucho ruido. La señal es demasiado débil y se distorsiona debido a la distancia. En estos casos, la predicción de la IA empezaba a "derivar". No inventaba sonidos locos o imposibles; simplemente acertaba ligeramente mal el ritmo, como un músico que conoce la melodía pero va unos compases retrasado.
3. La Regla del "Contexto": La IA necesita escuchar cierta cantidad de la onda antes de poder predecir el resto. Los investigadores descubrieron que la IA necesitaba escuchar al menos un intervalo completo "S-P" (el lapso de tiempo entre el primer temblor y el segundo, más fuerte) más un poco del temblor que le sigue. Si recortaban la entrada, la IA no podía adivinar el futuro. Si le daban un poco más de historia, las predicciones se volvían mucho más estables.

El Modo de "Fallo"

Cuando la IA fallaba, no explotaba ni creaba disparates. No predecía una ola gigante donde debería haber silencio. En su lugar, producía una onda que parecía y sonaba realista, pero que estaba desincronizada con la real. Era como un cantante que conoce la canción perfectamente pero empieza a cantar unos segundos tarde.

Por qué esto es importante (según el artículo)

El artículo sugiere que esto es una "prueba de concepto". Demuestra que la IA puede aprender las "reglas" de cómo se mueven las ondas sísmicas sin necesidad de resolver complejas ecuaciones de física cada vez.

Los autores mencionan específicamente dos usos potenciales para esta tecnología:

1. Alerta Temprana de Terremotos: Dado que la IA puede predecir la parte dañina de la onda (las ondas superficiales) basándose en las llegadas tempranas, podría ayudar a avisar a la gente más rápido.
2. Observatorios de Ondas Gravitacionales: Mencionan el Telescopio Einstein, un futuro observatorio que escucha las ondulaciones en el espacio-tiempo. Estos observatorios son sensibles a las diminutas vibraciones causadas por terremotos locales (ruido Newtoniano). Si la IA puede predecir estas vibraciones locales, el observatorio podría "restar" estas vibraciones para escuchar las señales débiles provenientes del espacio.

La Conclusión

Los investigadores construyeron un "sismólogo digital" que aprendió a predecir las ondas de los terremotos estudiando millones de ejemplos generados por computadora. Funciona muy bien para terremotos fuertes y cercanos, y se desajusta un poco para los débiles y distantes. Es una herramienta prometedora que utiliza el reconocimiento de patrones para hacer lo que las supercomputadoras suelen hacer con matemáticas pesadas, permitiendo potencialmente predecir las ondas sísmicas de manera más rápida y eficiente en el futuro.

Resumen técnico

Resumen Técnico: Pronóstico Basado en Datos de Sismogramas de Tres Componentes Mediante Arquitecturas Transformer

Planteamiento del Problema
El pronóstico preciso y en tiempo real de los campos de ondas sísmicas más allá de los datos observados sigue siendo un desafío significativo debido a la naturaleza no lineal, dispersiva y multiescala de la propagación de ondas sísmicas en medios heterogéneos. El modelado numérico directo convencional (por ejemplo, Métodos de Diferencias Finitas o de Elementos Espectrales) es computacionalmente prohibitivo para simulaciones de alta fidelidad a frecuencias realistas, particularmente cuando se trata de periodos cortos, tiempos de propagación largos o dominios espaciales extensos. Si bien el aprendizaje automático ha avanzado en la detección de eventos sísmicos y la localización de fases, su aplicación al pronóstico de formas de onda continuo y autorregresivo —predecir la evolución futura de un sismograma basada en observaciones pasadas— ha sido limitada. Este estudio aborda la viabilidad del uso de modelos de secuencia basados en datos para aprender un operador de evolución implícito para las formas de onda sísmicas sin integrar explícitamente las ecuaciones elastodinámicas gobernantes.

Metodología
Los autores presentan SeismoGPT, una arquitectura transformer causal y autorregresiva diseñada para pronosticar formas de onda sísmicas de tres componentes (ZNE) directamente en el dominio del tiempo. El enfoque trata el pronóstico como un problema de continuación con restricciones físicas.

• Generación de Datos: Para establecer un concepto de prueba controlado, el estudio utiliza un conjunto de datos sintéticos de aproximadamente 3.9 millones de sismogramas de tres componentes. Estos son generados utilizando Instaseis con el modelo terrestre ak135f_2s y funciones de Green de AxiSEM. El conjunto de datos cubre profundidades de fuente de 5–100 km, distancias epicentrales de 10–90° y magnitudes de momento ($M_w$) de 3 a 7. Los mecanismos de fuente se extraen de distribuciones ajustadas al catálogo Global CMT.
• Tokenización: Para gestionar la complejidad computacional de secuencias largas, las formas de onda crudas se particionan en "tokens" (parches) de longitud fija de 16 muestras (aprox. 8.4 segundos a la tasa de muestreo de 1.9 Hz). Esto reduce la longitud de la secuencia preservando la estructura temporal local.
• Arquitectura: SeismoGPT emplea una pila de codificador (encoder-only) de tipo transformer.
  • Incrustación de Tokens (Token Embedding): Una convolución 1×1 mezcla las tres componentes, seguida de un pooling de media y de la última muestra para crear incrustaciones de dimensión fija.
  • Backbone: Una pila de 8 capas de transformer causales con atención de múltiples cabezales (multi-head self-attention) y Embebedimientos Posicionales Rotatorios (RoPE) modela las dependencias temporales de largo alcance.
  • Cabeza de Predicción: Una red feed-forward de dos capas mapea las representaciones de los tokens de vuelta al espacio de la forma de onda.
• Estrategia de Entrenamiento: El modelo se entrena mediante teacher forcing con una función de pérdida compuesta que incluye:
  • Pérdida Log-cosh: Para la fidelidad en el dominio del tiempo y robustez ante valores atípicos.
  • Pérdida STFT multi-resolución: Para preservar el contenido espectral a través de diferentes escalas de frecuencia.
  • Pérdida de delta temporal: Para asegurar transiciones suaves entre los límites de los tokens.
  • Pérdida de coherencia de horizonte cruzado: Para mantener la consistencia espectral a través de múltiples horizontes de predicción.
    El modelo se optimiza con AdamW y se entrena con datos sintéticos con aumentos que preservan la física (inversiones de polaridad y cambios de canal).

Protocolo de Evaluación
El rendimiento del pronóstico se evalúa en un conjunto de prueba de exclusión utilizando tres configuraciones definidas por la relación de contexto ($r$) y el horizonte de predicción ($\Delta t_{fut}$):

• Contexto: La ventana de entrada comienza en la llegada de la onda P y se extiende hasta $t_S + r \times (t_S - t_P)$.
• Horizonte: El modelo predice la forma de onda subsecuente durante 120 s o 240 s en modo totalmente autorregresivo (sin acceso a la verdad de campo).
• Métricas: El rendimiento se mide mediante Correlación Cruzada Normalizada (NCC) para fase/forma, Relación Señal-Residuo (SRR) para la fidelidad de amplitud y error log-L2 de PSD para la precisión espectral.

Resultos Clave

• Rendimiento General: SeismoGPT logra una mediana de NCC superior a 0.93 en todas las configuraciones de evaluación. Las componentes horizontales (N, E) generalmente funcionan ligeramente mejor que la componente vertical (Z).
• Contexto vs. Horizonte:
  • Duplicar el horizonte de predicción de 120 s a 240 s (Configuración A a B) resulta en una degradación modesta en el rendimiento (caída de aprox. 2% en la mediana de NCC), atribuida a la acumulación de errores en los despliegues (rollouts) autorregresivos.
  • Duplicar la ventana de contexto de $1\times(t_S - t_P)$ a $2\times(t_S - t_P)$ (Configuración B a C) recupera gran parte de este rendimiento perdido, demostrando que observar al menos un intervalo S–P de la forma de onda post-S es necesario y aproximadamente suficiente para un pronóstico estable.
• Modos de Fallo: El rendimiento se degrada principalmente en regímenes caracterizados por grandes distancias epicentrales ($\Delta \gtrsim 50^\circ$), magnitudes bajas ($M_w \lesssim 4.5$) y profundidades de fuente someras. En estos casos, los campos de ondas son débilmente coherentes y altamente dispersivos. Cuando ocurren fallos, el modelo típicamente produce formas de onda físicamente plausibles que sufren de una deriva de fase gradual en lugar de generación de señales no físicas o divergencia de amplitud.
• Éxito Representativo: Para eventos medianos, el modelo predice con éxito las llegadas futuras hasta por 600 segundos, preservando la coherencia de fase y la distribución de energía espectral.

Significancia y Reivindicaciones
El artículo afirma que SeismoGPT demuestra el potencial de los enfoques de modelos fundacionales para el pronóstico de series temporales impulsado por la física. Las contribuciones clave son:

1. Demostrar la Viabilidad: Mostrar que los modelos de secuencia basados en transformers pueden aprender la continuación dinámica estable de las formas de onda sísmicas directamente de los datos, sin la integración numérica explícita de las ecuaciones elastodinámicas.
2. Línea Base Controlada: Proporcionar un concepto de prueba controlado y riguroso utilizando datos sintéticos para aislar los efectos de la longitud del contexto y el horizonte de predicción, estableciendo una línea base antes de extenderse a datos del mundo real.
3. Potencial de Aplicación: Destacar la utilidad potencial del método en la alerta temprana sísmica y la mitigación de riesgos. Específicamente, los autores señalan su relevancia para los observatorios de ondas gravitacionales de próxima generación como el Einstein Telescope (ET), donde el pronóstico de la evolución a corto plazo del campo de ondas sísmico ambiental podría informar la mitigación activa del ruido Newtoniano.

Los autores mantienen la modestia respecto a la implementación inmediata en el mundo real, señalando que la implementación actual utiliza un modelo relativamente pequeño (26 millones de parámetros) y datos sintéticos. Identifican que es necesario el trabajo futuro para abordar las complejidades del mundo real, incluyendo la heterogeneidad de la Tierra en 3D, altas tasas de muestreo de frecuencia y el ruido ambiental omnipresente.