EarthquakeNPP: A Benchmark for Earthquake Forecasting with Neural Point Processes

El artículo presenta EarthquakeNPP, una nueva plataforma de referencia que corrige deficiencias en benchmarks anteriores y demuestra mediante experimentos que, a diferencia del modelo ETAS, los Procesos Puntuales Neuronales actuales aún no superan los métodos tradicionales para la predicción de sismos.

Lo esencial

¡Claro que sí! Imagina que este artículo es como un informe de pruebas de choque para el mundo de los terremotos, pero en lugar de coches, estamos probando dos tipos de "conductores" que intentan predecir cuándo y dónde ocurrirá el próximo sismo.

Aquí tienes la explicación en español, sencilla y con analogías:

🌍 El Gran Problema: Predecir el Terremoto

Llevamos décadas intentando adivinar cuándo y dónde temblará la tierra. Los sismólogos (los expertos en terremotos) han usado durante mucho tiempo un "manual de instrucciones" clásico llamado ETAS. Piensa en ETAS como un abuelo sabio que conoce muy bien las reglas de la naturaleza: sabe que cuando ocurre un terremoto grande, es muy probable que vengan muchos "chicos" (réplicas) alrededor.

Recientemente, la comunidad de Inteligencia Artificial (IA) ha llegado con una nueva idea: Redes Neuronales de Puntos (NPP). Imagina a estas NPPs como jóvenes genios de la tecnología que prometen aprender patrones complejos y predecir el futuro con mucha más flexibilidad que el abuelo sabio.

🚨 El Problema con las Pruebas Anteriores

El problema es que, hasta ahora, las pruebas para ver quién gana (el abuelo o el joven genio) estaban trucadas:

1. El examen estaba "viciado": En las pruebas anteriores, se le daba al joven genio la respuesta del examen antes de empezar (fuga de datos).
2. Faltaba la parte importante: Se ignoraron los terremotos más grandes y peligrosos (como el de Tohoku en Japón), que son justo los que más nos importan predecir.
3. No se comparaban bien: No se les puso a competir contra el abuelo sabio (ETAS) de verdad.

🛠️ La Solución: EarthquakeNPP (El Nuevo Estadio de Pruebas)

Los autores de este paper crearon un nuevo campo de juego llamado EarthquakeNPP. Es como un laboratorio de pruebas estandarizado y limpio.

• Datos reales: Usaron registros de terremotos reales de California desde 1971 hasta 2021.
• Reglas claras: Separaron los datos en "entrenamiento" (aprender) y "examen" (predecir) de forma cronológica, como pasa en la vida real.
• El rival: Pusieron a los 5 mejores "jóvenes genios" (NPPs) a competir contra el "abuelo sabio" (ETAS).

🏆 El Resultado: ¡El Abuelo Gana!

Después de correr todas las pruebas, el resultado fue sorprendente para la comunidad de IA:

• Ningún joven genio (NPP) superó al abuelo sabio (ETAS).
• En la mayoría de los casos, el modelo clásico (ETAS) predijo mejor cuándo y dónde ocurrirían los terremotos.
• Los modelos de IA funcionaron bien cuando la tierra estaba tranquila (periodos de "fondo"), pero se rindieron o fallaron estrepitosamente cuando ocurrían los grandes terremotos y sus secuelas.

🧠 ¿Por qué fallaron los "jóvenes genios"?

El paper explica que los modelos de IA actuales tienen tres "gaps" o agujeros en su conocimiento:

1. No entienden el tamaño importa: El modelo clásico sabe que un terremoto gigante (M7.0) genera muchas más réplicas que uno pequeño. Los modelos de IA no le dan suficiente peso a la "magnitud" del evento.
2. Memoria corta: Los modelos de IA a veces solo miran los últimos 20 terremotos para predecir el siguiente. El modelo clásico recuerda toda la historia, incluso terremotos grandes que ocurrieron hace años y que aún influyen.
3. Entrenamiento vs. Realidad: Los modelos de IA se entrenan para predecir el siguiente evento, pero en la vida real necesitamos simular una secuencia completa de eventos durante días. Son como un estudiante que estudia para un examen de opción múltiple, pero el examen real es escribir una novela entera.

💡 ¿Qué significa esto para el futuro?

No es que la IA sea mala, es que aún no está lista para ser el piloto automático de los terremotos.

• Conclusión: Por ahora, si quieres predecir terremotos de forma operativa (para alertar a la gente), el modelo clásico (ETAS) sigue siendo el rey.
• El futuro: El paper no es un "fin" para la IA, sino un mapa de ruta. Les dice a los científicos de IA: "Aquí es donde fallaron. Si quieren ayudar de verdad, deben aprender a entender mejor el tamaño de los terremotos y tener una memoria más larga".

En resumen: EarthquakeNPP es un campo de entrenamiento honesto que nos dijo: "¡Oye, IA! Tienes mucho potencial, pero por ahora, el modelo clásico sigue siendo el mejor para salvar vidas. Tienes que aprender más antes de tomar el volante".

Resumen técnico

Resumen Técnico: EarthquakeNPP

1. Planteamiento del Problema

El pronóstico operacional de terremotos ha dependido durante décadas de modelos de procesos puntuales clásicos, siendo el modelo de Secuencia de Réplicas de Tipo Epidémico (ETAS) el estándar de oro en la sismología. Aunque los modelos de Procesos Puntuales Neuronales (NPP) han prometido mayor flexibilidad y mejoras en la literatura de aprendizaje automático, su aplicación en sismología ha enfrentado críticas fundamentales:

• Deficiencias en los Benchmarks existentes: El benchmark anterior (basado en datos de Japón) presentaba fugas de datos (data leakage) debido a divisiones entrenamiento-prueba no cronológicas y omitía la secuencia sísmica más grande de la región (el terremoto de Tohoku de 2011), lo que invalidaba los resultados para fines operativos.
• Falta de comparación justa: Los modelos NPP rara vez se comparaban con el estado del arte sismológico (ETAS) bajo protocolos de evaluación rigurosos.
• Brecha de conocimiento: No existía una plataforma unificada que integrara catálogos públicos, el modelo ETAS y protocolos de evaluación estandarizados (como los de CSEP) para evaluar NPPs en escenarios realistas de pronóstico.

2. Metodología

Los autores introducen EarthquakeNPP, una plataforma de benchmarking que estandariza la evaluación de NPPs en sismología.

• Conjunto de Datos (Datasets):
  • Se curaron catálogos de terremotos de California (1971-2021) de diversas fuentes (USGS ComCat, SCEDC, White et al., QTM).
  • Se abordó el problema de la incompletitud del catálogo (completeness magnitude, $M_c$) mediante el truncamiento de datos y la selección de umbrales de magnitud específicos para cada región.
  • Los datos incluyen desde zonas de falla complejas (San Jacinto) hasta regiones completas, cubriendo magnitudes desde 0.6 hasta 7.0+.
• Modelos Evaluados:
  • Línea Base: Se implementó una versión operacional del modelo ETAS (usando el paquete etas de Mizrahi et al.) como referencia principal.
  • Modelos NPP: Se evaluaron cinco arquitecturas de Procesos Puntuales Neuronales espaciotemporales:
    1. NSTPP: Basado en flujos normalizadores continuos (CNF).
    2. DeepSTPP: Basado en funciones de intensidad condicional con procesos latentes.
    3. AutoSTPP: Integración automática de la intensidad y su derivada.
    4. DSTPP: Proceso de difusión (generativo, sin función de verosimilitud explícita).
    5. SMASH: Estimación de pseudoverosimilitud basada en score matching (generativo).
• Protocolos de Evaluación:
  • Verosimilitud Logarítmica (Log-Likelihood): Métrica estándar para evaluar la densidad de probabilidad temporal y espacial.
  • Pruebas de Consistencia CSEP: Protocolo desarrollado por el Collaboratory for the Study of Earthquake Predictability. Implica simular 10,000 secuencias de terremotos para generar pronósticos diarios y comparar estadísticas de conteo, ubicación, magnitud y verosimilitud pseudo-espaciotemporal contra observaciones reales.

3. Contribuciones Clave

1. Plataforma EarthquakeNPP: Un repositorio público y estandarizado que incluye datos preprocesados, código de entrenamiento y protocolos de evaluación listos para usar, eliminando las fugas de datos de benchmarks anteriores.
2. Evaluación Rigurosa: La primera comparación exhaustiva de NPPs contra ETAS utilizando métricas tanto de verosimilitud como de simulación generativa (CSEP), alineadas con las necesidades de agencias operativas (como USGS).
3. Análisis de Fallos: Identificación sistemática de por qué los modelos NPP actuales fallan en escenarios operativos, específicamente en la incapacidad de modelar la dependencia de la magnitud y la memoria a largo plazo.

4. Resultados Principales

• Rendimiento General: Ninguno de los cinco modelos NPP probados superó al modelo ETAS en ningún conjunto de datos o métrica principal.
• Verosimilitud Temporal: ETAS obtuvo consistentemente la mayor verosimilitud temporal. Los NPPs mostraron un rendimiento competitivo o ligeramente superior solo durante períodos de "fondo" (sin grandes sismos), donde capturan la no estacionariedad mejor que ETAS. Sin embargo, fallaron estrepitosamente durante secuencias de grandes terremotos (ej. Ridgecrest 2019, El Mayor-Cucapah 2010), donde ETAS es superior gracias a su dependencia explícita de la magnitud.
• Verosimilitud Espacial: ETAS superó a todos los NPPs en la predicción espacial, especialmente en áreas de alta sismicidad y agrupación (clustering). Los NPPs mostraron mejor rendimiento relativo en regiones con sismicidad difusa o compleja, pero no lograron replicar la precisión de ETAS en zonas de fallas activas.
• Pruebas CSEP:
  • ETAS: Mostró las tasas de aprobación más altas y la mejor calibración en todas las pruebas (conteo, espacial, magnitud).
  • NPPs Generativos (SMASH, DSTPP): Mostraron tasas de aprobación bajas. SMASH fue muy variable (sobre/subestimación), mientras que DSTPP tendió a subestimar sistemáticamente la sismicidad.
  • Limitación de Simulación: Modelos como NSTPP, DeepSTPP y AutoSTPP no pudieron ser evaluados con CSEP debido a la imposibilidad de generar simulaciones rápidas (muestreo lento) requeridas para los pronósticos operativos.

5. Significado y Conclusiones

El estudio concluye que, aunque los NPPs ofrecen flexibilidad teórica, las implementaciones actuales no son adecuadas para el pronóstico operacional de terremotos. Las limitaciones arquitectónicas identificadas incluyen:

1. Falta de dependencia explícita de la magnitud: Los NPPs no escalan la tasa de eventos y el alcance espacial basándose en la magnitud del evento precedente, un mecanismo crítico en la física de los terremotos.
2. Memoria a corto plazo: Los NPPs suelen truncar la historia de eventos (ej. últimos 20 eventos) por costos computacionales, perdiendo la influencia de eventos grandes distantes en el tiempo, algo que ETAS maneja naturalmente.
3. Desalineación de entrenamiento y evaluación: Los modelos generativos se entrenan para predecir el siguiente evento, pero se evalúan simulando secuencias completas a largo plazo, lo que genera un sesgo en el rendimiento.

Recomendaciones Futuras:
Los autores proponen desarrollar arquitecturas híbridas que incorporen leyes de escalado empíricas (como las leyes de potencia de Gutenberg-Richter) dentro de los NPPs, diseñen mecanismos de memoria a largo plazo escalables y alineen los objetivos de entrenamiento con las métricas de evaluación operacional (simulación de trayectorias).

EarthquakeNPP sirve como un punto de partida esencial para que la comunidad de aprendizaje automático colabore con la sismología, proporcionando un entorno realista para desarrollar modelos que puedan eventualmente integrarse en sistemas de alerta temprana y reducción de riesgos.