When Do Autoregressive Sequence Models Forecast Physical Wavefields? A Controlled Study on Synthetic Seismograms

Resumen Técnico: ¿Cuándo los modelos de secuencias autorregresivos pronostican campos de ondas físicos?

Planteamiento del problema

El artículo aborda el desafío del pronóstico autorregresivo de largo horizonte para señales físicas oscilatorias, específicamente sismogramas sintéticos de tres componentes. Si bien los modelos de secuencias (particularmente los transformadores causales) funcionan bien en horizontes cortos, sufren de acumulación de errores durante el desplieg de ejecución libre (donde el modelo retroalimenta sus propias predicciones como entrada).

Para los campos de ondas oscilatorias, esta acumulación se manifiesta principalmente como un desplazamiento de fase (phase drift). Los pequeños errores de temporización por paso se acumulan a lo largo de cientos de pasos, causando que la forma de onda predicha se desplace de fase respecto a la verdad de campo. Aunque la envolvente y el contenido de frecuencia pueden permanecer plausibles, la forma de onda se vuelve localmente anticorrelacionada con el objetivo. Las métricas puntuales estándar a menudo no logran detectar este fallo porque los errores locales siguen siendo modestos incluso cuando el alineamiento de fase global colapsa. Los remedios existentes, como el muestreo programado o el pronóstico no autorregresivo, no abordan explícitamente el límite espectral entre predicciones sucesivas donde se origina este desplazamiento.

Metodología

El estudio utiliza SeismoGPT, un pronosticador basado en transformadores autorregresivos, como banco de pruebas para aislar decisiones de diseño específicas que gobiernan la estabilidad del desplieg de ejecución (rollout). Los autores realizan un estudio de ablación intra-arquitectura controlado sobre sismogramas sintéticos (que abarcan distancias epicentrales de 10–90°, profundidades de 5–100 km y magnitudes de 3–7).

La configuración experimental involucra:

1. Tokenización: Los datos de series temporales crudos se tokenizan en fragmentos de 16 muestras a través de 3 canales.
2. Backbone: Un codificador de transformador causal vanilla (512 dimensiones, 8 cabezales) permanece fijo en todas las configuraciones para asegurar que las comparaciones aíslen componentes específicos.
3. Ablaciones: Los autores comparan una línea base de un solo token contra cuatro configuraciones:
   • Predicción de Múltiples Tokens (MTP): El modelo predice un horizonte de $H=4$ tokens de forma conjunta en lugar de uno a la vez.
   • Cabezal Híbrido de Incrustación de Horizonte: Un único cabezal MLP compartido condicionado en incrustaciones aprendidas por horizonte (en lugar de cabezales independientes para cada horizonte).
   • Coherencia de Magnitud STFT entre Horizontes: Un término de pérdida aplicado a la concatenación de horizontes adyacentes predichos, que mide la coherencia de magnitud de sus Transformadas de Fourier de Tiempo Corto (STFT) a través de múltiples resoluciones (tamaños de FFT de 128, 256, 512).
   • Pérdidas Auxiliares: Pérdida base log-cosh, MSE de primera diferencia y pérdida STFT por horizonte.

La evaluación se centra en un desplieg de ejecución libre (free-running rollout) de 240 segundos (aprox. 28 tokens) utilizando una relación de contexto ($\rho$) relativa al intervalo de llegada de las ondas P-S. El rendimiento se mide mediante Correlación Cruzada Normalizada (NCC), Relación Señal-Residuo (SRR) y error de Densidad Espectral de Potencia (PSD). La significancia estadística se establece mediante pruebas de rango de Wilcoxon con signo apareado con intervalos de confianza de bootstrap sobre 10,000 eventos retenidos.

Contribuciones Clave

El artículo se enmarca explícitamente como un estudio controlado de la estabilidad del desplieg de ejecución, no como un benchmark de arquitecturas de pronóstico. Sus contribuciones son:

1. Cuantificación de la Predicción de Múltiples Tokens (MTP): El estudio aísla la MTP como el estabilizador dominante para el pronóstico de ondas oscilatorias de largo horizonte. Habilitar la MTP explica casi la totalidad de la ganancia de rendimiento sobre la línea base de un solo token.
2. Ganancias Marginales de Componentes Secundarios: Los autores cuantifican que el cabezal híbrido de incrustación de horizonte y la pérdida de coherencia de magnitud STFT entre horizontes proporcionan mejoras pequeñas pero consistentes y aditivas (+0.009 y +0.005 en la mediana de NCC, respectivamente) solo cuando se combinan con MTP.
3. Identificación de Regímenes: El estudio identifica un umbral de rendimiento agudo en una relación de contexto de $\rho \approx 1$. Un desplieg de largo horizonte fiable requiere una longitud de contexto aproximadamente igual al intervalo completo de la onda P-S del objeto observado; por debajo de esto, la generalización colapsa.
4. Análisis de Modos de Fallo: El artículo identifica que el fallo residual dominante es la inversión de polaridad (desplazamiento de fase que conduce a cambios de signo). Demuestra que las pérdidas espectrales basadas en magnitud (como la pérdida de coherencia STFT) son inherentemente incapaces de penalizar estas inversiones porque $|STFT(x)| = |STFT(-x)|$.

Resultados

• Dominancia de MTP: Cambiar de predicción de un solo token a predicción de múltiples tokens (Ablación C) mejora la mediana de la NCC en +0.040 (95% CI [0.038, 0.042]) sobre la línea base. El modelo completo mejora en +0.045.
• Efectos Aditivos: Dentro de la configuración MTP, el cabezal híbrido añade +0.009 a la NCC, y la pérdida de coherencia añade +0.005. Las pérdidas auxiliares por sí solas (sin coherencia) degradan ligeramente la NCC respecto a MTP-solo, pero mejoran la forma espectral (error PSD).
• Fidelidad Espectral: Mientras que la NCC es impulsada por MTP, las pérdidas auxiliares y el término de coherencia reducen significativamente el error PSD (de 15.2 para la línea base a 12.1 para el modelo completo), mejorando la fidelidad de la forma espectral.
• Relación de Contexto: El rendimiento se mantiene alto y estable para $\rho \ge 1$, pero se degrada bruscamente para $\rho < 1$.
• Modos de Fallo: En los peores escenarios, el modelo produce formas de onda con contenido de frecuencia correcto pero con polaridad invertida, resultando en valores de NCC negativos (hasta -0.56). La pérdida de coherencia basada en magnitud no puede detectar estos errores.

Significancia y Reivindicaciones

El artículo reivindica modestamente haber identificado qué decisiones de diseño gobiernan la estabilidad de largo horizonte dentro de una familia autorregresiva específica, en lugar de proponer un nuevo sistema de estado del arte.

• Hallazgo Principal: La predicción de múltiples tokens es el mecanismo crítico para estabilizar el desplieg autorregresivo en señales físicas oscilatorias.
• Hallazgo Secundario: La incrustación de horizonte y la coherencia espectral entre horizontes proporcionan ganancias marginales y consistentes, pero son insuficientes para resolver el problema fundamental del desplazamiento de fase por sí solas.
• Limitación: El estudio se limita a un único conjunto de datos sintéticos y una única semilla de entrenamiento por configuración. Los autores no afirman que los transformadores causales sean la mejor clase de modelo para esta tarea, ni afirman que los efectos de los componentes se mantengan a través de diferentes semillas o datos del mundo real sin validación adicional.
• Dirección Futura: La incapacidad de las pérdidas basadas en magnitud para corregir la inversión de polaridad identifica a los objetivos conscientes de la fase (por ejemplo, STFT compleja, retardo de grupo o pérdidas de anti-envolvimiento) como el siguiente paso necesario para abordar el modo de fallo residual dominante.