When Do Autoregressive Sequence Models Forecast Physical Wavefields? A Controlled Study on Synthetic Seismograms

Resumo Técnico: Quando Modelos de Sequência Autorregressivos Preveem Campos de Ondas Físicos?

Definição do Problema

O artigo aborda o desafio da previsão autorregressiva de longo horizonte para sinais físicos oscilatórios, especificamente sismogramas sintéticos de três componentes. Embora os modelos de sequência (particularmente Transformers causais) tenham um bom desempenho em horizontes curtos, eles sofrem com o acúmulo de erro durante o rollout de livre execução (onde o modelo alimenta suas próprias previsões como entrada).

Para campos de ondas oscilatórios, esse acúmulo manifesta-se principalmente como deriva de fase (phase drift). Pequenos erros de temporização por passo se acumulam ao longo de centenas de passos, fazendo com que a forma de onda prevista deslize para fora de fase com a verdade fundamental (ground truth). Embora o envelope e o conteúdo de frequência possam permanecer plausíveis, a forma de onda torna-se localmente anticorrelacionada com o alvo. Métricas pontuais padrão frequentemente falham em detectar essa falha porque os erros locais permanecem modestos mesmo quando o alinhamento global de fase colapsa. Remédios existentes, como amostragem agendada (scheduled sampling) ou previsão não autorregressiva, não visam explicitamente a fronteira espectral entre previsões sucessivas onde essa deriva se origina.

Metodologia

O estudo utiliza o SeismoGPT, um previsor baseado em Transformer autorregressivo, como um banco de testes para isolar escolhas de design específicas que governam a estabilidade do rollout. Os autores realizam um estudo de ablação intra-arquitetura controlado em sismogramas sintéticos (abrangendo distâncias epicentrais de 10–90°, profundidades de 5–100 km e magnitudes de 3–7).

A configuração experimental envolve:

1. Tokenização: Dados de séries temporais brutos são tokenizados em blocos de 16 amostras através de 3 canais.
2. Backbone: Um codificador Transformer causal vanilla (512 dimensões, 8 cabeças) permanece fixo em todas as configurações para garantir que as comparações isolem componentes específicos.
3. Ablações: Os autores comparam uma linha de base de token único contra quatro configurações:
   • Previsão de Múltiplos Tokens (MTP): O modelo prevê um horizonte de $H=4$ tokens conjuntamente, em vez de um por vez.
   • Cabeça Híbrida de Embedding de Horizonte: Uma única cabeça MLP compartilhada condicionada a embeddings aprendidos por horizonte (em vez de cabeças independentes para cada horizonte).
   • Perda de Coerência de Magnitude de STFT entre Horizontes: Um termo de perda aplicado à concatenação de horizontes adjacentes previstos, medindo a coerência de magnitude de suas Transformadas de Fourier de Curto Prazo (STFT) através de múltiplas resoluções (tamanhos de FFT de 128, 256, 512).
   • Perdas Auxiliares: Perda base log-cosh, MSE de primeira diferença e perda de STFT por horizonte.

A avaliação foca no rollout de livre execução por 240 segundos (aprox. 28 tokens) usando uma razão de contexto ($\rho$) relativa ao intervalo de chegada das ondas P-S. O desempenho é medido via Correlação Cruzada Normalizada (NCC), Razão Sinal-Resíduo (SRR) e erro de Densidade Espectral de Potência (PSD). A significância estatística é estabelecida via testes de postos sinalizados de Wilcoxon pareados com intervalos de confiança de bootstrap sobre 10.000 eventos retidos.

Principais Contribuições

O artigo se enquadra explicitamente como um estudo controlado de estabilidade de rollout, não como um benchmark de arquiteturas de previsão. Suas contribuições são:

1. Quantificação da Previsão de Múltiplos Tokens (MTP): O estudo isola o MTP como o estabilizador dominante para a previsão de longo horizonte de sinais oscilatórios. Habilitar o MTP explica quase todo o ganho de desempenho sobre a linha de base de token único.
2. Ganhos Marginais de Componentes Secundários: Os autores quantificam que a cabeça híbrida de embedding de horizonte e a perda de coerência de magnitude de STFT entre horizontes fornecem melhorias consistentes, porém pequenas (+0,009 e +0,005 de mediana na NCC, respectivamente), apenas quando combinadas com o MTP.
3. Identificação de Regime: O estudo identifica um limiar de desempenho nítido em uma razão de contexto de $\rho \approx 1$. O rollout de longo horizonte confiável requer um comprimento de contexto aproximadamente igual ao intervalo completo P-S do sinal observado; abaixo disso, a generalização colapsa.
4. Análise de Modo de Falha: O artigo identifica que a falha residual dominante é a inversão de polaridade (deriva de fase levando a inversões de sinal). Demonstra que as perdas de magnitude baseadas em espectro (como a perda de coerência de STFT) são inerentemente incapazes de penalizar essas inversões porque $|STFT(x)| = |STFT(-x)|$.

Resultados

• Dominância do MTP: Mudar de previsão de token único para previsão de múltiplos tokens (Ablação C) melhora a mediana da NCC em +0,040 (95% CI [0,038, 0,042]) sobre a linha de base. O modelo completo melhora em +0,045.
• Efeitos Aditivos: Dentro da configuração MTP, a cabeça híbrida adiciona +0,009 de NCC, e a perda de coerência adiciona +0,005 de NCC. As perdas auxiliares sozinhas (sem coerência) degradam levemente a NCC em relação ao MTP-apenas, mas melhoram a forma espectral (erro de PSD).
• Fidelidade Espectral: Enquanto a NCC é impulsionada pelo MTP, as perdas auxiliares e o termo de coerência reduzem significativamente o erro de PSD (de 15,2 para a linha de base para 12,1 para o modelo completo), melhorando a fidelidade da forma espectral (PSD).
• Razão de Contexto: O desempenho permanece alto e estável para $\rho \ge 1$, mas degrada-se bruscamente para $\rho < 1$.
• Modos de Falha: Em cenários de pior caso, o modelo produz formas de onda com conteúdo de frequência correto, mas com polaridade invertida, resultando em valores de NCC negativos (até -0,56). A perda de coerência baseada em magnitude não consegue detectar esses erros.

Significância e Alegações

O artigo alega modestamente identificar quais escolhas de design governam a estabilidade de longo horizonte dentro de uma família específica de modelos autorregressivos, em vez de propor um novo sistema de estado da arte.

• Achado Primário: A previsão de múltiplos tokens é o mecanismo crítico para estabilizar o rollout autorregressivo em sinais físicos oscilatórios.
• Achado Secundário: O embedding de horizonte e a coerência espectral entre horizontes fornecem ganhos marginais e consistentes, mas são insuficientes para resolver o problema fundamental de deriva de fase por si só.
• Limitação: O estudo é limitado a um único conjunto de dados sintéticos e uma única semente de treinamento por configuração. Os autores não alegam que os Transformers causais sejam a melhor classe de modelo para esta tarefa, nem alegam que os efeitos dos componentes se mantenham através de diferentes sementes ou dados do mundo real sem validação adicional.
• Direção Futânea: A incapacidade das perdas baseadas em magnitude de corrigir a inversão de polaridade identifica objetivos sensíveis à fase (ex: STFT complexo, atraso de grupo ou perdas de anti-enrolamento/anti-wrapping) como o próximo passo necessário para abordar o modo de falha residual dominante.