When Do Autoregressive Sequence Models Forecast Physical Wavefields? A Controlled Study on Synthetic Seismograms

Sintesi Tecnica: Quando i Modelli di Sequenza Autoregressivi Prevedono Campi d'Onda Fisici?

Definizione del Problema

Il documento affronta la sfida della previsione autoregressiva a lungo termine per segnali fisici oscillatori, nello specifico sismogrammi sintetici a tre componenti. Sebbene i modelli di sequenza (in particolare i transformer causali) si comportino bene su orizzonti brevi, soffrono di accumulo di errore durante il rollout a ciclo libero (dove il modello utilizza le proprie previsioni come input).

Per i campi d'onda oscillatori, questo accumulo si manifesta principalmente come deriva di fase. Piccoli errori temporali per ogni passo si cumulano su centinaia di passi, causando lo scivolamento della forma d'onda predetta rispetto al valore reale (ground truth). Mentre l'inviluppo e il contenuto in frequenza possono rimanere plausibili, la forma d'onda diventa localmente anti-correlata con il target. Le metriche standard puntuali spesso non riescono a rilevare questo fallimento perché gli errori locali rimangono modesti anche quando l'allineamento di fase globale crolla. I rimedi esistenti, come lo scheduled sampling o la previsione non autoregressiva, non mirano esplicitamente al confine spettrale tra previsioni successive da cui ha origine questa deriva.

Metodologia

Lo studio utilizza SeismoGPT, un previsore basato su transformer autoregressivo, come banco di prova per isolare le specifiche scelte di progettazione che governano la stabilità del rollout. Gli autori conducono uno studio di ablazione intra-architetturale controllato su sismogrammi sintetici (che spaziano da distanze epicentrali di 10–90°, profondità di 5–100 km e magnitudo di 3–7).

L'assetto sperimentale prevede:

1. Tokenizzazione: I dati di serie temporali grezzi sono tokenizzati in chunk da 16 campioni attraverso 3 canali.
2. Backbone: Un encoder transformer causale vanilla (512 dimensioni, 8 teste) rimane fisso in tutte le configurazioni per garantire che i confronti isolino componenti specifiche.
3. Ablazioni: Gli autori confrontano un baseline a singolo token con quattro configurazioni:
   • Multi-Token Prediction (MTP): Il modello predice un orizzonte di $H=4$ token congiuntamente anziché uno alla volta.
   • Hybrid Head con Horizon-Embedding: Un singolo head MLP condiviso, condizionato su embedding di orizzonte appresi (rispetto a head indipendenti per ogni orizzonte).
   • Cross-Horizon STFT Magnitude Coherence Loss: Un termine di perdita applicato alla concatenazione di orizzonti adiacenti predetti, che misura la coerenza di magnitudo delle loro trasformate di Fourier a breve termine (STFT) attraverso molteplici risoluzioni (dimensioni FFT 128, 256, 512).
   • Loss Ausiliarie: Loss log-cosh base, MSE della prima differenza e STFT loss per orizzonte.

L'valutazione si concentra sul rollout a ciclo libero su 240 secondi (circa 28 token) utilizzando un rapporto di contesto ($\rho$) relativo all'intervallo di arrivo delle onde P-S. Le prestazioni sono misurate tramite Correlazione Incrociata Normalizzata (NCC), Rapporto Segnale-Residuo (SRR) e errore della Densità Spettrale di Potenza (PSD). La significatività statistica è stabilita tramite test Wilcoxon signed-rank accoppiati con intervalli di confidenza bootstrap su 10.000 eventi tenuti fuori dal training (held-out).

Contributi Chiave

Il documento inquadra esplicitamente se stesso come uno studio controllato della stabilità del rollout, non come un benchmark di architetture di previsione. I suoi contributi sono:

1. Quantificazione della Multi-Token Prediction (MTP): Lo studio isola la MTP come il stabilizzatore dominante per la previsione a lungo termine di segnali oscillatori. L'abilitazione della MTP spiega quasi l'intero guadagno di prestazioni rispetto al baseline a singolo token.
2. Guadagni Marginali dalle Componenti Secondarie: Gli autori quantificano che l'hybrid head con horizon-embedding e la cross-horizon STFT magnitude coherence loss forniscono miglioramenti additivi piccoli ma consistenti (+0.009 e +0.005 di mediana NCC, rispettivamente) solo quando combinati con la MTP.
3. Identificazione del Regime: Lo studio identifica una soglia di prestazione netta a un rapporto di contesto $\rho \approx 1$. Un rollout affidabile a lungo termine richiede una lunghezza di contesto approssimativamente uguale all'intero intervallo P-S del segnale osservato; al di sotto di questo, la generalizzazione crolla.
4. Analisi dei Modi di Fallimento: Il documento identifica che il fallimento residuo dominante è l'inversione di polarità (deriva di fase che porta a flip del segno). Dimostra che le perdite basate sulla magnitudo (come la coherence loss della STFT) sono intrinsecamente incapaci di penalizzare queste inversioni perché $|STFT(x)| = |STFT(-x)|$.

Risultati

• Dominanza della MTP: Passare dalla previsione a singolo token alla multi-token prediction (Ablazione C) migliora la mediana della NCC di +0.040 (95% CI [0.038, 0.042]) rispetto al baseline. Il modello completo migliora di +0.045.
• Effetti Additivi: All'interno del setting MTP, l'hybrid head aggiunge +0.009 NCC, e la coherence loss aggiunge +0.005 NCC. Le loss ausiliarie da sole (senza coherence) degradano leggermente la NCC rispetto alla sola MTP ma migliorano la forma spettrale (errore PSD).
• Fedeltà Spettrale: Mentre la NCC è guidata dalla MTP, le loss ausiliarie e il termine di coerenza riducono significativamente l'errore PSD (da 15.2 per il baseline a 12.1 per il modello completo), migliorando la fedeltà della forma spettrale (PSD).
• Rapporto di Contesto: Le prestazioni rimangono alte e stabili per $\rho \ge 1$, ma degradano bruscamente per $\rho < 1$.
• Modi di Fallimento: Negli scenari peggiori, il modello produce forme d'onda con corretto contenuto in frequenza ma con polarità invertita, risultando in valori di NCC negativi (fino a -0.56). La coherence loss basata sulla magnitudo non può rilevare questi errori.

Significato e Rivendicazioni

Il documento rivendica modestamente di aver identificato quali scelte di progettazione governano la stabilità a lungo termine all'interno di una specifica famiglia autoregressiva, piuttosto che proporre un nuovo sistema allo stato dell'arte.

• Risultato Primario: La multi-token prediction è il meccanismo critico per stabilizzare il rollout autoregressivo su segnali fisici oscillatori.
• Risultato Secondario: L'horizon-embedding e la coerenza spettrale cross-horizon forniscono guadagni marginali e consistenti, ma sono insufficienti a risolvere il problema fondamentale della deriva di fase da sole.
• Limitazione: Lo studio è limitato a un singolo dataset sintetico e a un singolo seed di training per configurazione. Gli autori non affermano che i transformer causali siano la migliore classe di modelli per questo compito, né affermano che gli effetti delle componenti si mantengano attraverso diversi seed o dati reali senza ulteriore validazione.
• Direzione Futura: L'incapacità delle loss basate sulla magnitudo di correggere l'inversione di polarità identifica gli obiettivi sensibili alla fase (es. STFT complessa, group-delay o loss di anti-wrapping) come il passo necessario per affrontare il principale modo di fallimento residuo.