Trio: Learning Time-Series Forecasting with Temporal-Spatial-Sample Attention and Structural Causal Priors

Sintesi Tecnica: Trio - Apprendere la Previsione di Serie Temporali con l'Attenzione Temporale-Spaziale-Campionaria e Prior Causali Strutturali

Problema
La previsione di serie temporali multivariate richiede che i modelli ragionino su tre dimensioni complesse: dinamiche temporali, dipendenze tra variabili incrociate e corrispondenze storiche tra input e output. Sebbene i recenti Prior-Data Fitted Networks (PFN) abbiano dimostrato successo nell'apprendimento tabulare, addestrandosi su compiti sintetici per apprendere strategie di inferenza trasferibili, l'applicazione diretta di questo paradigma alle serie temporali è una sfida. I classici prior tabulari non riescono a catturare le proprietà essenziali delle serie temporali come l'ordine temporale, i ritardi dinamici (lag) e i pattern ricorrenti storici. Inoltre, la maggior parte dei modelli di previsione esistenti viene addestrata in modo supervisionato su dataset specifici, limitando la loro capacità di apprendere meccanismi di previsione generalizzabili che siano trasferibili tra diversi compiti. La domanda centrale affrontata è come un modello di previsione possa riutilizzare esplicitamente esempi storici di input-output all'interno di un contesto temporale lungo, invece di trattare la storia meramente come una sequenza piatta.

Metodologia
Il paper propone Trio, un'architettura di previsione di serie temporali consapevole dei campioni (sample-aware), e un generatore di Modelli Causali Strutturali per Serie Temporali (TS-SCM) per creare prior sintetici strutturati.

1. Architettura Trio (Attenzione Temporale-Spaziale-Campionaria):

   • Riorganizzazione dei Dati: Invece di elaborare una sequenza storica continua, Trio riorganizza l'input in un insieme di coppie input-output storiche (segmenti lookback-future) e una finestra di query corrente. Ciò modella esplicitamente la corrispondenza tra i passati input e i loro futuri risultati.
   • Attenzione Tridimensionale: Il modello impiega un encoder alternato con tre meccanismi di attenzione complementari:
     • Attenzione Temporale: Cattura i pattern dinamici all'interno della finestra utilizzando l'auto-attenzione causale su token di patch.
     • Attenzione Spaziale: Modella le dipendenze tra le variabili in ogni posizione di finestra e patch.
     • Attenzione Campionaria (Sample Attention): Recupera i rilevanti accoppiamenti storici lookback-future per guidare la previsione corrente. A differenza della standard sample attention che utilizza un singolo token CLS, Trio esegue un recupero patch-wise dove i token di query del futuro corrente prestano attenzione ai token di prompt del futuro aggregati storicamente. Ciò consente al modello di assorbire selettivamente mappature input-output utili dai segmenti precedenti.
   • Costruzione dei Token: I segmenti lookback e future storici sono incorporati (embedded) separatamente. La finestra corrente utilizza query token apprendibili come segnaposti per il futuro, che interrogano la memoria storica durante l'attenzione campionaria.

2. Generatore TS-SCM:

   • Per supportare l'apprendimento in stile PFN, gli autori introducono un generatore che crea compiti sintetici strutturati che riflettono la complessità del mondo reale.
   • Meccanismi: Simula sistemi dinamici causali multivariati con meccanismi nodali eterogenei, ritardi dinamici a livello di arco (che possono essere dipendenti dallo stato o dalla storia), processi di rumore, loop di feedback e drift distribuzionali.
   • Calendario degli Eventi: Utilizza un calendario di eventi basato su push per gestire la pianificazione dei ritardi continui e la propagazione ritardata fluida, evitando l'approssimazione grossolana dei ritardi.
   • Stabilità: Il generatore include un campionamento di grafi consapevole della stabilità per prevenire traiettorie instabili pur garantendo la diversità.

Contributi Chiave

1. Architettura Trio: Un'architettura consapevole dei campioni che decompone la previsione multivariata in attenzione temporale, spaziale e a livello di campione. Tratta i lunghi contesti storici come esempi strutturati di input-output piuttosto che come sequenze indifferenziate.
2. Generatore TS-SCM: Un generatore di compiti sintetici orientato alla previsione capace di simulare complessi sistemi dinamici con ritardi dinamici, interazioni tra variabili incrociate e transizioni non stazionarie, fornendo un prior più ricco per l'apprendimento di comportamenti trasferibili.
3. Validazione Empirica: Esperimenti completi su compiti sintetici di dipendenza ritardata, dataset industriali e benchmark pubblici (ETT, Weather, Electricity) che validano l'efficacia dell'architettura. Il paper include anche esperimenti esplorativi zero-shot per valutare la trasferibilità dei prior generati da TS-SCM.

Risultati Sperimentali

• Compiti Sintetici: Sui dataset progettati per testare la selezione delle variabili e le dipendenze ritardate, l'aggiunta dell'Attenzione Campionaria ha ridotto significativamente l'Errore Quadratico Medio (MSE) rispetto a un modello base senza di essa (ad esempio, l'MSE è sceso da 0.706 a 0.298 sul Synthetic Dataset #1).
• Benchmark Pubblici: Trio ha ottenuto il miglior MSE medio su tre dei quattro dataset pubblici (ETTm1, ETTm2, Electricity). Sul dataset Weather, è stato competitivo, ottenendo il miglior risultato all'orizzonte più breve (96 step), sebbene TimeMixer++ sia stato superiore mediamente.
• Contesti Lunghi: Il modello beneficia di lunghezze di contesto maggiori, ma i guadagni di performance si stabilizzano o calano se il contesto diventa eccessivamente lungo, suggerendo la necessità di una modellazione del contesto lungo moderata piuttosto che un aumento cieco della storia.
• Trasferimento Zero-Shot: Negli esperimenti esplorativi zero-shot (addestramento solo su dati sintetici TS-SCM e test su benchmark reali ETT), il generatore proposto ha superato altre strategie sintetiche (Causal Dynamics, LMC Synth) in MSE su tre dei quattro dataset e in MAE su tutti e quattro. Tuttavia, gli autori osservano che diversi prior catturano aspetti diversi della dinamica e i risultati non sono uniformi tra tutte le metriche.

Significatività e Rivendicazioni
Il paper rivendica con modestia lo studio di come gli esempi storici di input-output possano essere esplicitamente organizzati e riutilizzati all'interno di un modello di previsione, piuttosto che sostenere di aver risolto il problema della previsione completa in stile PFN per le serie temporali. La significatività risiede nel:

• Dimostrare che la modellazione esplicita delle mappature input-output storiche tramite l'attenzione campionaria migliora le prestazioni su compiti con dipendenze ritardate.
• Mostrare che i compiti sintetici strutturati (TS-SCM) possono fornire utili prior strutturali per il transfer learning, come evidenziato dai risultati zero-shot.
• Riconoscere che, sebbene i compiti generati da TS-SCM offrano indizi di trasferimento promettenti, "la previsione completa in stile PFN per le serie temporali rimane un problema aperto".

Il lavoro si posiziona come un passo verso meccanismi di previsione più generalizzabili, sfruttando evidenze storiche strutturate e prior sintetici causali, senza sopravvalutare la maturità della previsione zero-shot per le serie temporali.