Sintesi Tecnica: TiRex-2

Definizione del Problema

La previsione di serie temporali nel mondo reale è intrinsecamente sequenziale e multivariata. Le osservazioni arrivano continuamente, le variabili evolvono congiuntamente e un sottoinsieme di covariate (ad esempio, caratteristiche del calendario, interventi programmati) è spesso noto in anticipo. Sebbene gli esistenti Modelli Fondazionali per Serie Temporali (TSFM) come Chronos-2 e MOIRAI abbiano dimostrato forti capacità multivariate, essi si affidano prevalentemente ad architetture Transformer. Questi modelli soffrono di due criticità fondamentali negli scenari di streaming:

1. Complessità Quadratica: I costi di inferenza crescono quadraticamente con la lunghezza del contesto a causa dei meccanismi di attenzione, e richiede la ricalcolazione dell'intera cronologia man mano che arrivano nuove osservazioni.
2. Gestione delle Covariate: Molti modelli faticano a integrare le covariate note nel futuro senza violare la stretta causalità sulle variabili target, oppure mancano di supporto sia per le covariate passate che per quelle future simultaneamente.

Al contrario, i modelli univariati molto performanti (ad esempio, TiRex, Reverso) spesso si affidano ad assunzioni di indipendenza dei canali, trascurando le dipendenze cross-variate essenziali per i sistemi multivariati. Esiste un vuoto nei modelli fondazionali multivariati scalabili che supportino l'inferenza in streaming con costi costanti, mantenendo al contempo una stretta causalità per il target e sfruttando le covariate note nel futuro.

Metodologia

Gli autori introducono TiRex-2, un modello fondazionale ricorrente basato su xLSTM, progettato per generalizzare la previsione univariata a contesti multivariati con sia covariate passate che future.

Architettura

TiRex-2 impiega un design centrato sulla memoria basato su xLSTM (specificamente blocchi mLSTM e sLSTM alternati), consentendo aggiornamenti a costo costante per patch. L'architettura alterna due blocchi di mixing:

1. Time Mixer: Agisce lungo l'asse della patch ($L$) indipendentemente per ogni variabile.
   • I token del target e delle covariate passate sono elaborati da un xLSTM strettamente forward (diretto).
   • I token delle covariate note nel futuro sono elaborati dallo stesso xLSTM con pesi condivisi in modalità reverse (inverso), e i passaggi forward e reverse sono fusi linearmente. Ciò consente alle covariate note nel futuro di codificare informazioni sia prima che dopo la loro posizione senza violare la causalità per i target.
2. Variate Mixer: Agisce lungo l'asse delle variabili ($V$) utilizzando un'attenzione di gruppo asimmetrica.
   • Utilizza un'attenzione di gruppo a blocchi diagonali per gestire un numero arbitrario di variabili senza padding.
   • Fondamentalmente, utilizza una maschera asimmetrica dove le query del target possono leggere le chiavi delle covariate, ma le query delle covariate non possono leggere le chiavi del target. Ciò garantisce che le covariate note nel futuro possano influenzare i target, ma che i target non possano influenzare le covariate, preservando la stretta causalità.

Addestramento e Generazione dei Dati

Per supportare un pre-addestramento multivariato scalabile senza dipendere da scarsi corpora multivariati curati, gli autori propongono una pipeline di accoppiamento sintetico. Questa pipeline:

• Estrae serie univariate da grandi corpora.
• Le aumenta (trend di ampiezza, censura, picchi).
• Le accoppia on-the-fly utilizzando diversi meccanismi: accoppiamento identità, funzionale, mixing lineare, cointegrazione e sia modelli causali strutturali (SCM) lineari che non lineari.
• Applica il post-processing (arricchimento delle covariate, warping temporale, discretizzazione) per creare istanze di addestramento multivariate realistiche con dipendenze cross-variate controllabili.

Efficienza dell'Inferenza

La natura ricorrente del backbone xLSTM permette l'inferenza in streaming. Man mano che arrivano nuove patch di dati, il modello aggiorna il suo stato nascosto in tempo costante ($O(1)$ per patch), in contrasto con i costi lineari ($O(L)$) o quadratici ($O(L^2)$) dei modelli basati su attenzione con KV caching o ricalcolazione completa.

Contributi Chiave

1. Modello Fondazionale Multivariato Ricorrente: TiRex-2 estende il TiRex univariato per modellare congiuntamente molteplici variabili target con covariate osservate (passate) e future. Attiva 38,4 milioni di parametri in modalità univariata e ulteriori 44,1 milioni per la previsione multivariata.
2. Causalità Stretta con Covariate Future: Attraverso la combinazione di xLSTM bidirezionale per le covariate e l'attenzione di gruppo asimmetrica, il modello integra le covariate note nel futuro in modo bidirezionale garantendo al contempo che i flussi del target rimangano strettamente causali in un singolo passaggio forward.
3. Streaming a Costo Costante: La natura ricorrente dello stato consente aggiornamenti incrementali, permettendo alle previsioni di essere aggiornate con un calcolo a tempo costante per ogni passo temporale, indipendente dalla lunghezza del contesto.
4. Pipeline di Accoppiamento Sintetico: Un framework di generazione dati che costruisce diversi campioni multivariati da corpora univariati, modellando esplicitamente dipendenze cross-variate indirette, causali e dirette per espandere la distribuzione di addestramento effettiva.

Risultati

Gli autori valutano TiRex-2 su compiti di previsione zero-shot, in streaming e a lungo orizzonte:

• Prestazioni Zero-Shot: TiRex-2 raggiunge prestazioni allo stato dell'arte su fev-bench (per sondare l'utilizzo delle covariate) e GIFT-Eval (per sondare la generalizzazione tra domini e frequenze), superando modelli come Chronos-2, MOIRAI-2 e TimesFM-2.5.
• Stabilità in Streaming: Negli esperimenti di streaming fino a 32 milioni di passi, TiRex-2 mantiene una qualità di previsione stabile (MASE) ben oltre i confini del contesto di addestramento (8k post-addestramento), senza mostrare segni di saturazione o deriva.
• Previsione a Lungo Orizzonte: Sul benchmark dysts (sistemi caotici), TiRex-2 guida nei segmenti a breve e medio orizzonte, estraendo efficacemente il segnale dalle variabili di stato per mantenere l'accuratezza.
• Sensibilità allo Shift delle Covariate: TiRex-2 mantiene segnali utili delle covariate su un intervallo di lag più ampio rispetto a Chronos-2, dimostrando robustezza alle covariate disallineate.
• Studi di Ablazione: Gli esperimenti confermano che le covariate note nel futuro forniscono guadagni consistenti, e che l'attenzione di gruppo asimmetrica e il mixing bidirezionale sono componenti critiche per le prestazioni.

Significato

Il paper afferma che TiRex-2 è il primo modello fondazionale per serie temporali a raggiungere la specifica combinazione di:

• Supporto multivariato nativo con sia covariate passate che future.
• Causalità stretta del target (impedendo che i target futuri filtrino nelle previsioni passate).
• Inferenza in streaming a memoria e costo costante.
• Prestazioni zero-shot allo stato dell'arte.

Affrontando il disallineamento tra i comportamenti di scaling dei Transformer e i requisiti della previsione in streaming, TiRex-2 offre una soluzione pratica per sistemi di decision-making continuo ad alto rischio (ad esempio, mitigazione delle inondazioni, manutenzione predittiva) dove l'efficienza e gli aggiornamenti in tempo reale sono fondamentali. Gli autori notano che, sebbene le covariate note nel futuro siano tipicamente statiche all'interno di una finestra di previsione, il modello gestisce efficacemente gli aggiornamenti dinamici spostandoli nella regione causale. Il lavoro futuro suggerisce di esplorare la selezione dinamica delle covariate per ottimizzare ulteriormente i costi di inferenza.