Sintesi Tecnica: TS-ICL

Definizione del Problema

I Modelli Fondamentali per Serie Temporali (TSFMs) hanno spostato il paradigma dai modelli specifici per compito a sistemi di inferenza general-purpose e zero-shot. Tuttavia, gli approcci esistenti affrontano tre criticità fondamentali nelle applicazioni reali:

1. Frammentazione del Compito: La maggior parte dei TSFM si concentra esclusivamente sulla previsione (forecasting), fallendo nel supportare nativamente l'imputazione per i valori mancanti, che è comune nei dati campionati in modo irregolare.
2. Gestione delle Covariate: Molti modelli mancano di meccanismi robusti per l'inferenza consapevole delle covariate, nonostante la necessità di informazioni esterne per molti compiti pratici.
3. Rigidità del Campionamento: Le architetture standard basate su patch (es. Chronos, TimesFM) assumono input campionati regolarmente, ostacolando la loro capacità di gestire serie temporali asincrone o parzialmente osservate senza pre-elaborazione.

Sebbene i Modelli Fondamentali Tabulari (TFMs) adattati per le serie temporali (es. TabPFN-TS) supportino covariate e imputazione, essi spesso si affidano a feature temporali artigianali e soffrono di alti costi di inferenza, restando indietro rispetto ai puri TSFM nei benchmark di forecasting. È necessario un framework unificato che gestisca congiuntamente forecasting e imputazione, supporti le covariate e operi efficientemente su dati con campionamento irregolare.

Metodologia

Gli autori introducono TS-ICL (Time-Series In-Context Learning), un modello fondazionale Transformer probabilistico che riformula la modellazione delle serie temporali come un problema di regressione in-context indicizzato nel tempo. L'architettura consiste in quattro moduli sequenziali:

1. Encoder della Serie Temporale ($E$): Basato su un design di encoder Perceiver, questo modulo elabora timestamp e valori di contesto (e covariate opzionali) in modo indipendente per canale. Utilizza un set fisso di token apprendibili che effettuano una cross-attention verso le coppie timestamp-valore, comprimendo input di lunghezza arbitraria in una sequenza latente compatta ($Z_{val}$).
2. Mixer di Canale ($M$): Questo modulo aggrega le informazioni attraverso i canali. Utilizza la cross-attention per permettere alla serie temporale target di interrogare i token delle covariate, collassando la dimensione del canale in una rappresentazione unificata e consapevole delle covariate ($Z_{final}$). I successivi strati di self-attention modellano le dipendenze globali.
3. Modulo di Query del Contesto Temporale ($C$): Per colmare il divario tra i token latenti discreti e il dominio temporale continuo, questo modulo incorpora qualsiasi timestamp di query $t$ utilizzando una codifica posizionale basata sulla frequenza. Esegue una cross-attention verso $Z_{final}$ per produrre una rappresentazione consapevole del contesto $H(t)$ per timestamp arbitrari, consentendo una gestione flessibile del campionamento irregolare.
4. Regressore In-Context Learning ($R$): Il modulo finale tratta la predizione come un compito di regressione in-context. Costruisce un set di addestramento $D_{train}$ dai set di coppie osservate $(H(t), x_t)$ e utilizza la causal self-attention per inferire i valori target in timestamp non visti. Produce un set denso di stime dei quantili addestrate tramite una loss pinball smussata.

Prior dei Dati e Addestramento:
TS-ICL è addestrato su un prior strutturato che combina dataset reali e dati sintetici.

• Univariata: Una miscela di 31 dataset reali e segnali sintetici da TempoPFN, coprendo domini e frequenze diverse.
• Multivariata (Covariate): Strutture target-covariate sintetiche sono generate utilizzando Grafi Aciclici Diretti (DAGs) e un registro di Modelli Causali Strutturali (SCMs). Ciò assicura che il modello apprenda una robusta generalizzazione zero-shot a strutture di dipendenza non viste, incluse covariate informative, ridondanti e indipendenti.
• Compiti: L'addestramento passa dinamicamente tra l'imputazione (mascheramento di punti o blocchi) e il forecasting (mascheramento di orizzonti futuri).

Contributi Chiave

1. Architettura Unificata: TS-ICL è un nuovo TSFM probabilistico che unifica forecasting e imputazione all'interno di un unico framework a tempo continuo, supportando entrambi i compiti nativamente senza cambiamenti architettonici.
2. Prior Sintetico Strutturato: Gli autori progettano un prior causale basato su DAG per le relazioni target-covariate, permettendo al modello di apprendere una robusta generalizzazione zero-shot a complesse strutture di dipendenza.
3. Stato dell'Arte nell'Imputazione: TS-ICL stabilisce un nuovo stato dell'arte nei benchmark di imputazione zero-shot, superando i principali TFMs (TabPFNv2.5-TS, TabICLv2-TS) con margini significativi (es. un miglioramento del 17% e del 15% rispetto a TabICLv2-TS).
4. Inferenza Efficiente Consapevole delle Covariate: Il modello supporta un'inferenza efficiente con covariate, gestendo pattern di disponibilità arbitrari (es. covariate osservate solo nella finestra di look-back o sia nel look-back che nell'orizzonte).
5. Robustezza ai Dati Mancanti: A differenza dei modelli basati su patch, la formulazione indicizzata nel tempo di TS-ICL gli permette di rimanere robusto quando le osservazioni storiche sono parzialmente mancanti.

Risultati Sperimentali

Il modello è stato valutato su fm-impute-bench (imputazione) e fev-bench (forecasting), con ulteriore validazione sul benchmark TIME.

• Imputazione: TS-ICL stabilisce un nuovo stato dell'arte sui benchmark di imputazione zero-shot. Migliora i punteggi pointwise (NMAE) e probabilistici (CRPS) rispetto ai principali TFMs (TabPFNv2.5-TS, TabICLv2-TS) con margini significativi (es. un miglioramento del 17% e del 15% rispetto a TabICLv2-TS). Crucialmente, è fino a 50 volte più veloce nell'inferenza rispetto a questi TFMs.
• Forecasting: Nei benchmark di forecasting, TS-ICL rimane competitivo con i principali TSFM come Chronos-2 e TiRex, posizionandosi tra i top performer. Sfrutta efficacementamente le covariate quando disponibili, migliorando il suo ranking relativo tra i TSFM.
• Robustezza alla Storia Mancante: In esperimenti con livelli crescenti di mancanza nel look-back window (30%–90%), TS-ICL supera costantemente Chronos-2. Mentre le prestazioni di Chronos-2 degradano significativamente man mano che il contesto diventa più rado, TS-ICL mantiene la stabilità, evidenziando il vantaggio della sua formulazione indicizzata nel tempo rispetto agli approcci basati su patch.
• Efficienza: Sebbene TS-ICL sia circa 4 volte più lento del altamente ottimizzato Chronos-2, è circa 40 volte più veloce dei TFMs, offrendo un forte compromesso tra accuratezza ed efficienza.

Significato e Rivendicazioni

L'articolo sostiene che TS-ICL affronti la frammentazione negli attuali modelli di serie temporali fornendo un'unica architettura capace di unificare forecasting e imputazione con supporto nativo alle covariate.

La sua importanza primaria risiede nella sua robustezza alle osservazioni storiche incomplete. Gli autori dimostrano che i modelli basati su patch sono sensibili al contesto mancante, mentre la formulazione indicizzata nel tempo di TS-ICL gli consente di affrontare scenari di forecasting realistici dove i dati sono irregolari o parzialmente osservati. Combinando la flessibilità dell'apprendimento in-context con un prior causale strutturato, TS-ICL offre un'alternativa scalabile ai modelli specializzati, raggiungendo prestazioni di imputazione allo stato dell'arte pur mantenendo capacità di forecasting competitive.

Gli autori notano dei limiti, specificamente che la formulazione di regressione pointwise comporta costi computazionali più elevati rispetto ai modelli basati su patch altamente ottimizzati (come Chronos-2), sebbene ciò sia mitigato dalla sua velocità superiore rispetto ai TFMs. Suggeriscono che il lavoro futuro potrebbe coinvolgere ottimizzazioni architettoniche (es. caching) e un'ulteriore diversificazione del prior dei dati di addestramento per migliorare la generalizzazione zero-shot.